Стартапы охотятся за следующей большой вещью в LLM
Волна стартапов пытается преодолеть ограничения трансформеров — технологии, лежащей в основе современных LLM (больших языковых моделей). Они предлагают новые архитектуры и методы, чтобы сделать модели быстрее, эффективнее и, возможно, умнее, стремясь свергнуть ИИ-гигантов.
Трансформеры, представленные в 2017 году в статье Google, лежат в основе всех крупных языковых моделей, однако их механизм плотного внимания требует больших вычислительных затрат и плохо справляется с длинными контекстами. Стартапы пытаются решить эти недостатки: Subquadratic утверждает, что её модель разреженного внимания SubQ не уступает mainstream LLM; Manifest AI заменяет внимание механизмом
Показать ещё ↓
Источник: MIT Technology Review —
оригинал