Первая модель Ильи: движок тест-тайм-тренинга от компании SSI
Согласно утечке, стартап Ильи Суцкевера SSI разрабатывает компактный движок логики на основе тест-тайм-тренинга (TTT), который может быть выпущен уже в августе. Модель, обученная на курируемых данных для обучения обучению, обновляет свои веса во время инференса, потенциально соперничая с более крупными моделями. Это согласуется с публичными взглядами Ильи на непрерывное обучение и недавними инвестициями Nvidia в SSI.
X-пользователь под ником «Three Strawberries» опубликовал утечку, в которой утверждается, что стартап Ильи Суцкевера SSI разрабатывает небольшую модель рассуждений, основанную на обучении во время тестирования (Test-Time Training, TTT). Модель использует специально подобранные данные, чтобы научиться учиться, а затем обновляет часть своих весов в процессе решения задач, что позволяет даже
Показать ещё ↓
Источник: QbitAI 量子位 —
оригинал