небольшой модели конкурировать с более крупными. Утечка предполагает, что текущая версия уже готова, а следующая будет масштабирована в десять раз; текущая версия может дебютировать уже в августе для ограниченного круга пользователей. Это согласуется с прошлыми заявлениями Ильи о непрерывном обучении и общем искусственном интеллекте (AGI), его убеждением, что суперинтеллект должен обучаться после развертывания, а также с недавним объявлением Nvidia о стратегическом партнерстве и инвестициях в SSI, которые увеличили вычислительные мощности SSI на порядок. Подход TTT отличается от обычного расширения контекста тем, что рассматривает контекст как обучающие данные, позволяя модели изменять себя во время вывода, хотя это вызывает вопросы безопасности, которые, по словам источника утечки, Илья уже решил. SSI, основанный в 2024 году, вел себя скрытно, но эта утечка указывает на потенциальный прорыв. В новости также упоминается статья «End-to-End Test-Time Training for Long Context» как связанная работа.