Premier modèle d'Ilya dévoilé : le moteur d'entraînement au moment du test de SSI

Une fuite sur X par l'utilisateur « Three Strawberries » prétend que la start-up d'Ilya Sutskever, SSI, explore un petit moteur de raisonnement basé sur l'entraînement au moment du test (TTT). Le modèle utilise des données spécialement sélectionnées pour apprendre à apprendre, puis met à jour partiellement ses poids pendant la résolution de problèmes, permettant ainsi à un petit modèle de rivaliser avec des modèles plus grands. Le lanceur d'alerte suggère que la version actuelle est prête et que la prochaine version sera décuplée, la version actuelle pouvant faire ses débuts dès août auprès d'un nombre limité d'utilisateurs. Cela correspond aux déclarations passées d'Ilya sur l'apprentissage continu et l'AGI, à sa conviction que la superintelligence devrait apprendre après le déploiement, et à l'annonce récente de Nvidia concernant un partenariat stratégique et un investissement dans SSI, qui a augmenté la puissance de calcul de SSI d'un ordre de grandeur. L'approche TTT contraste avec l'extension de contexte conventionnelle, car elle traite le contexte comme des données d'entraînement, permettant au modèle de se modifier lui-même pendant l'inférence, bien que cela soulève des problèmes de sécurité, que le lanceur d'alerte prétend qu'Ilya a abordés. SSI, fondée en 2024, a été discrète, mais cette fuite suggère une percée potentielle. La nouvelle fait également référence à un article intitulé « End-to-End Test-Time Training for Long Context » comme travail connexe.