Erstes Modell von Ilya enthüllt: SSIs Test-Zeit-Trainings-Engine

Ein Leak auf X vom Nutzer 'Three Strawberries' behauptet, dass das Startup SSI von Ilya Sutskever eine kleine Reasoning-Engine erforscht, die auf Test-Time Training (TTT) basiert. Das Modell verwendet speziell kuratierte Daten, um zu lernen, wie man lernt, und aktualisiert dann während der Problemlösung partielle Gewichte, sodass selbst ein kleines Modell mit größeren konkurrieren kann. Der Leaker deutet an, dass die aktuelle Version fertig ist und die nächste Version zehnfach skaliert wird, wobei die aktuelle Version möglicherweise bereits im August einer begrenzten Anzahl von Nutzern vorgestellt wird. Dies deckt sich mit Ilyas früheren Aussagen zu kontinuierlichem Lernen und AGI, seiner Überzeugung, dass Superintelligenz nach der Bereitstellung lernen sollte, und der jüngsten Ankündigung von Nvidia über eine strategische Partnerschaft und Investition in SSI, die SSIs Rechenleistung um eine Größenordnung erhöhte. Der TTT-Ansatz unterscheidet sich von der herkömmlichen Kontextverlängerung, da er den Kontext als Trainingsdaten behandelt und es dem Modell ermöglicht, sich während der Inferenz zu verändern, obwohl dies Sicherheitsbedenken aufwirft, die der Leaker zufolge von Ilya angesprochen wurden. SSI, gegründet 2024, war bisher geheimnisvoll, aber dieser Leak deutet auf einen möglichen Durchbruch hin. Die Nachricht bezieht sich auch auf ein Paper 'End-to-End Test-Time Training for Long Context' als verwandte Arbeit.