イリヤの最初のモデルが明らかに：SSIのテストタイムトレーニングエンジン

X（旧ツイッター）のユーザー『Three Strawberries』によるリーク情報によると、イリヤ・サツケバー氏のスタートアップSSIが、テストタイムトレーニング（TTT）に基づく小型推論エンジンを開発中だという。このモデルは、特別に厳選されたデータを使用して学習方法を学び、問題解決中に一部の重みを更新することで、小型モデルでも大型モデルと競合できるようにしている。リーカーは、現在のバージョンは完成しており、次回バージョンは10倍にスケールアップされ、現在のバージョンは早ければ8月に限られたユーザー向けにデビューする可能性があると示唆している。これは、イリヤ氏が過去に述べた継続学習と汎用人工知能（AGI）に関する見解、超知能は導入後に学習すべきという信念、そしてエヌビディアが最近発表したSSIとの戦略的提携と投資（これによりSSIの計算能力が一桁向上）と一致する。TTTアプローチは、従来のコンテキスト拡張とは対照的で、コンテキストをトレーニングデータとして扱い、推論中にモデル自体を変更できるようにするが、安全性への懸念も生じる。リーカーは、イリヤ氏がこの懸念に対処したと主張している。2024年に設立されたSSIはこれまで秘密主義で知られていたが、今回のリークは潜在的なブレークスルーを示唆している。また、このニュースは『長文コンテキストのためのエンドツーエンドのテストタイムトレーニング』という論文を関連研究として引用している。