일리아의 첫 모델 공개: SSI의 테스트 타임 트레이닝 엔진

X(구 트위터)에서 'Three Strawberries'라는 사용자가 유출한 내용에 따륵하면, Ilya Sutskever의 스타트업 SSI가 Test-Time Training(테스트 타임 트레이닝, TTT) 기반의 소형 추론 엔진을 개발하고 있다고 합니다. 이 모델은 특별히 선별된 데이터로 '학습하는 방법'을 익힌 뒤, 문제를 푸는 과정에서 일부 가중치를 스스로 갱신함으로써 작은 규모임에도 대형 모델과 겨룰 수 있는 성능을 낸다고 합니다. 유출자는 현재 버전이 이미 완성 단계이며 다음 버전은 규모가 10배로 커질 것이라고 전했고, 현재 버전은 이륙하면 8월 중 소수의 사용자를 대상으로 먼저 공개될 가능성이 있다고 덧붙였습니다. 이는 지속 학습(continual learning)과 인공일반지능(Artificial General Intelligence, AGI)에 대한 Ilya의 과거 발언, 즉 초지능은 배포 이후에도 계속 학습해야 한다는 그의 지론과 부합합니다. 나아가 Nvidia가 최근 SSI에 대한 전략적 파트너십과 투자를 발표하면서 SSI의 연산 자원이 한 자릿수(10배) 규모로 늘어난 사실과도 맞물립니다. TTT 방식은 컨텍스트를 일종의 학습 데이터로 취급해 모델이 추론 도중 스스로를 바꿀 수 있다는 점에서 기존의 컨텍스트 확장 방식과 뚜렷이 구분됩니다. 다만 이는 안전성에 대한 우려도 불러일으키는데, 유출자는 Ilya가 이미 이 문제에 대한 대응을 마쳤다고 주장합니다. 2024년에 설립된 SSI는 그동안 철저히 비밀주의를 고수해 왔지만, 이번 유출은 잠재적인 기술적 돌파구를 시사합니다. 한편 이 소식은 관련 연구로 'End-to-End Test-Time Training for Long Context'라는 논문도 함께 언급하고 있습니다.