Mô hình đầu tiên của Ilya được tiết lộ: Công cụ huấn luyện theo thời gian kiểm tra của SSI

Một thông tin rò rỉ trên X từ ngườ i dùng có tên 'Three Strawberries' cho biết startup SSI của Ilya Sutskever đang nghiên cứu một công cụ suy luận cỡ nhỏ dựa trên Test-Time Training (TTT, tạm dịch: huấn luyện tại thờ i điểm suy luận). Mô hình này sử dụng dữ liệu được tuyển chọn đặc biệt để 'học cách học', sau đó cập nhật một phần trọng số ngay trong quá trình giải quyết vấn đề, nhờ đó ngay cả một mô hình nhỏ cũng có thể sánh ngang với các mô hình lớn hơn. Ngườ i tiết lộ cho rằng phiên bản hiện tại đã sẵn sàng và phiên bản tiếp theo sẽ mở rộng quy mô gấp mườ i lần; phiên bản hiện tại thậm chí có thể ra mắt sớm nhất vào tháng 8 với một nhóm ngườ i dùng giớ i hạn. Thông tin này khớp với những phát biểu trước đây của Ilya về học liên tục và AGI (Artificial General Intelligence – trí tuệ nhân tạo tổng quát), niềm tin của ông rằng siêu trí tuệ cần tiếp tục học sau khi được triển khai, cũng như thông báo gần đây của Nvidia về quan hệ đố i tác chiến lược và khoản đầu tư vào SSI – động thái đã giúp nâng năng lực tính toán của SSI lên một bậc quy mô. Cách tiếp cận TTT khác biệt so vớ i phương pháp mở rộng ngữ cảnh truyền thống ở chỗ nó xem ngữ cảnh như dữ liệu huấn luyện, cho phép mô hình tự thay đổi chính mình trong quá trình suy luận; dù vậy, điều này cũng đặt ra những lo ngại về an toàn mà theo ngườ i tiết lộ, Ilya đã giải quyết. SSI, được thành lập năm 2024, vốn hoạt động kín tiếng, nhưng vụ rò rỉ này gợi ý về một đột phá tiềm năng. Tin tức cũng nhắc đến bài báo 'End-to-End Test-Time Training for Long Context' như một công trình nghiên cứu liên quan.