Revelado el primer modelo de Ilya: el motor de entrenamiento en tiempo de inferencia de SSI

Una filtración en X por parte del usuario 'Three Strawberries' afirma que la startup de Ilya Sutskever, SSI, está explorando un pequeño motor de razonamiento basado en Entrenamiento en Tiempo de Prueba (TTT). El modelo utiliza datos especialmente curados para aprender a aprender, y luego actualiza pesos parciales durante la resolución de problemas, permitiendo que incluso un modelo pequeño compita con otros más grandes. El filtrador sugiere que la versión actual está lista y que la próxima versión se escalará diez veces más, con la versión actual posiblemente debutando ya en agosto para un número limitado de usuarios. Esto coincide con declaraciones pasadas de Ilya sobre aprendizaje continuo e IA general (AGI), su creencia de que la superinteligencia debería aprender después de su implementación, y el reciente anuncio de Nvidia sobre una asociación estratégica e inversión en SSI, que aumentó los recursos computacionales de SSI en un orden de magnitud. El enfoque TTT contrasta con la extensión convencional del contexto, ya que trata el contexto como datos de entrenamiento, permitiendo que el modelo se modifique a sí mismo durante la inferencia, aunque plantea preocupaciones de seguridad, que el filtrador afirma que Ilya ha abordado. SSI, fundada en 2024, ha sido reservada, pero esta filtración sugiere un posible avance. La noticia también hace referencia a un artículo titulado 'Entrenamiento en Tiempo de Prueba de Extremo a Extremo para Contexto Largo' como trabajo relacionado.