Primeiro modelo de Ilya revelado: motor de treinamento em tempo de teste da SSI

Um vazamento no X pelo usuário 'Three Strawberries' afirma que a startup de Ilya Sutskever, SSI, está explorando um pequeno mecanismo de raciocínio baseado em Treinamento em Tempo de Teste (TTT). O modelo usa dados especialmente selecionados para aprender como aprender e, em seguida, atualiza parcialmente os pesos durante a resolução de problemas, permitindo que até mesmo um modelo pequeno compita com modelos maiores. O vazador sugere que a versão atual está pronta e que a próxima versão será dez vezes maior, com a versão atual possivelmente estreando já em agosto para um número limitado de usuários. Isso está alinhado com as declarações passadas de Ilya sobre aprendizado contínuo e AGI, sua crença de que a superinteligência deve aprender após a implantação, e o recente anúncio da Nvidia sobre uma parceria estratégica e investimento na SSI, que aumentou a capacidade computacional da SSI em uma ordem de magnitude. A abordagem TTT contrasta com a extensão convencional de contexto, pois trata o contexto como dados de treinamento, permitindo que o modelo mude a si mesmo durante a inferência, embora isso levante preocupações de segurança, que o vazador afirma que Ilya já abordou. A SSI, fundada em 2024, tem sido sigilosa, mas este vazamento sugere um possível avanço. A notícia também faz referência a um artigo 'Treinamento em Tempo de Teste de Ponta a Ponta para Contexto Longo' como trabalho relacionado.