Des chercheurs du MIT présentent SEAL : un pas vers l'IA auto-améliorante

Des chercheurs du Massachusetts Institute of Technology (MIT) ont présenté SEAL (Self-Adapting LLMs), un framework qui permet aux grands modèles de langage (LLM) de mettre à jour leurs propres poids. SEAL utilise l'apprentissage par renforcement (RL) pour générer des « auto-éditions » – des données synthétiques sur lesquelles le modèle est affiné. Le cycle RL externe optimise le processus de génération des éditions, tandis que le cycle interne les applique via une descente de gradient. Pour la stabilité de l'apprentissage, les auteurs ont opté pour la méthode ReST^EM de DeepMind plutôt que PPO ou GRPO. Le framework a été testé dans deux scénarios : l'apprentissage few-shot (sur Llama-3.2-1B-Instruct) et l'intégration de connaissances (sur Qwen2.5-7B). En few-shot, la précision d'adaptation a atteint 72,5 % contre 20 % pour le modèle sans RL. Pour l'intégration de connaissances, SEAL a surpassé la baseline même avec des données synthétiques, et après deux itérations de RL, il a dépassé les approches utilisant GPT-4.1. Ces travaux ont suscité de nombreuses discussions, notamment sur Hacker News, dans un contexte d'intérêt croissant pour l'auto-évolution de l'IA – des projets récents ont émergé de Sakana AI, CMU, SJTU, entre autres. Sam Altman d'OpenAI a également évoqué l'avenir de l'IA auto-améliorante et des robots dans son blog « The Gentle Singularity ». L'article note les limites de SEAL, notamment l'oubli catastrophique et les coûts de calcul.