Le MIT présente SEAL : une nouvelle étape vers une IA capable de s'améliorer elle-même
MIT
Meta
Alibaba/Qwen
OpenAI
DeepMind
Des chercheurs du MIT ont proposé SEAL (Self-Adapting LLMs, soit modèles de langage auto-adaptatifs), un cadre permettant aux grands modèles de langage de mettre à jour leurs propres poids via l'apprentissage par renforcement. La méthode génère des auto-modifications pour produire des données d'entraînement et améliore les performances sur les tâches en aval. Les résultats expérimentaux sur l'apprentissage en quelques exemples et l'intégration des connaissances montrent des gains significatifs par rapport aux lignes de base.
Les chercheurs du MIT ont publié un article intitulé « Self-Adapting Language Models », présentant SEAL, un cadre qui permet aux grands modèles de langage (LLM) de mettre à jour leurs propres poids. Le modèle génère des données d'entraînement synthétiques par auto-édition, apprises par apprentissage par renforcement. La récompense est basée sur les performances en aval du modèle mis à jour. Des expériences d'apprentissage en quelques exemples avec Llama-3.2-1B-Instruct ont atteint un taux de réussite d'adaptation de 72,5 %, bien au-dessus des références. Dans l'intégration des connaissances avec Qwen2.5-7B, SEAL a constamment surpassé les références, dépassant parfois les données générées par GPT-4.1 après deux itérations. L'article note des limitations, notamment l'oubli catastrophique et le coût de calcul. Cette publication coïncide avec un intérêt croissant pour l'IA auto-évolutive, y compris des travaux connexes de Sakana AI/UBC, CMU, SJTU et CUHK/vivo, ainsi que des commentaires du PDG d'OpenAI, Sam Altman.
Source: Synced —
original