MITがSEALを発表：自己改善型AIへの新たな一歩

MITの研究者たちは、「自己適応型言語モデル」と題する論文を発表し、大規模言語モデル（LLM）が自身の重みを更新できるようにするフレームワーク「SEAL」を紹介しました。このモデルは、自己編集を通じて合成トレーニングデータを生成し、それを強化学習によって学習します。報酬は、更新されたモデルの下流タスクでの性能に基づいています。Llama-3.2-1B-Instructを用いた少数ショット学習の実験では、72.5%の適応成功率を達成し、ベースラインを大幅に上回りました。Qwen2.5-7Bを用いた知識統合では、SEALは一貫してベースラインを上回り、2回の反復後にはGPT-4.1が生成したデータを上回ることもありました。論文では、破滅的忘却や計算オーバーヘッドなどの限界についても言及されています。このタイミングは、自己進化型AIへの関心の高まりと一致しており、Sakana AI/ブリティッシュコロンビア大学、カーネギーメロン大学、上海交通大学、香港中文大学/vivoなどによる関連研究や、OpenAIのCEOであるサム・アルトマン氏のコメントも含まれます。