世界初のエージェント拡散モデル：行動中に自己修正、128Kコンテキストで自己回帰モデルに匹敵

Ant GroupのinclusionAIチームは、1000億パラメータのMoE拡散言語モデルであるLLaDA 2.2をオープンソース化しました。このモデルは128Kのネイティブコンテキストをサポートし、初の大規模エージェント型拡散モデルとして、生成と出力の修正を同時に行うことができます。Levenshtein編集パラダイムを採用し、4つの基本操作（KEEP、SUBSTITUTE、DELETE、INSERT）を用いて生成コンテンツを動的に変更します。また、L-EBPO（Levenshtein Editing Evidence Lower Bound Policy Optimization）を導入し、複数ターンの編集決定を環境フィードバックに基づく強化学習問題として扱います。長いコンテキストを処理するためにBlockRoutingを採用し、トークンレベルのルーティング前にブロックレベルで固定のエキスパートプールを選択することで、HBMトラフィックと通信コストを削減します。7つのエージェントベンチマークにおいて、LLaDA 2.2-flashは53.83点を記録し、Ling-2.6-flashの55.74点と同等のパフォーマンスを示しました。また、BF16での平均スループットが1.64倍向上し、FP8量子化によりさらに18.6%の改善を達成しました。これにより、拡散モデルがエージェントタスクにおいて自己回帰モデルに匹敵する性能を発揮し、将来のエージェントシステムで共存することが証明されました。