テンセントがAngelSpecをオープンソース公開：Hy3モデルにおけるMTPとブロック並列投機的デコードの統一トレーニングフレームワーク

Tencentは、投機的デコード用ドラフトモデルのためのトーチネイティブなトレーニングフレームワーク「AngelSpec」をオープンソース化しました。これは、自己回帰型マルチトークン予測（MTP）と、新しいアーキテクチャであるDFlyを含むブロック並列のDFlashファミリーの両方をカバーしています。AngelSpecは、ワークロードの不均一性を第一級の制約として扱い、異なるドメイン向けに補完的なドラフターを提供します。会話指向データ用のMTPと、コード/数学用のブロック拡散モデルです。MTPパスは、トレーニングと推論のミスマッチに対処するため、パラメータ共有の多段階スキームとターゲットモデルのロールアウトを使用します。DFlyは、ハイブリッドターゲット条件付けと、先行トークンに条件付けられた自己回帰ヘッドを導入しています。Qwen3-8Bでは、DFlyの平均受理長は5.41、Hy3-A21Bでは4.79に達し、DFlashの3.69、MTPの3.00を上回っています。このフレームワークは、TTTロールアウト、最大128kトークンまでのロングコンテキストトレーニング、ドキュメント認識シーケンスパッキングなどの機能を備えたTorchSpec上に構築されています。7つのチェックポイントがHugging FaceとModelScopeで公開されています。