ByteDanceのSeedチーム、フルデュプレックス音声・映像対応LLM「SeedRealtime」を発表――1つのモデルで視聴・聴取・発話を実現

ByteDanceのSeedチームは、音声、映像、テキストを単一のエンドツーエンドアーキテクチャに統合した、ネイティブな音声・映像フルデュプレックス大規模言語モデル「SeedRealtime」を発表しました。自動音声認識（ASR）、視覚言語モデル（VLM）、テキスト読み上げ（TTS）モジュールを連結する従来のカスケードシステムとは異なり、SeedRealtimeは知覚、理解、意思決定、表現を並行して行い、ターンテイキングも内部的に処理するため、外部の音声アクティビティ検出器を必要としません。同社は、音声と映像の統合理解、プロアクティブなインタラクション、自然な会話タイミングという3つの主要なブレークスルーを主張しています。デモでは、騒がしい環境での名前と顔のマッチング、カメラ視野内に特定の物体が現れた際のプロアクティブなリマインダー、視覚状態に基づくエスプレッソ作成手順の修正、画面外の情報の想起中における無関係な会話の抑制に成功しました。SeedRealtimeは現在ByteDanceのアプリ「Doubao」に展開されていますが、同社は技術レポート、パラメータ数、オープンウェイト、APIを公開しておらず、第三者による統合は不可能です。ByteDanceの内部評価では、カスケードスタックに比べてペーシングの問題が半減したと報告されていますが、ベンチマークやレイテンシの数値は提供されていません。