バイトダンス、中国最大のAIモデルを開発中

フィナンシャル・タイムズ紙によると、ByteDanceは最大100兆パラメータを持つAIモデルをトレーニングしており、これは中国最大規模となる。これは、これまで中国最大のモデルだったMoonshotのKimi K3の3倍の規模で、業界推定では約80兆パラメータとされるAnthropicのMythos 5に迫るものだ（Anthropicは公式な数字を公表していない）。関係者3人がFTに語ったところによると、このモデルは事前学習段階にあり、この段階は通常3〜6か月続く。パラメータはモデルがどれだけの情報を保持できるかを決定するが、性能はデータの質や学習方法にも依存する。1人の情報筋は、ByteDanceが1年以上にわたり、他のモデルの出力を使った蒸留（ファインチューニング）を控えてきたと述べた。創業者の張一鳴氏は、2000人規模のSeedチームに対し、長期的に世界トップクラスのモデル性能を追求するよう促している。一方、イーロン・マスク氏のxAIは、GroKの派生モデルを60兆および100兆パラメータで、自社のColossus 2クラスター上でトレーニングしていると報じられている。