AIインフラが直面する新たな課題：モデルの大規模化、ヘテロジニアスコンピューティング、エージェント複雑性が分野を再形成

最近のInfoQライブディスカッションでは、Huawei AIオープンソースエコロジーディレクターの黄志鵬氏が司会を務め、Inferact vLLMコミッターのMo Zifeng氏と4Paradigm（第四範式）システム研究開発エキスパートの楊守仁氏が参加し、AIインフラストラクチャの進化について議論しました。Mo氏は、モデルアーキテクチャがツールチェーンよりもはるかに速いペースで成長していると指摘し、例としてDeepSeek V4の複雑なMoE（Mixture of Experts）や、LLaVAからフルモーダルCosmos Vへと進化するマルチモーダルモデルを挙げました。楊氏は、国内のAIアクセラレータ（NVIDIA、Ascend、Cambricon、Kunlun、Tianshu、Muxi）が急速に普及するにつれて、ヘテロジニアスコンピューティング管理が核心的な課題となっていると強調しました。これらのアクセラレータ間の一貫性の問題により、特定のGPU上の特定の形状でテンソル出力が失敗する可能性があります。楊氏は、デバイス間でのGPU仮想化と共有を実現するオープンソースプロジェクトHAMiを紹介し、高度なデバイス管理におけるKubernetes DRA（Dynamic Resource Allocation）の限界について議論しました。また、グループはAIエージェントがオープンソースコミュニティに与える影響についても探求しました。エージェントは現在、ルーチン的なPRタスクを支援する一方で、低品質のサブミッションでリポジトリを氾濫させ、コミッターが手動でトリアージしなければならない状況も生んでいます。Mo氏は、職場や学校のメール認証による「人間のみ」のフィルタリング戦略を採用したと述べました。今後の展望として、楊氏はAIが徐々にインフラ運用を引き継ぎ、エンジニアがより高レベルなSLA（Service Level Agreement）/SLO（Service Level Objective）/コスト設計に集中できるようになると予測しましたが、オープンソースプロジェクトは包括的なテストを通じて品質の信頼を維持する必要があると指摘しました。Mo氏は、強力なエージェントであってもエコシステムの集合的な最適化の恩恵を受けるため、プラットフォーム型ソフトウェアは引き続き不可欠であり、「マタイ効果」により、vLLMのような適切にメンテナンスされたプロジェクトに使用が集中すると付け加えました。議論の最後には、サポートされていないハードウェアオペレーターへの対処法として、ベンダーサポート、CPUオフロード、またはエージェントを使用した反復プロファイリングといった実践的なアドバイスが提供されましたが、コーナーケースのバグは依然として発見が困難であるとの認識が示されました。