Neue Herausforderungen für die KI-Infrastruktur: Modelle wachsen, heterogenes Computing und Agentenkomplexität verändern das Feld

In einer kürzlichen Live-Diskussion auf InfoQ moderierte Huang Zhipeng, Direktor für Open-Source-Ökologie bei Huawei AI, den Inferact-vLLM-Committer Mo Zifeng und den Systemforschungs- und -entwicklungsexperten Yang Shouren von 4Paradigm (Fourth Paradigm), um die Entwicklung der KI-Infrastruktur zu untersuchen. Mo stellte fest, dass Modellarchitekturen weitaus schneller wachsen als Toolchains, mit Beispielen wie DeepSeek V4s komplexem MoE und multimodalen Modellen, die sich von LLaVA zu vollmodalem Cosmos V entwickeln. Yang hob die zentrale Herausforderung des heterogenen Rechenmanagements hervor, da immer mehr heimische KI-Beschleuniger (NVIDIA, Ascend, Cambricon, Kunlun, Tianshu, Muxi) auf den Markt kommen, was zu Konsistenzproblemen führt, bei denen eine Tensor-Ausgabe für bestimmte Formen auf einer bestimmten GPU fehlschlagen kann. Yang stellte HAMi vor, ein Open-Source-Projekt zur GPU-Virtualisierung und gemeinsamen Nutzung über Geräte hinweg, und diskutierte die Einschränkungen von Kubernetes DRA (Dynamic Resource Allocation) für erweitertes Gerätemanagement. Die Gruppe untersuchte auch die Auswirkungen von KI-Agenten auf Open-Source-Communities: Agenten helfen jetzt bei routinemäßigen PR-Aufgaben, überschwemmen aber auch Repositories mit minderwertigen Beiträgen, die Committer manuell sichten müssen. Mo beschrieb die Einführung einer 'nur menschlichen' Filterstrategie durch Verifizierung mit Arbeits- oder Schul-E-Mails. Mit Blick in die Zukunft prognostizierte Yang, dass KI nach und nach den Infrastrukturbetrieb übernehmen wird, sodass sich Ingenieure auf höherwertiges SLA/SLO/Kosten-Design konzentrieren können, merkte aber an, dass Open-Source-Projekte durch umfassende Tests das Vertrauen in die Qualität wahren müssen. Mo fügte hinzu, dass Plattformsoftware unverzichtbar bleiben wird, da selbst leistungsstarke Agenten von den gemeinsamen Optimierungen des Ökosystems profitieren, und der 'Matthäus-Effekt' die Nutzung auf gut gewartete Projekte wie vLLM konzentrieren wird. Das Gespräch endete mit praktischen Ratschlägen zum Umgang mit nicht unterstützten Hardware-Operatoren: Hersteller-Support, CPU-Offloading oder iteratives Profiling mit Agenten, obwohl Eckpunktfehler schwer zu fassen bleiben.