Infrastruktur AI Hadapi Tantangan Baru: Model Bertambah, Komputasi Heterogen dan Kerumitan Agen Ubah Medan

Dalam diskusi langsung InfoQ baru-baru ini, Direktur Ekologi Sumber Terbuka AI Huawei, Huang Zhipeng, menjadi tuan rumah bagi kontributor Inferact vLLM, Mo Zifeng, dan pakar riset dan pengembangan sistem 4Paradigm (Fourth Paradigm), Yang Shouren, untuk mengkaji evolusi infrastruktur AI. Mo mencatat bahwa arsitektur model berkembang jauh lebih cepat daripada perangkat alat, dengan contoh seperti DeepSeek V4 yang memiliki MoE kompleks dan model multimodal yang berevolusi dari LLaVA ke Cosmos V yang sepenuhnya multimodal. Yang menyoroti tantangan utama manajemen komputasi heterogen seiring menjamurnya akselerator AI domestik (NVIDIA, Ascend, Cambricon, Kunlun, Tianshu, Muxi), yang menyebabkan masalah konsistensi di mana keluaran tensor mungkin gagal pada bentuk tertentu di GPU tertentu. Yang memperkenalkan HAMi, proyek sumber terbuka untuk virtualisasi dan berbagi GPU antar perangkat, dan membahas keterbatasan Kubernetes DRA (Dynamic Resource Allocation) untuk manajemen perangkat tingkat lanjut. Kelompok ini juga mengeksplorasi dampak agen AI pada komunitas sumber terbuka: agen kini membantu tugas-tugas PR yang rutin tetapi juga membanjiri repositori dengan kiriman berkualitas rendah yang harus diperiksa secara manual oleh komitter. Mo menjelaskan penerapan strategi penyaringan 'hanya manusia' melalui verifikasi email kerja/sekolah. Ke depannya, Yang memprediksi AI secara bertahap akan mengambil alih operasi infrastruktur, membebaskan para insinyur untuk fokus pada desain SLA (Service Level Agreement)/SLO (Service Level Objective)/biaya yang lebih tinggi, tetapi mencatat bahwa proyek sumber terbuka harus mempertahankan kepercayaan kualitas melalui pengujian komprehensif. Mo menambahkan bahwa perangkat lunak platform akan tetap esensial karena agen yang kuat pun mendapat manfaat dari optimalisasi kolektif ekosistem, dan 'efek Matthew' akan memusatkan penggunaan di sekitar proyek yang terpelihara dengan baik seperti vLLM. Percakapan ditutup dengan saran praktis tentang menangani operator perangkat keras yang tidak didukung: dukungan vendor, pemindahan ke CPU, atau pembuatan profil iteratif menggunakan agen, meskipun bug kasus tepi tetap sulit dideteksi.