Yapay Zeka Altyapısı Yeni Zorluklarla Karşı Karşıya: Modeller Büyüyor, Heterojen Hesaplama ve Ajan Karmaşıklığı Alanı Yeniden Şekillendiriyor
Huawei
4Paradigm (Fourth Paradigm)
DeepSeek
Alibaba/Qwen
Cosmos (NVIDIA)
Google/DeepMind
Meta
Anthropic
Yapay zeka model mimarileri giderek daha karmaşık ve çeşitli hale geldikçe, yapay zeka altyapısının heterojen hesaplama, çok modelli iş hatları ve artan ajan odaklı iş yüklerine uyum sağlaması gerekiyor. Huawei, Inferact vLLM ve 4Paradigm'den uzmanlar, başlıca zorlukları tartışıyor: çeşitli yapay zeka hızlandırıcılarını (NVIDIA, Ascend, Cambricon ve diğerleri) yönetmek, çok modlu çıkarımı optimize etmek ve yapay zekanın nihayetinde altyapı yönetiminin çoğunu otomatikleştirerek mühendisleri uygulamadan planlama ve hizmet seviyesi anlaşması tanımına kaydırabileceği.
Yakın zamanda gerçekleşen bir InfoQ canlı söyleşisinde, Huawei AI açık kaynak ekoloji direktörü Huang Zhipeng, Inferact vLLM taahhütçüsü Mo Zifeng ve 4Paradigm (Fourth Paradigm) sistem Ar-Ge uzmanı Yang Shouren ile AI altyapısının evrimini ele aldı. Mo, model mimarilerinin araç zincirlerinden çok daha hızlı büyüdüğünü belirtti; buna örnek olarak DeepSeek V4'ün karmaşık MoE'sini ve LLaVA'dan tam modlu Cosmos V'ye evrilen çok modlu modelleri gösterdi. Yang, yapay zeka hızlandırıcılarının (NVIDIA, Ascend, Cambricon, Kunlun, Tianshu, Muxi) çoğalmasıyla heterojen bilgi işlem yönetiminin temel zorluğuna dikkat çekti; belirli bir GPU'da belirli şekillerde bir tensör çıktısının başarısız olabilmesi gibi tutarlılık sorunlarına yol açabiliyor. Yang, cihazlar arasında GPU sanallaştırma ve paylaşımı için açık kaynaklı bir proje olan HAMi'yi tanıttı ve gelişmiş cihaz yönetimi için Kubernetes DRA'nın (Dinamik Kaynak Tahsisi) sınırlamalarını tartıştı. Grup ayrıca AI ajanlarının açık kaynak toplulukları üzerindeki etkisini de inceledi: ajanlar artık sıradan çekme isteği (PR) görevlerine yardımcı oluyor, ancak aynı zamanda depolara, taahhütçülerin manuel olarak ayıklaması gereken düşük kaliteli gönderimlerle dolduruyor. Mo, iş/okul e-posta doğrulaması yoluyla 'yalnızca insan' filtreleme stratejisini benimsediklerini anlattı. Geleceğe bakıldığında Yang, AI'nın altyapı operasyonlarını kademeli olarak devralacağını, mühendislerin daha üst düzey Hizmet Seviyesi Sözleşmesi (SLA)/Hizmet Seviyesi Hedefi (SLO)/maliyet tasarımına odaklanmasını sağlayacağını, ancak açık kaynak projelerin kapsamlı testlerle kalite güvenini koruması gerektiğini belirtti. Mo, platform tipi yazılımların gerekli olmaya devam edeceğini, çünkü güçlü ajanların bile ekosistemin kolektif optimizasyonlarından faydalandığını ve 'Matthew etkisi'nin kullanımı vLLM gibi iyi bakılan projeler etrafında yoğunlaştıracağını ekledi. Söyleşi, desteklenmeyen donanım operatörlerinin nasıl ele alınacağına dair pratik tavsiyelerle sona erdi: satıcı desteği, CPU boşaltma veya ajanları kullanarak yinelemeli profil oluşturma; ancak uç durum hataları yakalanması zor olmaya devam ediyor.
Kaynak: InfoQ 中国 —
orijinal