Tokenlardan Görevlere: Ajan Yapay Zeka, Altyapı Odağını Nasıl Değiştiriyor
Arm
Ajan yapay zeka, odak noktasını token üretiminden eksiksiz iş akışlarını yürütmeye kaydırıyor. Yeni paradigmada, anahtar ölçütler model hızı değil, görev maliyeti, araç çağrı gecikmesi ve sanal alan başlatma süresidir. Merkezi işlem birimi (CPU) ve baş düğüm, orkestrasyonda kritik bir rol oynar. Token çıktısını vurgulayan geleneksel kıyaslamalar artık gerçek dünya performansını yansıtmamaktadır.
Ajan yapay zeka, altyapı gereksinimlerini dönüştürüyor: temel ölçüt artık üretilen token sayısı değil, tüm görevin başarıyla tamamlanması. Basit sohbet botlarının aksine, ajan iş akışları planlama, bağlam alma, araç ve uygulama programlama arayüzü (API) çağrıları, kum havuzunda kod yürütme, sonuç doğrulama ve telemetri içerir. Token verimi ve ilk tokena geçen süre gibi geleneksel kıyaslamalar artık gerçek dünya performansını yansıtmıyor. Bunun yerine, iş akışı ölçütlerine ihtiyaç var: görev yürütme maliyeti, araç gecikmesi, kum havuzu başlatma süresi ve düğüm başına ajan sayısı. Yönlendirme, bağlam hazırlama, politikalar ve telemetriyi yöneten merkezi işlem birimi (CPU) ve baş düğüm, orkestrasyonda kilit rol oynar. Baş düğüm, heterojen yapay zeka sistemi için stratejik bir kontrol merkezi haline gelir. Arm bunu bir platform fırsatı olarak görüyor ve model etrafındaki eylemleri koordine etmek için optimize edilmiş kendi Arm AGI CPU yongasını öneriyor: bellek yönetimi, arama, araçlar, API'ler, çalışma zamanı ortamı, kum havuzu ve gözlemlenebilirlik. Amaç, grafik işlem birimini (GPU) değiştirmek değil, yalnızca token akışını değil, tüm görev grafiğini optimize ederek tüm heterojen sistemi daha verimli hale getirmek. Gelecekteki kıyaslamalar, bir sistemin görevleri ne kadar hızlı, doğru, güvenli ve verimli bir şekilde tamamladığını değerlendirmelidir.
Kaynak: InfoQ 中国 —
orijinal