NVIDIA Vera Rubin: Maximum Intelligence per Dollar for Agentic AI
NVIDIA
Prime Intellect
Perplexity AI
Together AI
NVIDIA introduced the Vera Rubin platform, designed for continuous post-training of agentic AI models. The key metric becomes 'intelligence per dollar', combining token cost and training efficiency. The platform promises a fourfold reduction in GPU count compared to Blackwell.
NVIDIA, blogunda, aracı AI için eğitim sonrası (post-training) artık tek seferlik bir aşama değil, sürekli bir süreç olduğunu açıklıyor. Üretken modellerin aksine, aracı modeller planlama yapmalı, araçları kullanmalı ve değişen koşullara uyum sağlamalıdır. Eğitim sonrası, modelin takviyeli öğrenme (RL) yoluyla becerilerini geliştirdiği ileri ve geri geçiş döngülerini içerir. Temel metrik, çıkarım sırasında token başına maliyet (cost per token) ile eğitim verimliliğini birleştiren 'dolar başına zeka' (intelligence per dollar) haline gelir. Blackwell'in varisi NVIDIA Vera Rubin platformu, bu senaryo için tasarlanmıştır: dört kat daha az GPU ile en büyük modellerin eğitilmesine olanak tanır. Örnek olarak, MoE mimarisine sahip 550 milyar parametreli Nemotron 3 Ultra modeli, SWE-bench verified'da %71,7 başarı göstermiştir. Vera Rubin platformu, NeMo kütüphaneleriyle (NeMo Gym, NeMo RL) entegrasyon kullanır ve binlerce ortamın paralel dağıtımı için optimize edilmiştir. Ortaklar arasında Prime Intellect (Vera işlemcilerinde x86'ya kıyasla %30 bant genişliği artışı), Perplexity (RDMA ağırlık senkronizasyonu ile 2 saniyeden kısa sürede RL yığını) ve Together AI (AI Native Cloud platformunda bir hizmet olarak eğitim sonrası) yer almaktadır.
Kaynak: NVIDIA blog —
orijinal