NVIDIA, Hızlı ve Özelleşmiş Ajan Görevleri için Nemotron 3.5 Lightning'ı Tanıttı

NVIDIA, her zaman açık ajanlar için özelleştirilebilir açık 30B uzman karışımı (MoE) modeli olan Nemotron 3.5 Lightning'i duyurdu ve Nemotron 3 ailesini genişletti. Model, kendi sınıfındaki açık modellere kıyasla 4 kata kadar daha hızlı token üretimi ve %30 daha hızlı tamamlanma süresi sunuyor. Açık ağırlıklara sahip olduğu için geliştiriciler, belirli stiller, uzmanlık alanları veya kodlama kuralları için ince ayar yapabilir; bu da e-posta yönetimi, akıllı ev rutinleri veya kodlama asistanı gibi kişiselleştirilmiş yerel ajan yapay zeka deneyimlerini mümkün kılar. NVIDIA, NVFP4 ve GGUF formatları dahil olmak üzere optimize edilmiş yerel dağıtım seçenekleri sağlamak için vLLM, Ollama, llama.cpp, LM Studio ve Unsloth ile iş birliği yaptı. Model, NVIDIA RTX PC'ler ve DGX Spark'tan Jetson'a kadar çeşitli cihazlarda yerel olarak çalışır ve Acer, ASUS, Dell ve Lenovo gibi ortakların Blackwell sistemleriyle iş istasyonlarına ve veri merkezlerine ölçeklenir. Ayrıca NVIDIA, ajan iş akışının her adımını doğruluk, hız ve maliyete göre en uygun modele yönlendiren açık kaynaklı bir yönlendirme kütüphanesi olan NeMo Switchyard'ı tanıttı; bu, işletmelerin token maliyetlerini yönetmesine yardımcı olur. Dahili kıyaslamalar, NeMo Switchyard'ın kıyaslama tamamlama maliyetlerini Opus 4.8'in yaklaşık üçte birine düşürdüğünü ve öncü düzeyde görev tamamlama sağladığını gösteriyor. NeMo Switchyard GitHub'da mevcuttur.