NVIDIA stellt Nemotron 3.5 Lightning für schnelle, spezialisierte Agentenaufgaben vor

NVIDIA hat Nemotron 3.5 Lightning angekündigt, ein anpassbares Open-Source-Modell mit 30 Milliarden Parametern im Mixture-of-Experts-Verfahren (MoE) für Always-on-Agenten, und erweitert damit die Nemotron-3-Familie. Das Modell liefert eine bis zu viermal schnellere Token-Erzeugung und eine um 30 Prozent schnellere Fertigstellungszeit im Vergleich zu offenen Modellen seiner Klasse. Da die Gewichte offen sind, können Entwickler es für bestimmte Stile, Spezialgebiete oder Codierungskonventionen feinabstimmen und so personalisierte lokale Agenten-KI-Erlebnisse ermöglichen, etwa für E-Mail-Verwaltung, Smart-Home-Routinen oder Codierungsassistenten. NVIDIA hat mit vLLM, Ollama, llama.cpp, LM Studio und Unsloth zusammengearbeitet, um optimierte lokale Bereitstellungsoptionen einschließlich der Formate NVFP4 und GGUF bereitzustellen. Das Modell läuft lokal auf Geräten von NVIDIA-RTX-PCs und DGX Spark bis hin zu Jetson und skaliert auf Workstations und Rechenzentren mit Blackwell-Systemen von Partnern wie Acer, ASUS, Dell und Lenovo. Zusätzlich hat NVIDIA NeMo Switchyard eingeführt, eine Open-Source-Routing-Bibliothek, die jeden Schritt eines Agenten-Workflows basierend auf Genauigkeit, Geschwindigkeit und Kosten an das am besten geeignete Modell weiterleitet und Unternehmen dabei hilft, Tokens zu verwalten. Interne Benchmarks zeigen, dass NeMo Switchyard die Kosten für die Fertigstellung von Benchmarks auf etwa ein Drittel der Kosten von Opus 4.8 reduziert hat, während die Genauigkeit auf dem Niveau führender Modelle bleibt. NeMo Switchyard ist auf GitHub verfügbar.