NVIDIA представляет Nemotron 3.5 Lightning для быстрых и специализированных агентных задач

NVIDIA расширила семейство моделей Nemotron 3, выпустив Nemotron 3.5 Lightning — открытую 30-миллиардную модель смеси экспертов, предназначенную для постоянно активных агентов. Она обеспечивает до 4 раз более быструю генерацию токенов и на 30% более быстрое завершение задач по сравнению с открытыми моделями своего класса. Модель можно дообучать под индивидуальные задачи, и она работает локально на различных платформах NVIDIA. Также NVIDIA представила NeMo Switchyard — библиотеку с открытым исходным кодом для маршрутизации, которая оптимизирует агентные рабочие процессы по точности, скорости и стоимости. Сообщается, что она снижает стоимость выполнения бенчмарков примерно до одной трети стоимости использования только Opus 4.8.