NVIDIA, 효율적인 에이전트 AI를 위한 Nemotron 3.5 Lightning 및 NeMo Switchyard 출시
NVIDIA
OpenAI
Anthropic
NVIDIA는 대규모 에이전트 작업에 최적화된 300억 파라미터 혼합 전문가(Mixture-of-Experts) 모델인 Nemotron 3.5 Lightning을 공개했습니다. 이 모델은 출력 속도를 최대 4배, 작업 완료 속도를 30% 향상시킵니다. 또한, 에이전트 워크플로우에서 지능적 요청 분배를 위한 오픈소스 모델 라우팅 라이브러리인 NeMo Switchyard도 함께 공개했습니다. 이 두 도구는 다양한 환경에서 배포 및 효율성에 대한 더 큰 제어를 제공합니다.
NVIDIA는 Nemotron 3 모델 제품군을 확장하여, 대규모 다중 에이전트 시스템 내 특수 작업을 위해 설계된 300억 파라미터 혼합 전문가(MoE) 모델인 Nemotron 3.5 Lightning을 출시했습니다. 이 모델은 동급 모델 대비 출력 속도가 최대 4배 빨라지고 에이전트 작업 완료 속도가 30% 향상되었습니다. 완전히 사용자 정의가 가능하며, NVIDIA NeMo를 사용하여 조직의 도메인 데이터, 도구 및 워크플로우에 맞춰 사후 학습시킬 수 있습니다. 또한, 회사는 모델 라우팅을 위한 오픈소스 라이브러리인 NeMo Switchyard를 출시했는데, 이는 에이전트 워크플로우의 각 단계에서 프롬프트를 가장 능숙하고 효율적인 모델로 자동 전달합니다. 내부 벤치마크에 따르면 NeMo Switchyard는 최첨단 정확도를 유지하면서도 작업 완료 비용을 Opus 4.8 단독 사용 대비 약 3분의 1로 줄입니다. CrowdStrike, Harvey, CodeRabbit, Lila Sciences 및 Fastino Labs를 포함한 파트너들은 자체 워크로드에 맞게 Nemotron 3.5 Lightning을 사용자 정의하고 있으며, Boomi, Cadence, Cognition, Kong, LangChain, LiteLLM, Nous Research, Ramp, Siemens 및 Classmethod는 NeMo Switchyard를 통합하거나 평가하고 있습니다.
출처: NVIDIA blog —
원문
