NVIDIA giới thiệu Nemotron 3.5 Lightning cho các tác vụ agentic chuyên biệt và nhanh chóng

NVIDIA đã công bố Nemotron 3.5 Lightning, một mô hình hỗn hợp chuyên gia (MoE) mã nguồn mở 30B có thể tùy chỉnh dành cho các tác nhân luôn hoạt động, mở rộng gia đình Nemotron 3 của họ. Mô hình này mang lại tốc độ tạo token nhanh hơn tới 4 lần và thời gian hoàn thành nhanh hơn 30% so với các mô hình mã nguồn mở cùng phân khúc. Vì trọng số được mở, các nhà phát triển có thể tinh chỉnh nó cho các phong cách, chuyên môn hoặc quy ước mã hóa cụ thể, cho phép trải nghiệm trí tuệ nhân tạo tác nhân cục bộ được cá nhân hóa như quản lý email, quy trình nhà thông minh hoặc trợ lý lập trình. NVIDIA đã hợp tác với vLLM, Ollama, llama.cpp, LM Studio và Unsloth để cung cấp các tùy chọn triển khai cục bộ được tối ưu hóa, bao gồm các định dạng NVFP4 và GGUF. Mô hình chạy cục bộ trên các thiết bị từ PC RTX và DGX Spark của NVIDIA đến Jetson, và mở rộng quy mô đến máy trạm và trung tâm dữ liệu với các hệ thống Blackwell từ các đối tác như Acer, ASUS, Dell và Lenovo. Ngoài ra, NVIDIA đã giới thiệu NeMo Switchyard, một thư viện định tuyến mã nguồn mở hướng dẫn từng bước của quy trình tác nhân đến mô hình phù hợp nhất dựa trên độ chính xác, tốc độ và chi phí, giúp doanh nghiệp quản lý chi phí token. Các điểm chuẩn nội bộ cho thấy NeMo Switchyard đã giảm chi phí hoàn thành điểm chuẩn xuống còn khoảng một phần ba so với Opus 4.8 trong khi vẫn duy trì mức hoàn thành nhiệm vụ tương đương biên giới. NeMo Switchyard có sẵn trên GitHub.