Ускорение тонкой настройки трансформеров с NVIDIA NeMo AutoModel
NVIDIA представила NeMo AutoModel — открытую библиотеку для масштабного создания кастомных генеративных ИИ-моделей на основе Transformers v5. Она добавляет экспертный параллелизм (Expert Parallelism), DeepEP и ядра TransformerEngine, что даёт ускорение обучения в 3.4–3.7 раза и снижение потребления GPU-памяти на 29–32% при тонкой настройке MoE-моделей без изменения API.
NVIDIA
Hugging Face
Moonshot AI
DeepSeek


