NVIDIA AI выпускает Molt: PyTorch-нативный агентный фреймворк обучения с подкреплением
Команда NeMo из NVIDIA открыла исходный код Molt, компактного PyTorch-нативного агентного фреймворка обучения с подкреплением под лицензией Apache 2.0. Содержащий около 8,6 тысяч строк кода для обучения с подкреплением, он направлен на снижение нагрузки на исследователей за счет компоновки Ray, vLLM и NVIDIA AutoModel без необходимости форкинга, а также поддерживает инварианты корректности, такие как идентичность токенов и повторное воспроизведение маршрутизации развертывания. Предоставленные рецепты предполагают использование 2 узлов по 8 графических процессоров H100, ориентированных на передовые и смежные лаборатории.
Команда NeMo из NVIDIA выпустила Molt — агентный фреймворк обучения с подкреплением на основе PyTorch, призванный снизить исследовательские накладные расходы на постоянное изменение алгоритмов RL. Кодовая база намеренно компактна — примерно 8,6 тыс. строк RL-кода, по сравнению с примерно 62 тыс. для verl и 25 тыс. для slime, — поэтому исследователи и ИИ-ассистенты программирования могут полностью
Показать ещё ↓
Источник: MarkTechPost —
оригинал