NVIDIA KI veröffentlicht Molt: Ein PyTorch-natives agentisches Reinforcement-Learning-Framework
NVIDIA
Das NeMo-Team von NVIDIA hat Molt als Open Source unter der Apache-2.0-Lizenz veröffentlicht, ein kompaktes, PyTorch-natives Framework für agentisches Reinforcement Learning. Mit etwa 8.600 Zeilen RL-Code zielt es darauf ab, den Aufwand für Forschende zu reduzieren, indem es Ray, vLLM und NVIDIA AutoModel ohne Forking kombiniert und Korrektheitsinvarianten wie Token-Identität und Replay des Rollout-Routings unterstützt. Die mitgelieferten Rezepte gehen von zwei Knoten mit jeweils acht H100-GPUs aus und richten sich an führende und angrenzende Labore.
Das NeMo-Team von NVIDIA hat Molt veröffentlicht, ein PyTorch-natives agentisches Reinforcement-Learning-Framework, das den Forschungsaufwand für ständige Modifikationen von RL-Algorithmen reduzieren soll. Der Code ist bewusst kompakt gehalten – etwa 8,6 Tausend Zeilen RL-Code, verglichen mit rund 62 Tausend für verl und 25 Tausend für slime –, sodass Forscher und KI-Coding-Assistenten ihn vollständig erfassen können. Molt ist unter Apache 2.0 einsetzbar, inklusive Startbefehlen, Slurm-Skripten und einem vorgefertigten Container, aber das Paper positioniert es als Forschungsinfrastruktur, nicht als Produktionsdienst. Die mitgelieferten Rezepte gehen von 2 Knoten mit 8 H100-GPUs aus, aufgeteilt in 8 für Training und 8 für Rollout, was es für Spitzenlabore, gut finanzierte Start-ups, Unternehmensforschungsteams und akademische Labore mit Multi-Node-H100/H200-Zugang erreichbar macht. Molt kombiniert Ray für Placement und Warteschlangen, vLLM für Rollout und NVIDIA AutoModel mit FSDP2 für Training – nichts davon ist geforkt, sodass Upstream-Verbesserungen als Container-Pin ankommen. Die Laufzeit verwendet einen Agentenpool aus vLLM-Engines hinter einem Request-Router und einem einzelnen trainierbaren Policy-Actor, wobei teilweises Rollout Engines pausiert und Actor-Shards über NCCL überträgt. Ein RL-Lauf exportiert ein AgentRunner-Modul, das Env (Gymnasium-konformer step()-Aufruf) oder ChatAgent (benutzereigene Schleife über OpenAI- oder Anthropic-SDK) über einen Loopback-Server unterstützt, der eine token-genaue Akkumulation gewährleistet. Zu den Design-Korrektheitsinvarianten gehören Token-Identität, Policy-Versions-Semantik und Forward-Konsistenz; für Mixture-of-Experts-Policies wendet Molt Rollout-Routing-Replay an, bei dem vLLM tokenweise Experten-IDs zurückgibt und der Trainings-Forward diese wiedergibt. Der Durchsatz ist statistisch vergleichbar mit einem Megatron-basierten Stack, wobei die MoE-Diskrepanz offengelegt wird, und dieselbe Schleife läuft mit einem dichten 4B-Modell oder einem 700B-MoE bei --fsdp.ep_size 256.
Quelle: MarkTechPost —
Original