NVIDIA Cosmos 3 : des modèles du monde ouverts comme base pour l'IA physique

NVIDIA a annoncé Cosmos 3, un modèle omni fondamental d'IA physique ouvert et de pointe, construit sur une architecture de mélange de transformeurs, qui combine le raisonnement visuel, la génération de mondes et la prédiction d'actions, permettant aux développeurs d'utiliser une seule famille de modèles pour la compréhension de scènes, la génération de données synthétiques, la simulation d'états futurs et la construction de modèles d'actions mondiaux spécialisés. La famille comprend Cosmos 3 Super (64B) pour la modélisation du monde à haute fidélité, Cosmos 3 Nano (16B) pour un raisonnement efficace et un post-entraînement, et Cosmos 3 Edge (4B) pour le raisonnement visuel sur appareil et le déploiement de politiques robotiques, déployables sur les GPU NVIDIA RTX, les systèmes DGX et les plateformes Jetson. Selon les benchmarks, Cosmos 3 se classe n°1 sur Artificial Analysis pour la génération d'images à partir de texte et de vidéos à partir d'images avec des poids ouverts, sur PAI-Bench pour la génération de mondes, et dans la catégorie image-vers-vidéo de Physics-IQ, et pour la politique robotique, il se classe n°1 sur RoboLab, et Cosmos 3 Super est le modèle ouvert le mieux classé sur VANTAGE-Bench pour la compréhension visuelle. Les modèles fondamentaux de mondes NVIDIA Cosmos sont disponibles sous la licence OpenMDW 1.1 de la Linux Foundation, ce qui permet aux équipes de post-entraîner des modèles sur leurs propres données et matériel. La pile d'IA physique de NVIDIA comprend également Isaac GR00T pour la robotique, Alpamayo pour les véhicules autonomes et Metropolis pour l'IA visuelle. Des entreprises telles que Doosan Robotics, LG Electronics, Samsung Electronics, Skild AI, Li Auto, Xiaomi, Afari, Centific, Fogsphere, Linker Vision, Milestone Systems et Yuan développent des applications d'IA physique basées sur NVIDIA Cosmos. La coalition NVIDIA Cosmos, récemment étendue au Japon, rassemble des créateurs de modèles de mondes, des développeurs d'IA et des leaders de l'IA physique pour contribuer avec des modèles, des recherches et des méthodes d'évaluation.