NVIDIA Cosmos 3: Offene Weltmodelle als Fundament für physische KI

NVIDIA hat Cosmos 3 angekündigt, ein wegweisendes offenes physisches KI-Foundation-Omni-Modell, das auf einer Mixture-of-Transformers-Architektur basiert und visuelle Vernunft, Weltgenerierung und Aktionsvorhersage kombiniert. Dadurch können Entwickler eine einzige Modellfamilie für Szenenverständnis, synthetische Datengenerierung, Simulation zukünftiger Zustände und die Entwicklung spezialisierter Weltaktionsmodelle nutzen. Die Familie umfasst Cosmos 3 Super (64B) für hochpräzise Weltmodellierung, Cosmos 3 Nano (16B) für effiziente Vernunft und Nachbearbeitung sowie Cosmos 3 Edge (4B) für visuelle Vernunft auf dem Gerät und die Bereitstellung von Roboterrichtlinien. Sie sind auf NVIDIA-RTX-GPUs, DGX-Systemen und Jetson-Plattformen einsetzbar. Laut Benchmarks belegt Cosmos 3 den ersten Platz bei Artificial Analysis für Text-zu-Bild- und Bild-zu-Video-Generierung mit offenen Gewichten, bei PAI-Bench für Weltgenerierung und in der Kategorie Bild-zu-Video von Physics-IQ. Für Roboterrichtlinien erreicht es den ersten Platz bei RoboLab, und Cosmos 3 Super ist das am höchsten bewertete offene Modell bei VANTAGE-Bench für visuelles Verständnis. Die NVIDIA-Cosmos-Weltfundationsmodelle sind unter der OpenMDW-1.1-Lizenz der Linux Foundation verfügbar, sodass Teams Modelle mit ihren eigenen Daten und auf ihrer eigenen Hardware nachtrainieren können. Der physische KI-Stack von NVIDIA umfasst außerdem Isaac GR00T für Robotik, Alpamayo für autonome Fahrzeuge und Metropolis für visuelle KI. Unternehmen wie Doosan Robotics, LG Electronics, Samsung Electronics, Skild AI, Li Auto, Xiaomi, Afari, Centific, Fogsphere, Linker Vision, Milestone Systems und Yuan bauen mit NVIDIA Cosmos Anwendungen für physische KI. Die NVIDIA Cosmos Coalition, die kürzlich auf Japan ausgeweitet wurde, bringt Weltmodell-Entwickler, KI-Entwickler und führende Unternehmen der physischen KI zusammen, um Modelle, Forschung und Bewertungsmethoden beizutragen.