NVIDIA lance Cosmos-H-Dreams : simulateur génératif en temps réel pour robots chirurgicaux

NVIDIA a lancé Cosmos-H-Dreams, un simulateur génératif en temps réel pour la robotique chirurgicale. Il distille le modèle du monde Cosmos-H-Surgical-Simulator en un modèle étudiant causal utilisant une diffusion en quelques étapes, et le sert via la bibliothèque d'inférence accélérée FlashDreams. Fonctionnant sur un seul GPU NVIDIA RTX PRO 6000, il atteint un fonctionnement interactif à environ 160 images par seconde. Le simulateur est conditionné par l'action, recevant une image RVB initiale et un flux en direct de la cinématique du robot pour générer de manière autorégressive les images vidéo suivantes. Il a été démontré en collaboration avec CMR Surgical et Cambridge Consultants sur le contrôleur chirurgical Versius. Le système prend en charge les interfaces humaines via le navigateur (WebRTC) et Meta Quest (WebXR), et peut également être connecté à des politiques chirurgicales apprises. Cosmos-H-Dreams est conçu pour évaluer des politiques chirurgicales, générer des données synthétiques et permettre un contrôle en boucle fermée pour l'IA physique en chirurgie.