NVIDIA stellt Cosmos-H-Dreams vor: Echtzeit-generativer Simulator für Chirurgieroboter

NVIDIA hat Cosmos-H-Dreams veröffentlicht, einen Echtzeit-generativen Simulator für die Chirurgierobotik. Es destilliert das Weltmodell des Cosmos-H-Surgical-Simulators in ein kausales Studentenmodell, das Diffusionsprozesse mit wenigen Schritten verwendet, und stellt es über die beschleunigte Inferenzbibliothek FlashDreams bereit. Auf einer einzelnen NVIDIA RTX PRO 6000 GPU läuft es interaktiv mit etwa 160 Bildern pro Sekunde. Der Simulator ist aktionsgesteuert: Er erhält ein erstes RGB-Bild und einen Live-Stream der Roboterkinematik, um nachfolgende Videobilder autoregressiv zu generieren. Vorführt wurde das System in Zusammenarbeit mit CMR Surgical und Cambridge Consultants auf dem Versius-Chirurgen-Controller. Das System unterstützt menschliche Schnittstellen über Browser (WebRTC) und Meta Quest (WebXR) und kann auch mit gelernten chirurgischen Strategien verbunden werden. Cosmos-H-Dreams ist dazu entwickelt, chirurgische Strategien zu evaluieren, synthetische Daten zu generieren und die Regelung im geschlossenen Regelkreis für Physical AI in der Chirurgie zu ermöglichen.