NVIDIA lanza Cosmos-H-Dreams: simulador generativo en tiempo real para robots quirúrgicos

NVIDIA ha lanzado Cosmos-H-Dreams, un simulador generativo en tiempo real para robótica quirúrgica. Destila el modelo del mundo Cosmos-H-Surgical-Simulator en un modelo causal estudiante que utiliza difusión de pocos pasos, y lo sirve a través de la biblioteca de inferencia acelerada FlashDreams. Ejecutándose en una única GPU NVIDIA RTX PRO 6000, logra una operación interactiva a aproximadamente 160 fotogramas por segundo. El simulador está condicionado por acciones, recibiendo un fotograma RGB inicial y un flujo en vivo de cinemática del robot para generar fotogramas de video posteriores de forma autorregresiva. Fue demostrado en colaboración con CMR Surgical y Cambridge Consultants en el controlador quirúrgico Versius. El sistema admite interfaces humanas a través del navegador (WebRTC) y Meta Quest (WebXR), y también puede conectarse a políticas quirúrgicas aprendidas. Cosmos-H-Dreams está diseñado para evaluar políticas quirúrgicas, generar datos sintéticos y permitir el control en bucle cerrado para la inteligencia artificial física en cirugía.