NVIDIA Lança Cosmos-H-Dreams: Simulador Generativo em Tempo Real para Robôs Cirúrgicos

A NVIDIA lançou o Cosmos-H-Dreams, um simulador generativo em tempo real para robótica cirúrgica. Ele destila o modelo de mundo Cosmos-H-Surgical-Simulator em um modelo aluno causal que utiliza difusão de poucas etapas e o serve por meio da biblioteca de inferência acelerada FlashDreams. Executando em uma única GPU NVIDIA RTX PRO 6000, atinge operação interativa a aproximadamente 160 quadros por segundo. O simulador é condicionado por ação, recebendo um quadro RGB inicial e um fluxo ao vivo da cinemática do robô para gerar quadros de vídeo subsequentes de forma autorregressiva. Foi demonstrado em colaboração com a CMR Surgical e a Cambridge Consultants no controlador cirúrgico Versius. O sistema suporta interfaces humanas via navegador (WebRTC) e Meta Quest (WebXR), podendo também ser conectado a políticas cirúrgicas aprendidas. O Cosmos-H-Dreams foi projetado para avaliar políticas cirúrgicas, gerar dados sintéticos e permitir controle em malha fechada para IA física em cirurgia.