NVIDIA ra mắt Cosmos-H-Dreams: Trình mô phỏng tạo sinh thời gian thực cho robot phẫu thuật

NVIDIA đã phát hành Cosmos-H-Dreams, một trình mô phỏng thời gian thực có khả năng sinh cho phẫu thuật robot. Nó chắt lọc mô hình thế giới Cosmos-H-Surgical-Simulator thành một mô hình học sinh nhân quả sử dụng khuếch tán vài bước, và phục vụ mô hình này thông qua thư viện suy luận tăng tốc FlashDreams. Chạy trên một GPU NVIDIA RTX PRO 6000 duy nhất, nó đạt được hoạt động tương tác với tốc độ xấp xỉ 160 khung hình mỗi giây. Trình mô phỏng có điều kiện hành động, nhận một khung RGB ban đầu và một luồng trực tiếp động học robot để tạo ra các khung video tiếp theo một cách tự hồi quy. Nó đã được trình diễn hợp tác với CMR Surgical và Cambridge Consultants trên bộ điều khiển phẫu thuật Versius. Hệ thống hỗ trợ giao diện con người qua trình duyệt (WebRTC) và Meta Quest (WebXR), đồng thời cũng có thể kết nối với các chính sách phẫu thuật đã học. Cosmos-H-Dreams được thiết kế để đánh giá các chính sách phẫu thuật, tạo dữ liệu tổng hợp và cho phép điều khiển vòng kín cho AI vật lý trong phẫu thuật.