NVIDIA、手術ロボット向けリアルタイム生成シミュレーター「Cosmos-H-Dreams」を発表

NVIDIAは、手術用ロボット向けのリアルタイム生成シミュレーター「Cosmos-H-Dreams」を発表しました。これは、Cosmos-H-Surgical-Simulatorのワールドモデルを、少数ステップの拡散を使用する因果学生モデルに蒸留し、高速推論ライブラリ「FlashDreams」を通じて提供するものです。1基のNVIDIA RTX PRO 6000 GPU上で動作し、約毎秒160フレームの対話操作を実現します。このシミュレーターはアクション条件付きで、初期RGBフレームとロボットのキネマティクスのライブストリームを受け取り、後続のビデオフレームを自己回帰的に生成します。CMR SurgicalおよびCambridge Consultantsとの協力のもと、Versius手術コントローラー上でデモンストレーションが行われました。このシステムは、ブラウザ（WebRTC）やMeta Quest（WebXR）を介したヒューマンインターフェースをサポートし、学習済みの手術ポリシーにも接続可能です。Cosmos-H-Dreamsは、手術ポリシーの評価、合成データの生成、そして手術におけるフィジカルAIのクローズドループ制御を可能にするために設計されています。