NVIDIA Cosmos 3: 물리적 AI의 기반이 되는 오픈 월드 모델

엔비디아가 세계 생성, 비전 추론, 행동 예측을 결합한 혼합 트랜스포머 아키텍처 기반의 물리 AI 기반 모델인 코스모스 3를 발표했습니다. 이 모델은 개발자들이 하나의 모델 제품군으로 장면 이해, 합성 데이터 생성, 미래 상태 시뮬레이션, 특수 세계 행동 모델 구축을 수행할 수 있게 해줍니다. 제품군에는 고충실도 세계 모델링을 위한 코스모스 3 슈퍼(64B), 효율적인 추론 및 사후 훈련을 위한 코스모스 3 나노(16B), 온디바이스 비전 추론 및 로봇 정책 배포를 위한 코스모스 3 엣지(4B)가 포함되며, 엔비디아 RTX GPU, DGX 시스템, 제트슨 플랫폼 전반에 걸쳐 배포할 수 있습니다. 벤치마크에 따르면 코스모스 3는 오픈 가중치 텍스트-이미지 및 이미지-비디오 생성 부문에서 아티피셜 애널리틱스 1위, 세계 생성 부문에서 PAI-벤치 1위, 물리-IQ 이미지-비디오 부문 1위, 로봇 정책 부문에서는 로보랩 1위를 기록했으며, 코스모스 3 슈퍼는 비전 이해 부문에서 밴티지-벤치 오픈 모델 중 최고 순위를 차지했습니다. 엔비디아 코스모스 세계 기반 모델은 리눅스 재단의 오픈MDW 1.1 라이선스에 따라 제공되며, 팀은 자체 데이터와 하드웨어로 모델을 사후 훈련할 수 있습니다. 엔비디아의 물리 AI 스택에는 로보틱스용 아이작 그루트, 자율주행차용 알파마요, 비전 AI용 메트로폴리스도 포함됩니다. 두산로보틱스, LG전자, 삼성전자, 스킬드 AI, 리오토, 샤오미, 아파리, 센티픽, 포그스피어, 링커비전, 마일스톤 시스템즈, 위안 등이 물리 AI 애플리케이션을 위해 엔비디아 코스모스를 기반으로 구축하고 있습니다. 최근 일본으로 확장된 엔비디아 코스모스 연합은 세계 모델 빌더, AI 개발자, 물리 AI 리더들이 모여 모델, 연구, 평가 방법을 기여하고 있습니다.