NVIDIA Cosmos 3: Mô hình Thế giới Mở Nền tảng cho AI Vật lý

NVIDIA vừa công bố Cosmos 3, một omni-model nền tảng AI vật lý mã nguồn mở tiên phong, được xây dựng trên kiến trúc mixture-of-transformers, kết hợp suy luận thị giác, tạo sinh thế giới và dự đoán hành động, cho phép các nhà phát triển dùng một hệ mô hình duy nhất cho việc hiểu cảnh, tạo dữ liệu tổng hợp, mô phỏng trạng thái tương lai và xây dựng các mô hình hành động thế giới chuyên biệt. Dòng sản phẩm này bao gồm Cosmos 3 Super (64B) dành cho mô hình hóa thế giới độ trung thực cao, Cosmos 3 Nano (16B) dành cho suy luận và tinh chỉnh sau huấn luyện hiệu quả, và Cosmos 3 Edge (4B) dành cho suy luận thị giác trên thiết bị và triển khai chính sách robot, có thể triển khai trên GPU NVIDIA RTX, hệ thống DGX và nền tảng Jetson. Theo kết quả đánh giá, Cosmos 3 đứng số 1 trên Artificial Analysis đối với tạo sinh văn bản-thành-hình ảnh và hình ảnh-thành-video với trọng số mở, trên PAI-Bench đối với tạo sinh thế giới và trong hạng mục hình ảnh-thành-video của Physics-IQ; đối với chính sách robot, mô hình này đứng số 1 trên RoboLab, và Cosmos 3 Super là mô hình mở được xếp hạng cao nhất trên VANTAGE-Bench về hiểu thị giác. Các mô hình nền tảng thế giới NVIDIA Cosmos được cấp phép theo giấy phép OpenMDW 1.1 của Linux Foundation, cho phép các nhóm tinh chỉnh mô hình trên dữ liệu và phần cứng của riêng họ. Bộ công cụ AI vật lý của NVIDIA cũng bao gồm Isaac GR00T cho robot, Alpamayo cho xe tự hành và Metropolis cho AI thị giác. Các công ty như Doosan Robotics, LG Electronics, Samsung Electronics, Skild AI, Li Auto, Xiaomi, Afari, Centific, Fogsphere, Linker Vision, Milestone Systems và Yuan đang xây dựng ứng dụng AI vật lý trên nền tảng NVIDIA Cosmos. Liên minh NVIDIA Cosmos, gần đây đã mở rộng sang Nhật Bản, quy tụ các nhà phát triển mô hình thế giới, nhà phát triển AI và các nhà lãnh đạo AI vật lý để đóng góp mô hình, nghiên cứu và phương pháp đánh giá.