World Labs cho thấy cách robot học các nhiệm vụ phức tạp mà không cần dữ liệu huấn luyện thực tế

World Labs đã công bố những kết quả đầu tiên của engine R2S2R, công cụ chuyển đổi các tác vụ robot thực tế thành mô phỏng để huấn luyện và đánh giá các mô hình điều khiển mà không cần thử nghiệm trên phần cứng thực tế đắt đỏ. Công nghệ này đến từ SceniX, được World Labs mua lại vào tháng Bảy. Engine hoạt động theo hai bước: đầu tiên, nó ghi lại robot, cảm biến, môi trường và các màn trình diễn tác vụ để tái tạo một thế giới ảo tương tác có hành vi vật lý giống như bản gốc. Từ một tác vụ thực tế duy nhất, nó tạo ra hàng nghìn biến thể về ánh sáng, vị trí vật thể, tính chất vật lý và góc nhìn camera. Sau đó, các mô hình điều khiển được huấn luyện trong mô phỏng và chuyển sang robot thực tế. Các thử nghiệm đã được tiến hành trên nền tảng ALOHA và bốn nền tảng robot khác, nơi các mô hình chạy trong một giờ mà không có sự can thiệp của con người. Các ví dụ bao gồm luồn cáp, chèn đầu cáp đàn hồi vào lỗ và đóng gói hộp bằng hai tay. Hệ thống không phụ thuộc vào mô hình cụ thể và có thể tái sử dụng cho các mô hình và robot mới. World Labs lập luận rằng sự phát triển robot tụt hậu so với các mô hình ngôn ngữ vì việc đánh giá gắn liền với các thử nghiệm thực tế; một mô phỏng mạnh mẽ phải trả lời các câu hỏi tương tự về lỗi và cải tiến của mô hình. Họ đã thử nghiệm với tác vụ chuyển khối lập phương bằng hai tay, nơi mô phỏng tái tạo các trường hợp biên và lỗi. Thứ hạng của các mô hình (bao gồm GR00T N1.6 và π₀.₅) vẫn tương tự giữa mô phỏng và thực tế qua 2000 lần mô phỏng và 100 lần chạy thực tế cho mỗi điểm kiểm tra. Điều này cho phép lọc ra các phiên bản yếu trong mô phỏng, tiết kiệm việc thử nghiệm phần cứng thực tế cho các ứng viên tiềm năng. World Labs định vị trình mô phỏng là trung tâm của phân loại các mô hình thế giới của họ, viện dẫn sự tương đồng với lái xe tự động. Mục tiêu dài hạn là mở rộng quy mô các thế giới nơi robot học hỏi. World Labs, được thành lập vào năm 2024 bởi Fei-Fei Li, đã huy động được một tỷ đô la vốn đầu tư mạo hiểm. Engine R2S2R là ứng dụng cụ thể đầu tiên trong lĩnh vực robot. Nghiên cứu này đóng góp vào cuộc tranh luận về các mô hình thế giới trong robot, phân biệt chúng với các trình tạo video và tương phản với các phương pháp khác như World Action Models và Orca của Trung Quốc.