BeingBeyond ra mắt Being-H0.8, Mô hình Thế giới-Hành động Xúc giác Ngầm đầu tiên được huấn luyện trên 500.000 giờ video

BeingBeyond công bố Being-H0.8, mô hình hành động-thế giới xúc giác tiềm ẩn đầu tiên được xây dựng từ dữ liệu video con người. Mô hình này tích hợp phương thức xúc giác vào biểu diễn không gian tiềm ẩn, mở rộng mô hình thị giác thế giới Being-H0.7 trước đó. Nó sử dụng Mixture of Transformers (MoT) để dự đoán kết quả tương tác, một chuyên gia hành động nhanh-chậm để thực thi và điều chỉnh theo thời gian thực, Bộ mã hóa xúc giác phổ quát để thống nhất tín hiệu xúc giác, và TopoHand để căn chỉnh không gian hành động giữa người và robot. Kho dữ liệu huấn luyện vượt quá 500.000 giờ video góc nhìn thứ nhất, được làm sạch và xử lý thành bộ dữ liệu UniHand-3.0. Để giải quyết tình trạng thiếu nhãn xúc giác trong video, BeingBeyond phát triển TactoHand nhằm suy luận tiếp xúc và khoảng cách từ dữ liệu thị giác, bổ sung bằng dữ liệu thực tế từ găng tay áp suất. Mô hình đã được thử nghiệm trên robot hai tay thực hiện các tác vụ như lấy vật từ túi, viết bằng bút lông, bóp kem đánh răng và nhặt khoai tây chiên, chứng tỏ khả năng xử lý các thao tác tinh tế cần phản hồi xúc giác. BeingBeyond được thành lập vào tháng 5 năm 2025 bởi Lu Zongqing, phó giáo sư tại Đại học Bắc Kinh, và đã trải qua ba giai đoạn: chứng minh tính khả thi của huấn luyện từ video con người (Being-H0 đến H0.5), mở rộng quy mô (H0.5 đến H0.7), và hiện tại là cải thiện chất lượng dữ liệu (H0.8).