SensorFM: mô hình nền tảng cho thiết bị đeo được huấn luyện trên nghìn tỷ phút dữ liệu

Google Research đã công bố SensorFM, một mô hình nền tảng cảm biến lớn (Large Sensor Foundation Model) được tiền huấn luyện trên hơn một nghìn tỷ phút tín hiệu cảm biến đa phương thức từ năm triệu người tham gia đã đồng ý. Mô hình học thông qua tái tạo tự giám sát sử dụng phương pháp LSM-2 và khung che giấu thích ứng và kế thừa (Adaptive and Inherited Masking - AIM), coi dữ liệu thiếu tự nhiên trong thực tế là một hiện vật tự nhiên. Các thí nghiệm mở rộng quy mô cho thấy việc tăng cả kích thước dữ liệu và mô hình mang lại cải thiện gần như tuyến tính về mất mát tiền huấn luyện và hiệu suất xuôi dòng, với mô hình lớn nhất (SensorFM-B) chiến thắng trên 33/35 nhiệm vụ. Được đánh giá trên 35 nhiệm vụ sức khỏe từ ba nghiên cứu độc lập, các biểu diễn đã đóng băng của SensorFM vượt trội so với các đường cơ sở có giám sát, và một "lớp học" tác nhân gồm các tác nhân mô hình ngôn ngữ lớn (LLM) tự động thiết kế các đầu dự đoán vượt qua các bộ dự đoán tuyến tính trong hầu hết các nhiệm vụ. Khi được tích hợp vào một tác nhân sức khỏe cá nhân, các dự đoán của SensorFM cải thiện đáng kể chất lượng tóm tắt sức khỏe so với đường cơ sở, không có khác biệt thống kê so với việc sử dụng các phép đo thực tế.