SensorFM: A Foundation Model for Wearables Trained on a Trillion Minutes of Data

Google Research가 SensorFM을 공개했습니다. SensorFM은 웨어러블 기기를 위한 기초 모델로, 500만 명의 자원봉사자로부터 수집된 1조 분 이상의 멀티모달 센서 데이터로 사전 학습되었습니다. 데이터에는 광용적맥파, 가속도계, 전기피부활동, 피부 온도, 고도계 신호가 분 단위 해상도로 포함되며, Fitbit 및 Pixel Watch 기기로 100개국 이상에서 수집되었습니다. 이 모델은 적응형 및 상속 마스킹(Adaptive and Inherited Masking, AIM) 기반의 자기 지도 학습을 사용하여, 단편적인 데이터로도 효과적으로 작업할 수 있습니다. 모델을 1억 개의 파라미터와 20억 시간 분량의 데이터로 확장한 결과, 재구성 오차가 31% 감소했고, 분류 정확도(AUC)는 9%, 회귀 정확도(피어슨 상관계수)는 21% 향상되었습니다. 35개 과제 중 33개에서 가장 큰 버전인 SensorFM-B가 최고 성능을 기록했습니다. 모델 적응을 자동화하기 위해 LLM 에이전트가 사용되었으며, 이 에이전트들은 SensorFM 임베딩 기반 예측 헤드를 구축하기 위해 3만 개 이상의 솔루션을 생성하고 테스트했습니다. SensorFM을 개인 건강 에이전트(Personal Health Agent)에 통합함으로써 실제 측정 기반 요약과 품질이 동등한 개인 맞춤형 건강 요약을 생성할 수 있었으며, 이는 1860명의 임상의 평가를 통해 확인되었습니다.