SensorFM: Um Modelo Base para Dispositivos Vestíveis Treinado em um Trilhão de Minutos de Dados

A Google Research apresentou o SensorFM, um grande modelo de sensores de base (Large Sensor Foundation Model) pré-treinado em mais de um trilhão de minutos de sinais multimodais de sensores provenientes de cinco milhões de participantes que consentiram. O modelo aprende por meio de reconstrução auto-supervisionada usando a abordagem LSM-2 e a estrutura de Mascaramento Adaptativo e Hereditário (AIM), tratando dados ausentes do mundo real como um artefato natural. Experimentos de escalabilidade mostram que o aumento tanto dos dados quanto do tamanho do modelo resulta em melhorias quase lineares na perda de pré-treinamento e no desempenho downstream, com o maior modelo (SensorFM-B) vencendo em 33 de 35 tarefas. Avaliado em 35 tarefas de saúde provenientes de três estudos independentes, os embeddings congelados do SensorFM superam as linhas de base supervisionadas, e uma "sala de aula" agentiva de agentes de LLM (Modelos de Linguagem de Grande Escala) projeta automaticamente cabeças de predição que superam os probes lineares na maioria das tarefas. Quando integrado a um Agente de Saúde Pessoal, as predições do SensorFM melhoram significativamente a qualidade do resumo de saúde em relação à linha de base, sem diferença estatística em relação ao uso de medições reais.