SensorFM: Un modelo fundacional para wearables entrenado con un billón de minutos de datos

Google Research ha presentado SensorFM, un gran modelo fundacional de sensores preentrenado con más de un billón de minutos de señales multimodales de sensores procedentes de cinco millones de participantes que dieron su consentimiento. El modelo aprende mediante reconstrucción autosupervisada utilizando el enfoque LSM-2 y el marco de enmascaramiento adaptativo y heredado, conocido como 'Adaptive and Inherited Masking' (AIM), tratando los datos faltantes del mundo real como un artefacto natural. Los experimentos de escalado demuestran que aumentar tanto los datos como el tamaño del modelo produce mejoras casi lineales en la pérdida de preentrenamiento y el rendimiento posterior, siendo el modelo más grande (SensorFM-B) el ganador en 33 de 35 tareas. Evaluado en 35 tareas de salud procedentes de tres estudios independientes, las representaciones congeladas de SensorFM superan a los modelos de referencia supervisados, y un 'aula' agentiva de agentes de Modelos de Lenguaje de Gran Escala (Large Language Models, LLM) diseña automáticamente cabezales de predicción que superan a los clasificadores lineales en la mayoría de las tareas. Cuando se integra en un Agente de Salud Personal, las predicciones de SensorFM mejoran significativamente la calidad de los resúmenes de salud en comparación con la línea base, sin diferencias estadísticas respecto al uso de mediciones reales.