SensorFM: نموذج أساسي للأجهزة القابلة للارتداء تم تدريبه على تريليون دقيقة من البيانات

عرضت Google Research نموذج SensorFM، وهو نموذج أساسي كبير لأجهزة الاستشعار تم تدريبه مسبقًا على أكثر من تريليون دقيقة من إشارات الاستشعار متعددة الوسائط من خمسة ملايين مشارك موافق. يتعلم النموذج من خلال إعادة البناء ذاتية الإشراف باستخدام نهج LSM-2 وإطار التقنيع التكيفي والموروث (AIM)، مع معالجة البيانات المفقودة في العالم الحقيقي كأثر طبيعي. تُظهر تجارب التوسع أن زيادة حجم كل من البيانات والنموذج تؤدي إلى تحسينات شبه خطية في خسارة ما قبل التدريب والأداء النهائي، حيث يفوز النموذج الأكبر (SensorFM-B) في 33 من 35 مهمة. عند التقييم عبر 35 مهمة صحية من ثلاث دراسات مستقلة، تتفوق تضمينات SensorFM المجمدة على خطوط الأساس الخاضعة للإشراف، وتقوم مجموعة من وكلاء نموذج اللغة الكبير (LLM) في "فصل دراسي" وكالي بتصميم رؤوس تنبؤية تتجاوز في الأداء المقاييس الخطية في معظم المهام. عند دمج SensorFM في وكيل صحي شخصي، تعمل تنبؤاته على تحسين جودة الملخص الصحي بشكل كبير مقارنة بخط الأساس، دون وجود فرق إحصائي عن استخدام القياسات الحقيقية.