PEVA: التنبؤ بالفيديو من منظور الشخص الأول باستخدام حركات الجسم بالكامل

قام باحثون من BAIR (مختبر أبحاث الذكاء الاصطناعي في بيركلي) بتطوير نموذج PEVA (التنبؤ بالفيديو من منظور الشخص الأول بناءً على الأفعال البشرية)، والذي يتنبأ بالإطار التالي للفيديو من منظور الشخص الأول بناءً على الإطارات السابقة وتسلسل الأفعال البشرية المعطاة من خلال تغييرات الوضعية ثلاثية الأبعاد. الهدف هو إنشاء نموذج عالمي للوكلاء المتجسدين، مع مراعاة التحكم الهرمي المعقد لكامل الجسم (أكثر من 48 درجة حرية) والمنظر من منظور الشخص الأول. يستخدم PEVA محول انتشار شرطي ذاتي الانحدار، تم تدريبه على مجموعة بيانات Nymeria، والتي تحتوي على فيديوهات متزامنة من منظور الشخص الأول وتسجيل حركات الجسم. يقوم النموذج بتشفير الأفعال كمتجهات بأبعاد 48 (3 لوضعية الجذع و45 للدورانات النسبية لـ 15 مفصلًا في الجزء العلوي من الجسم) ويستخدم حذفًا عشوائيًا عبر الزمن، التدريب على مستوى التسلسل، وتضمين الأفعال. في مرحلة الاختبار، يولد PEVA الإطارات بطريقة ذاتية الانحدار: بناءً على الإطارات السياقية والفعل الحالي، يُتوقع الإطار التالي، الذي يُضاف إلى السياق، بينما يُحذف أقدم إطار. النموذج قادر على توليد أفعال ذرية (حركات اليدين والجسم)، محاكاة السيناريوهات المضادة للواقع، وإنشاء فيديوهات متناسقة لمدة 16 ثانية. للتخطيط، يستخدم PEVA طريقة الإنتروبيا المتقاطعة لتحسين تسلسل الأفعال، وتقييمها بناءً على التشابه مع الصورة المستهدفة (مقياس LPIPS). النتائج الكمية تُظهر أن PEVA يتفوق على النماذج الأساسية في المقاييس الإدراكية (FID) ويتمدد جيدًا مع زيادة حجم النموذج. تشمل القيود غياب مراعاة صريحة لأهداف المهمة والحاجة إلى تحكم بحلقة مغلقة.