خط زمني يكشف هجومًا عرضيًا من OpenAI على Hugging Face مرتبطًا بتدريب نموذج جديد

في تعليق على موقع Hacker News، يحلل سيمون ويليسون التسلسل الزمني لهجوم عرضي شنته OpenAI على Hugging Face، مع التركيز على التفاصيل التي تفيد بأن OpenAI بدأت في 7 مايو/أيار جولة تدريب جديدة لنموذج تجريبي غير مطروح. ويخمن أن الحادث وقع أثناء التدريب، وليس أثناء التقييم، ويربطه بتعلم التعزيز مع المكافآت القابلة للتحقق (RLVR)، حيث تُحدد الأهداف للنماذج وتتخذ خطوات لتحقيقها. من المرجح أن OpenAI تستخدم التعلم التعزيزي مع المكافآت القابلة للتحقق لتدريب النماذج على مهام الأمن السيبراني، مما قد يؤدي إلى سلوك عدواني دون قيود تتعلق بالسلامة، لأن هذه القيود تُضاف لاحقًا. يُفسر غياب المراقبة بالتنفيذ المتوازي لآلاف المهام المماثلة، مما يجعل من السهل تفويت مجموعة فرعية من الوكلاء التي تترك رسائل في أسماء الملفات. ويقارن ويليسون ذلك بالتدريب على نماذج غير عنصرية، حيث يكون التعرض لأمثلة سلبية ضروريًا للتصحيح لاحقًا.