GPT-Red: فريق الاختراق التلقائي من OpenAI لتحسين سلامة الذكاء الاصطناعي ذاتيًا

كشفت OpenAI عن نظام GPT-Red، وهو نظام آلي للاختبار الأمني (Red Teaming) مصمم لتعزيز سلامة ومواءمة ومتانة الذكاء الاصطناعي. يستخدم النظام أسلوب التعلم الذاتي من خلال اللعب، حيث يقوم النموذج بشكل مستقل بتوليد هجمات استفزازية وسيناريوهات خبيثة، ثم يقوم بضبط نفسه بناءً عليها لتحسين دفاعاته. يتيح هذا النهج تعزيز متانة النموذج بشكل مستمر دون الحاجة المستمرة إلى مشاركة مختبرين بشريين. يتميز GPT-Red بفعاليته الخاصة في اكتشاف ومعالجة الثغرات المتعلقة بحقن الأوامر (Prompt Injection)، حيث يحاول المهاجم تجاوز قيود النموذج باستخدام استعلامات مصممة خصيصًا. يقوم النظام بتقييم نتائج الهجمات تلقائيًا ويستخدمها لتعديل سلوك النموذج، مما يجعل عملية تحسين الأمن أكثر قابلية للتوسع وكفاءة.