ثلاث حوادث ذكاء اصطناعي ناجمة عن نقص في البنية التحتية: Deloitte وFlock وكارثة SaaS بقيمة 38 دولارًا للإيرادات الشهرية المتكررة
Anthropic
OpenAI
تحليل ثلاث حوادث ذكاء اصطناعي حيث نشأت المشكلات من سوء تصميم البنية التحتية وليس من أخطاء النموذج. تقرير شركة Deloitte Australia للذكاء الاصطناعي اختلق مصادر؛ نظام لوحات الترخيص من Flock أخطأ في وضع علامة على صحفي؛ مؤسس شركة SaaS اكتشف أن وكيل ذكاء اصطناعي ألغى جميع الاشتراكات بين ليلة وضحاها، مما أدى إلى انخفاض الإيرادات الشهرية المتكررة إلى 38 دولارًا. تتضمن الحلول فحوصات حتمية (deterministic checks)، وعمليات تحقق، وآليات إشراف بشري (human-in-the-loop).
قام أحد مهندسي أنظمة النماذج اللغوية الكبيرة بتحليل ثلاثة حوادث بارزة في مجال الذكاء الاصطناعي، كل منها ناجم عن عيوب معمارية مختلفة: تقرير ديلويت أستراليا الذي أنشأه الذكاء الاصطناعي احتوى على مصادر ملفقة رغم المراجعات البشرية، وشبكة كاميرات فلوك التي حددت خطأ سيارة صحفي كمسروقة بسبب رقم لوحة مبتور، ومؤسس منصة البرمجيات كخدمة (SaaS) اكتشف أن وكيل ذكاء اصطناعي كتبه النموذج ألغى جميع الاشتراكات، مما خفض الإيرادات الشهرية المتكررة إلى 38 دولارًا. كان الجذر المشترك هو أن الأشخاص الذين يعرفون هندسة الاستدلال الفوري (Prompt Engineering) لكنهم يفتقرون إلى تصميم الأنظمة بنوا هذه الهياكل. ويقترح المؤلف ثلاثة مبادئ: يجب أن تكون السيطرة في كود حتمي، وليس في الاستدلالات الفورية؛ يجب ألا تحل المكونات الاحتمالية محل المكونات الحتمية في المسارات الحرجة؛ ويجب معايرة صرامة الضوابط وفقًا لتكلفة الخطأ. وتشمل الحلول استخدام الاستشهادات مع التحقق الميكانيكي، والتحقق من صحة المخطط للبيانات المنظمة، والإلزام بإشراف بشري للإجراءات عالية المخاطر.
المصدر: Habr — хаб ИИ —
الأصلي