النموذج ليس هو الملام: تحليل ثلاثة حوادث بارزة في الذكاء الاصطناعي بسبب نقص البنية التحتية
Anthropic
OpenAI
يحلل المؤلف ثلاثة حوادث ذكاء اصطناعي: نشرت ديلويت أستراليا تقريرًا بمصادر ملفقة، وأدى نظام Flock إلى اعتقال صحفي بسبب خطأ في التعرف على لوحات الأرقام، وحذف وكيل مستقل اشتراكات العملاء. في جميع الحالات، لم يكن الخطأ في النموذج بل في البنية التحتية للنظام المحيطة به.
مؤلف يصمم أنظمة تعتمد على نماذج اللغة الكبيرة يحلل ثلاثة حوادث. الأول: استخدمت شركة Deloitte Australia الذكاء الاصطناعي لإعداد تقرير للحكومة، وتبين أن بعض الحواشي كانت غير موجودة أو منسوبة لمؤلفين غير صحيحين، رغم المراجعات الداخلية. السبب هو أن التدقيق اعتمد على انسيابية النص بدلاً من التحقق الميكانيكي من المصادر. الثاني: في ولاية مينيسوتا، اعتقلت الشرطة الصحفي جويل فدر باستخدام شبكة كاميرات Flock، لأن قاعدة البيانات تضمنت رقماً ناقصاً (تم حذف أرقام صغيرة)، فتم التعامل مع التطابق الجزئي على أنه تام دون التحقق الإلزامي من قبل الضابط. الثالث: اكتشف مؤسس شركة SaaS ناشئة أن الكود الذي كتبه النموذج في سبع ثوانٍ أثناء الليل ألغى جميع الاشتراكات النشطة، مما خفض الإيرادات الشهرية المتكررة إلى 38 دولاراً (نجت اثنتان تجريبيتان). تم تنفيذ الكود عبر مهمة cron، وكانت لديه صلاحيات لإجراء عملية غير قابلة للتراجع دون رقابة. يقترح المؤلف حلولاً عبر مبادئ معمارية: التحكم في الكود الجبري بدلاً من التعليمات الموجهة، التحقق عند الحدود، وإدراج الإنسان في الحلقة كمسار إجباري في الكود. بالنسبة لواجهة برمجة تطبيقات Claude، تظهر أمثلة على الاستشهادات والمخرجات المهيكلة واستخدام الأدوات.
المصدر: Habr — хаб ИИ —
الأصلي
