من الشرائح إلى سيناريو الوكيل: لماذا أضفنا عرض تتبع GenAI
OpenAI
قدمت منصة البروتو للمراقبة عرض تتبع متخصص لـ GenAI بأربعة أوضاع: التغذية، الرسم البياني للخطوات، الرسم البياني للاستدعاءات، والدردشة. يجيب كل وضع على سؤال مختلف حول سلوك الوكيل، من التنفيذ التسلسلي إلى النتائج المرئية للمستخدم. كان التصميم مدفوعًا بعيوب حقيقية في أدوات قياس GenAI، مثل تكرار السياق، والأخطاء المخفية، ومشكلات حساب الرموز.
أضافت منصة المراقبة Proto عرضًا للذكاء الاصطناعي التوليدي للتتبعات، لمعالجة صعوبة إعادة بناء منطق الوكيل من شجرة بسيطة من النطاقات. يحتوي العرض على أربعة أوضاع: موجز يعرض العمليات بترتيب زمني مع التوقيت، ورسم بياني للخطوات يدمج العمليات المتكررة ليكشف عن حلقة الوكيل، ورسم بياني للاستدعاءات يعرض كل استدعاء فردي بمعاملاته وحالته الفريدة، ووضع محادثة يعيد بناء محادثة المستخدم من سجل الرسائل المكرر المحتمل. واجه المطورون عدة مشكلات واقعية: كانت سجلات المحادثة الكاملة تُرسل مع كل استدعاء للنموذج، مما أدى إلى تكرارات؛ يمكن أن تؤدي نطاقات النقل إلى تشويه التوقيت إذا تم جمعها بشكل ساذج؛ قد تحتوي نتائج الأدوات المنظمة على أخطاء حتى عندما تبدو حالة العملية ناجحة، لذلك تم فصل نموذج الخطأ عن نموذج العرض؛ وكان استهلاك الرموز يمكن أن يكون تراكميًا أو لكل عملية، مما يتطلب فهمًا دقيقًا للدلالات قبل التجميع. يخفي التمثيل عمدًا التفاصيل غير ذات الصلة بالسؤال الذي يجيب عليه كل وضع، بينما تظل السمات الخام متاحة للتحقق.
المصدر: Habr — хаб ИИ —
الأصلي
