توجيه النماذج: بسيط؟ حتى تصطدم بالواقع

التوجيه بين نماذج الذكاء الاصطناعي معقد بشكل خادع. في اختبارات شملت 417 مهمة على مجموعة اختبار AppWorld باستخدام وكيل CodeAct، كلف نموذج GPT-4.1 155 دولارًا (0.37 دولار لكل مهمة) بينما كلف نموذج Claude Sonnet 79 دولارًا (0.19 دولار لكل مهمة)، على الرغم من أن GPT-4.1 له تسعير أقل لكل رمز. جاء الفرق من التخزين المؤقت: حيث أن تسعير القراءة المنخفض للتخزين المؤقت في Sonnet منحه ميزة كبيرة في أعباء عمل الوكيل التي تعيد استخدام السياق. غالبًا ما تكون صعوبة المهمة غير مرئية في وقت التوجيه، ويجب على الموجهات الموازنة بين التكلفة والجودة وزمن الوصول والامتثال والموثوقية في وقت واحد. يعتمد زمن الوصول على عوامل البنية التحتية مثل الأجهزة وحالة التخزين المؤقت، وليس فقط حجم النموذج. قام المؤلفون ببناء موجه يعالج التوجيه كمشكلة تحسين، وليس تصنيفًا، منتجًا حدًا للتكلفة والدقة. حقق التكوين 1 دقة 84% بتكلفة 93 دولارًا وزمن وصول 83 ثانية، مما قلل التكلفة بنسبة 21% وزمن الوصول بنسبة 9% مقارنة بتشغيل Opus وحده، مع انخفاض في الدقة بنسبة 4% فقط. موجه قياسي قائم على الصعوبة (المعين الفيروزي) كان له دقة مماثلة لكن بتكلفة أعلى. التحسين خفيف الوزن: حوالي 6 ميلي ثانية وذاكرة 2 كيلوبايت لكل مهمة.