كيفية خفض تكاليف نماذج اللغة الضخمة ٧٠ مرة: تجربة الانتقال من كلود سونيت إلى كيوين 3.5 فلاش

استخدمت JobPath في البداية نموذج Claude Sonnet لتحويل قوائم الوظائف الخام إلى بطاقات منظمة، بتكلفة تبلغ حوالي 2000 دولار شهريًا. لخفض التكاليف، قاموا بتقييم البدائل باستخدام مجموعة تقييم تضم 50 وظيفة شاغرة حقيقية، تم الحكم عليها بطريقة عمياء باستخدام نموذج Opus. اختاروا نموذج Qwen 3.5 Flash بتكلفة 0.0007 دولار لكل وظيفة شاغرة (30 دولارًا شهريًا)، مع انخفاض في الجودة من 4.48 إلى 4.06. أظهرت النماذج الرخيصة مشاكل في الانضباط: استدعاءات أدوات فارغة مع استجابة HTTP 200، وأنواع حقول خاطئة، وأخطاء إملائية في أسماء الحقول، وارتباك في الرواتب. أضافوا طبقة حماية: إعادة المحاولات، والتطبيع القسري للأنواع، وفحوصات سقف الراتب، والرجوع إلى البطاقات الجزئية. كان الدرس الحاسم أن أخطاء الفوترة يجب أن توقف الدفعة بأكملها فورًا؛ حيث تسببت مرة في إهدار 16,000 استدعاء بين ليلة وضحاها بسبب مفتاح منتهي الصلاحية. بالنسبة للإجراءات الحساسة للمستخدم، يستخدمون الإغلاق التام مع مزودين بديلين. تظل الميزات التفاعلية والرئيسية على النماذج المتميزة. انخفض متوسط التكلفة الشهرية إلى حوالي 30 دولارًا دون أي شكاوى من المستخدمين.