توفير في نماذج اللغات الكبيرة: نموذج صيني يبدأ فجأة في كتابة الحروف الصينية

TencentTencent DeepSeekDeepSeek
تحول روبوت تجميع أخبار الذكاء الاصطناعي إلى نموذج صيني أرخص (ling-2.6-flash) بتكلفة أقل 8 مرات، لكنه اكتشف أن النموذج غالبًا ما يولد حروفًا صينية في النص الروسي. أضاف المطور كشفًا للرموز الصينية (CJK) والرجوع إلى نموذج أكثر تكلفة للتنظيف، مما أدى إلى توفير صافٍ بنحو 42٪.
مطور يدير بوتًا لنشر الأخبار ثنائي اللغة يُجري حوالي 936 استدعاءً لنماذج اللغة الكبيرة يوميًا، بحث عن نماذج أرخص على منصة OpenRouter. من بين 17 نموذجًا مجانيًا، كان 3 نماذج فقط قابلة للاستخدام، وكانت تعاني من مشاكل مثل البطء أو عدم دعم JSON. ثم عثر المطور على النموذج الصيني المدفوع inclusionai/ling-2.6-flash بتكلفة 0.010 دولار لكل مليون رمز إدخال، وهو أرخص بـ8 مرات وأسرع بـ4 مرات من النموذج المستخدم سابقًا deepseek-v4-flash (بتكلفة 0.098 دولار). ومع ذلك، بعد النشر، بدأ البوت في إخراج أحرف صينية في عناوين الأخبار الروسية. أظهرت الاختبارات أن 17% من الملخصات القصيرة و57% من التحليلات الطويلة تحتوي على نص صيني. كان الحل هو إضافة كاشف تعابير منتظمة لأحرف CJK (الصينية واليابانية والكورية): إذا تم العثور على أحرف صينية، يُعاد إرسال الطلب نفسه إلى النموذج النظيف deepseek-v4-flash. بعد الإصلاح، انخفض التلوث إلى 0% (0 من 8). كما تعلم المطور ثلاثة دروس غير متوقعة: التكاليف مدفوعة بمصادر الأخبار، وليس عدد المستخدمين؛ النماذج المجانية تتوقف عن العمل عندما يصبح رصيد الحساب سالبًا حتى للنماذج التي تكلفتها 0 دولار؛ ونقص معلمة max_tokens يسبب حجوزات كبيرة للرموز. يستخدم المسار النهائي ling-2.6-flash كنموذج أساسي، وdeepseek-v4-flash كنموذج احتياطي لتنظيف أحرف CJK، وgemma:free كملاذ أخير. انخفضت التكاليف الشهرية من 14.8 دولار إلى حوالي 8.6 دولار، وهو توفير بنسبة 42% بدلاً من التوفير المتوقع بـ8 مرات بسبب الدفع المزدوج للتحليلات الطويلة.
المصدر: Habr — хаб ML — الأصلي
منشوراتنا السابقة حول هذا الموضوع ↓
أخبار جديدة