آي فلاي تك تطلق مصنع توكن سبارك: منصة للتوجيه الذكي وإدارة نماذج الذكاء الاصطناعي في المؤسسات

شركة iFlytek (آي فلاي تك) أطلقت رسميًا في 19 يوليو منصة Spark Token Factory (سبارك توكين فاكتوري)، وهي حل مؤسسي لإدارة نماذج اللغات الكبيرة. تعمل المنصة كطبقة وسيطة موحدة بين تطبيقات الأعمال والنماذج، وتوفر إمكانيات الاتصال الموحد والتوجيه الذكي وتحسين تكاليف الرموز المميزة والامتثال الأمني. المكون الرئيسي هو التوجيه الذكي، الذي يقيم تعقيد المهمة من خلال معايير مثل طول الاستدعاء (prompt)، والقواعد المحددة مسبقًا والمخصصة، وعدد جلسات الحوار، ويوجه الاستفسارات البسيطة إلى نماذج أرخص، والمعقدة إلى نماذج أكثر قوة، مع متوسط زمن قرار أقل من 100 مللي ثانية. للاستدلال المحلي على أجهزة Ascend، تقوم المنصة بتحسين شامل بدءًا من المشغلات (operators) على المستوى المنخفض وصولاً إلى الجدولة على المستوى العالي، بما في ذلك ضغط النماذج وفك التشفير المتوازي وإدارة ذاكرة التخزين المؤقت الموزعة KV-cache. في اختبارات النماذج مفتوحة المصدر، أظهرت Spark Token Factory تحسنًا في كفاءة الاستدلال بنحو 5 أضعاف مقارنة بإطار العمل vLLM-Ascend (في إل إل إم - أسند)، وانخفاض زمن أول رمز مميز بنسبة 30-40%. فيما يتعلق بالأمان، تم تنفيذ مبدأ الفصل الثلاثي للسلطات، وسجلات التدقيق، وحماية البيانات الحساسة (البيانات الشخصية، المعلومات المالية، إلخ) مع توجيه لا يسمح بالتسرب خارج النطاق. توفر المنصة أيضًا تسجيلًا شاملاً للطلبات وتحليل التكاليف لتحقيق الشفافية في العمليات. تكمل Spark Token Factory نظام أدوات الذكاء الاصطناعي المؤسسية لشركة iFlytek وتهدف إلى مساعدة الشركات على الانتقال من استخدام النماذج بشكل نقطي إلى نموذج تشغيلي قابل للتوسع.