iFlytek Launches Spark Token Factory: Platform for Intelligent Routing and Management of Enterprise AI Models
科大讯飞
Chinese company iFlytek introduced Spark Token Factory on July 19, an enterprise platform for unified access, intelligent routing, and cost optimization of large language models. The solution includes a security system with role-based access control, auditing, and sensitive data protection, and boosts local inference efficiency on Ascend hardware up to 5 times compared to vLLM-Ascend.
iFlytek (科大讯飞) 19 Temmuz'da Spark Token Factory (星火Token Factory) adlı platformunu resmen başlattı. Bu platform, büyük dil modelleri için kurumsal bir yönetim çözümüdür. Platform, iş uygulamaları ile modeller arasında tek tip bir ara katman görevi görerek birleşik bağlantı, akıllı yönlendirme, token maliyeti optimizasyonu ve güvenli uyumluluk olanakları sunar. Temel bileşen, görevin karmaşıklığını istem uzunluğu, önceden tanımlanmış ve kullanıcı tanımlı kurallar, diyalog oturumu sayısı gibi parametrelere göre değerlendiren ve basit sorguları daha ucuz modellere, karmaşık sorguları ise daha güçlü modellere yönlendiren, ortalama 100 milisaniyeden az karar verme gecikmesine sahip akıllı yönlendirmedir. Ascend donanımında yerel çıkarım için platform, alt düzey operatörlerden üst düzey planlamaya kadar uçtan uca optimizasyon gerçekleştirir; buna model sıkıştırma, paralel kod çözme ve dağıtılmış KV önbellek yönetimi dahildir. Spark Token Factory, açık modellerle yapılan testlerde vLLM-Ascend framework'üne kıyasla çıkarım verimliliğinde yaklaşık 5 kat iyileşme gösterirken, ilk token gecikmesi yüzde 30-40 oranında azaldı. Güvenlik açısından üçlü yetki ayrımı ilkesi, denetim günlükleri, hassas veri koruması (kişisel veriler, finansal bilgiler vb.) ve alan dışına sızmayı önleyen yönlendirme uygulanmıştır. Platform ayrıca operasyonel şeffaflık için uçtan uca sorgu kaydı ve maliyet analizi sağlar. Spark Token Factory, iFlytek'in kurumsal yapay zekâ araçları ekosistemini tamamlar ve şirketlerin modelleri noktasal kullanımdan ölçeklenebilir bir işletim modeline geçirmelerine yardımcı olmayı amaçlar.
Kaynak: QbitAI 量子位 —
orijinal