iFlytek lance Spark Token Factory : une plateforme de routage intelligent et de gestion des modèles d'IA d'entreprise
科大讯飞
L'entreprise chinoise iFlytek a présenté le 19 juillet Spark Token Factory, une plateforme d'entreprise pour l'accès unifié, le routage intelligent et l'optimisation des coûts des grands modèles de langage. La solution inclut un système de sécurité avec contrôle d'accès basé sur les rôles, un audit et une protection des données sensibles, et augmente l'efficacité de l'inférence locale sur le matériel Ascend jusqu'à cinq fois par rapport à vLLM-Ascend.
iFlytek (科大讯飞) a officiellement lancé le 19 juillet la plateforme Spark Token Factory (星火Token Factory), une solution d'entreprise pour la gestion des grands modèles de langage. La plateforme agit comme une couche intermédiaire unique entre les applications métier et les modèles, offrant des capacités de connexion unifiée, de routage intelligent, d'optimisation des coûts de tokens et de conformité sécurisée. Le composant clé est le routage intelligent, qui évalue la complexité des tâches selon des paramètres tels que la longueur du prompt, les règles prédéfinies et personnalisées, et le nombre de sessions de dialogue, puis oriente les requêtes simples vers des modèles moins chers et les requêtes complexes vers des modèles plus puissants, avec une latence moyenne de décision inférieure à 100 millisecondes. Pour l'inférence locale sur le matériel Ascend, la plateforme effectue une optimisation de bout en bout, allant des opérateurs de bas niveau jusqu'à l'ordonnancement de haut niveau, incluant la compression de modèles, le décodage parallèle et la gestion du cache KV distribué. Lors des tests avec des modèles open source, Spark Token Factory a montré une amélioration de l'efficacité d'inférence d'environ 5 fois par rapport au framework vLLM-Ascend, et la latence du premier token a été réduite de 30 à 40 %. En matière de sécurité, le principe de séparation des pouvoirs en trois parties est mis en œuvre, avec des journaux d'audit, une protection des données sensibles (données personnelles, informations financières, etc.) et un routage qui empêche les fuites en dehors du domaine. La plateforme offre également un enregistrement de bout en bout des requêtes et une analyse des coûts pour la transparence des opérations. Spark Token Factory complète l'écosystème d'outils d'intelligence artificielle d'entreprise d'iFlytek et vise à aider les entreprises à passer d'une utilisation ponctuelle des modèles à un modèle opérationnel évolutif.
Source: QbitAI 量子位 —
original