iFlytek bringt Spark Token Factory auf den Markt: Plattform für intelligentes Routing und Management von Unternehmens-KI-Modellen

Die Firma iFlytek (科大讯飞) hat am 19. Juli offiziell die Plattform Spark Token Factory (星火Token Factory) eingeführt, eine Unternehmenslösung für das Management großer Sprachmodelle. Die Plattform fungiert als einheitliche Zwischenschicht zwischen Geschäftsanwendungen und Modellen und bietet Funktionen für einheitliche Anbindung, intelligente Routenführung, Optimierung der Token-Kosten sowie sichere Compliance. Eine zentrale Komponente ist die intelligente Routenführung, die die Aufgabenkomplexität anhand von Parametern wie Prompt-Länge, vordefinierten und benutzerdefinierten Regeln sowie Anzahl der Dialogsitzungen bewertet und einfache Anfragen an günstigere Modelle, komplexe hingegen an leistungsstärkere Modelle weiterleitet, bei einer durchschnittlichen Entscheidungsverzögerung von weniger als 100 Millisekunden. Für die lokale Inferenz auf Ascend-Hardware führt die Plattform eine durchgängige Optimierung von den unteren Operatoren bis zur übergeordneten Planung durch, einschließlich Modellkompression, parallelem Decoding und verteiltem KV-Cache-Management. In Tests mit offenen Modellen zeigte die Spark Token Factory eine etwa fünffache Verbesserung der Inferenzeffizienz im Vergleich zum Framework vLLM-Ascend, während die Latenz des ersten Tokens um 30 bis 40 Prozent reduziert wurde. Im Bereich Sicherheit wird ein Dreigewaltenteilungsprinzip umgesetzt, mit Prüfprotokollen, Schutz sensibler Daten (personenbezogene Daten, Finanzinformationen usw.) und einer Routenführung, die Lecks außerhalb der Domäne verhindert. Die Plattform bietet außerdem eine durchgängige Protokollierung von Anfragen und Kostenanalysen für operative Transparenz. Die Spark Token Factory ergänzt das Ökosystem der Unternehmens-KI-Tools von iFlytek und soll Unternehmen dabei helfen, von der punktuellen Nutzung von Modellen zu einem skalierbaren Betriebsmodell überzugehen.