iFlytek Launches Spark Token Factory: Platform for Intelligent Routing and Management of Enterprise AI Models

iFlytek（科大讯飛）は7月19日、大規模言語モデル向けのエンタープライズ管理ソリューション「Spark Token Factory（星火Token Factory）」を正式にリリースした。このプラットフォームはビジネスアプリケーションとモデル間の統合ミドルウェアとして機能し、統一接続、インテリジェントルーティング、トークンコスト最適化、セキュリティコンプライアンスの機能を提供する。中核コンポーネントであるインテリジェントルーティングは、プロンプト長、事前定義およびカスタムルール、会話セッション数などのパラメータに基づいてタスクの複雑さを評価し、単純なリクエストをより低コストのモデルに、複雑なリクエストをより高性能なモデルに振り分ける。意思決定の平均レイテンシーは100ミリ秒未満である。Ascendハードウェア上でのローカル推論では、プラットフォームは低レベルのオペレータから高レベルのスケジューリングまでエンドツーエンドの最適化を実行し、モデル圧縮、並列デコード、分散KVキャッシュ管理を含む。オープンモデルを用いたテストでは、Spark Token FactoryはフレームワークvLLM-Ascendと比較して推論効率が約5倍向上し、ファーストトークンレイテンシーが30～40%低減した。セキュリティ面では、三職権分離の原則、監査ログ、機密データ（個人データや財務情報など）の保護を実装し、ドメイン外への漏洩を防ぐルーティングを提供する。また、プラットフォームはエンドツーエンドのリクエストログ記録とコスト分析を提供し、運用の透明性を確保する。Spark Token FactoryはiFlytekのエンタープライズAIツールエコシステムを補完し、企業が個別モデルの使用からスケーラブルな運用モデルへ移行するのを支援することを目的としている。