iFlytek Launches Spark Token Factory: Platform for Intelligent Routing and Management of Enterprise AI Models

Perusahaan iFlytek (科大讯飞) pada 19 Juli secara resmi meluncurkan platform Spark Token Factory (星火Token Factory), solusi perusahaan untuk manajemen model bahasa besar. Platform ini bertindak sebagai lapisan perantara tunggal antara aplikasi bisnis dan model, menyediakan kemampuan koneksi terpadu, perutean cerdas, optimalisasi biaya token, dan kepatuhan keamanan. Komponen utamanya adalah perutean cerdas, yang mengevaluasi kompleksitas tugas berdasarkan parameter seperti panjang prompt, aturan yang telah ditetapkan dan khusus pengguna, jumlah sesi dialog, serta mengarahkan permintaan sederhana ke model yang lebih murah dan permintaan kompleks ke model yang lebih kuat, dengan latensi keputusan rata-rata kurang dari 100 milidetik. Untuk inferensi lokal pada perangkat keras Ascend, platform melakukan optimasi ujung-ke-ujung dari operator tingkat bawah hingga penjadwalan tingkat atas, termasuk kompresi model, decoding paralel, dan manajemen cache KV terdistribusi. Dalam pengujian dengan model terbuka, Spark Token Factory menunjukkan peningkatan efisiensi inferensi sekitar lima kali lipat dibandingkan kerangka kerja vLLM-Ascend, dan latensi token pertama berkurang sebesar 30–40%. Di bidang keamanan, diterapkan prinsip pemisahan tiga kewenangan, log audit, perlindungan data sensitif (data pribadi, informasi keuangan, dan sebagainya) dengan perutean yang mencegah kebocoran ke luar domain. Platform ini juga menyediakan pencatatan permintaan ujung-ke-ujung dan analisis biaya untuk transparansi operasi. Spark Token Factory melengkapi ekosistem alat kecerdasan buatan perusahaan iFlytek dan bertujuan membantu perusahaan beralih dari penggunaan model secara terpisah ke model operasi yang dapat diskalakan.