iFlytek запускает Spark Token Factory — платформу для интеллектуальной маршрутизации и управления корпоративными ИИ-моделями
科大讯飞
Китайская компания iFlytek 19 июля представила Spark Token Factory — корпоративную платформу для унифицированного доступа, интеллектуальной маршрутизации и оптимизации затрат на большие языковые модели. Решение включает систему безопасности с разделением полномочий, аудит и защиту чувствительных данных, а также повышает эффективность локального инференса на оборудовании Ascend до 5 раз по сравнению с vLLM-Ascend.
Компания iFlytek (科大讯飞) 19 июля официально запустила платформу Spark Token Factory (星火Token Factory) — корпоративное решение для управления большими языковыми моделями. Платформа выступает в качестве единого промежуточного слоя между бизнес-приложениями и моделями, предоставляя возможности унифицированного подключения, интеллектуальной маршрутизации, оптимизации затрат на токены и безопасного
Показать ещё ↓
- Сокращения
- KV = Key-Value — ключ-значение
- ROI = Return on Investment — возврат на инвестиции
Источник: QbitAI 量子位 —
оригинал