iFlytek Launches Spark Token Factory: Platform for Intelligent Routing and Management of Enterprise AI Models
科大讯飞
Chinese company iFlytek introduced Spark Token Factory on July 19, an enterprise platform for unified access, intelligent routing, and cost optimization of large language models. The solution includes a security system with role-based access control, auditing, and sensitive data protection, and boosts local inference efficiency on Ascend hardware up to 5 times compared to vLLM-Ascend.
iFlytek (科大讯飞) 19일 공식적으로 Spark Token Factory(星火Token Factory) 플랫폼을 출시했습니다. 이는 대규모 언어 모델을 위한 엔터프라이즈 솔루션으로, 비즈니스 애플리케이션과 모델 간의 통합 중간 계층 역할을 하며, 통합 연결, 지능형 라우팅, 토큰 비용 최적화 및 보안 규정 준수 기능을 제공합니다. 핵심 구성 요소는 지능형 라우팅으로, 프롬프트 길이, 사전 설정 및 사용자 정의 규칙, 대화 세션 수 등의 매개변수를 기반으로 작업 복잡성을 평가하여 간단한 요청은 저렴한 모델로, 복잡한 요청은 더 강력한 모델로 전달하며, 평균 의사 결정 지연 시간은 100밀리초 미만입니다. Ascend 하드웨어에서 로컬 추론을 위해 플랫폼은 하위 수준 연산자부터 상위 수준 스케줄링까지 종단 간 최적화를 수행하며, 모델 압축, 병렬 디코딩 및 분산 KV-캐시 관리를 포함합니다. 오픈 모델 테스트에서 Spark Token Factory는 vLLM-Ascend 프레임워크 대비 추론 효율성이 약 5배 향상되었으며, 첫 번째 토큰 지연 시간은 30~40% 감소했습니다. 보안 측면에서는 삼중 권한 분리 원칙, 감사 로그, 민감 데이터(개인 정보, 금융 정보 등) 보호 및 도메인 외부 유출을 방지하는 라우팅이 구현되어 있습니다. 플랫폼은 또한 운영 투명성을 위해 종단 간 요청 로깅 및 비용 분석을 제공합니다. Spark Token Factory는 iFlytek의 엔터프라이즈 AI 도구 생태계를 보완하며, 기업이 모델의 단편적 사용에서 확장 가능한 운영 모델로 전환할 수 있도록 지원합니다.
출처: QbitAI 量子位 —
원문