iFlytek Lança Spark Token Factory: Plataforma para Roteamento Inteligente e Gestão de Modelos de IA Empresariais

A iFlytek (科大讯飞) lançou oficialmente, em 19 de julho, a plataforma Spark Token Factory (星火Token Factory), uma solução corporativa para gerenciamento de grandes modelos de linguagem. A plataforma atua como uma camada intermediária unificada entre aplicações de negócio e modelos, oferecendo recursos de conexão unificada, roteamento inteligente, otimização de custos de tokens e conformidade segura. O componente principal é o roteamento inteligente, que avalia a complexidade da tarefa com base em parâmetros como comprimento do prompt, regras predefinidas e personalizadas, número de sessões de diálogo, e direciona consultas simples para modelos mais baratos e consultas complexas para modelos mais potentes, com latência média de decisão inferior a 100 milissegundos. Para inferência local em hardware Ascend, a plataforma realiza otimização de ponta a ponta, desde operadores de baixo nível até o escalonamento de alto nível, incluindo compressão de modelos, decodificação paralela e gerenciamento de cache KV distribuído. Em testes com modelos abertos, a Spark Token Factory mostrou uma melhoria na eficiência de inferência de aproximadamente 5 vezes em comparação com o framework vLLM-Ascend, e a latência do primeiro token foi reduzida em 30-40%. Em termos de segurança, é implementado o princípio de separação tripla de poderes, logs de auditoria, proteção de dados sensíveis (dados pessoais, informações financeiras, etc.) com roteamento que não permite vazamentos fora do domínio. A plataforma também oferece registro ponta a ponta de consultas e análise de custos para transparência operacional. A Spark Token Factory complementa o ecossistema de ferramentas de inteligência artificial corporativa da iFlytek e visa ajudar as empresas a migrar do uso pontual de modelos para um modelo operacional escalável.