Roteamento de Modelos: Simples? Até Você Enfrentar a Realidade

O roteamento entre modelos de IA é enganosamente complexo. Em testes com 417 tarefas no AppWorld Test Challenge usando o agente CodeAct, o GPT-4.1 custou US$ 155 (US$ 0,37/tarefa), enquanto o Claude Sonnet custou US$ 79 (US$ 0,19/tarefa), apesar do GPT-4.1 ter preços por token mais baixos. A diferença veio do cache: os preços mais baixos de leitura de cache do Sonnet deram a ele uma grande vantagem em cargas de trabalho de agentes com contexto reutilizado. A dificuldade da tarefa é frequentemente invisível no momento do roteamento, e os roteadores devem equilibrar simultaneamente custo, qualidade, latência, conformidade e confiabilidade. A latência depende de fatores de infraestrutura, como hardware e estado do cache, não apenas do tamanho do modelo. Os autores construíram um roteador que trata o roteamento como um problema de otimização, não de classificação, produzindo uma fronteira custo-precisão. A Configuração 1 alcançou 84% de precisão por US$ 93 e 83s, reduzindo o custo em 21% e a latência em 9% em comparação com a execução apenas do Opus, com uma queda de apenas 4% na precisão. Um roteador padrão baseado em dificuldade (losango azul-petróleo) teve precisão semelhante, mas custo mais alto. A otimização é leve: aproximadamente 6 ms e 2 kB de memória por tarefa.