Como reduzir custos de LLM em 70 vezes: experiência migrando do Claude Sonnet para o Qwen 3.5 Flash

A JobPath inicialmente usou o Claude Sonnet para estruturar listas de empregos brutas em cartões estruturados, com um custo de cerca de 2.000 dólares por mês. Para reduzir custos, avaliaram alternativas usando um conjunto de avaliação de 50 vagas reais, julgadas às cegas pelo Opus. Escolheram o Qwen 3.5 Flash a 0,0007 dólares por vaga (30 dólares por mês), com uma queda de qualidade de 4,48 para 4,06. Modelos baratos mostraram problemas de disciplina: chamadas de ferramenta vazias com HTTP 200, tipos de campo errados, erros de digitação em nomes de campos e confusão salarial. Adicionaram uma camada de proteção: novas tentativas, coerção de tipo, verificações de limite salarial e fallback para cartões parciais. Uma lição crítica foi que erros de cobrança devem parar todo o lote imediatamente; uma vez, uma chave morta causou 16.000 chamadas desperdiçadas durante a noite. Para ações críticas do usuário, usam fail-closed com provedores de fallback. Recursos interativos e emblemáticos permanecem em modelos premium. O custo médio mensal caiu para cerca de 30 dólares sem reclamações dos usuários.