Comment réduire les coûts des LLM de 70 fois : retour d'expérience sur la migration de Claude Sonnet vers Qwen 3.5 Flash

JobPath utilisait initialement Claude Sonnet pour structurer les annonces d'emploi brutes en fiches structurées, ce qui coûtait environ 2 000 dollars par mois. Pour réduire les coûts, ils ont évalué des alternatives à l'aide d'un jeu d'évaluation de 50 postes vacants réels, jugé en aveugle par Opus. Ils ont choisi Qwen 3.5 Flash à 0,0007 dollar par annonce (30 dollars par mois), avec une baisse de qualité de 4,48 à 4,06. Les modèles bon marché présentaient des problèmes de discipline : appels d'outils vides avec code HTTP 200, types de champs incorrects, fautes de frappe dans les noms de champs et confusion sur les salaires. Ils ont ajouté une couche de protection : tentatives de réessai, coercition de type, contrôles de plafond salarial et recours à des fiches partielles. Une leçon cruciale a été que les erreurs de facturation doivent immédiatement arrêter l'ensemble du lot ; une fois, une clé morte a provoqué 16 000 appels gaspillés pendant la nuit. Pour les actions critiques des utilisateurs, ils utilisent un système de repli avec échec en cas d'absence de réponse. Les fonctionnalités interactives et phares restent sur des modèles premium. Le coût mensuel moyen est tombé à environ 30 dollars sans aucune plainte des utilisateurs.