Aplicaciones 🇷🇺 24.07.2026 06:03

Cómo reducir los costos de LLM en 70 veces: experiencia migrando de Claude Sonnet a Qwen 3.5 Flash

JobPath migró del costoso Claude Sonnet al económico Qwen 3.5 Flash para la generación de tarjetas de empleo, reduciendo los costos mensuales de aproximadamente $2000 a aproximadamente $30, mientras que la calidad bajó ligeramente de 4.48 a 4.06 en una escala del 1 al 5. El artículo detalla la selección mediante evaluación con un juez ciego, los problemas con modelos baratos (respuestas vacías, discrepancias de tipo, errores tipográficos en campos) y las lecciones sobre manejo de errores, incluido un error de facturación que desperdició 16,000 llamadas en una noche.

JobPath inicialmente usaba Claude Sonnet para estructurar listados de empleo en bruto en fichas estructuradas, con un costo de unos $2000 al mes. Para reducir costos, evaluaron alternativas utilizando un conjunto de evaluación de 50 vacantes reales, juzgadas a ciegas por Opus. Eligieron Qwen 3.5 Flash a $0.0007 por vacante ($30 al mes), con una caída en calidad de 4.48 a 4.06. Los modelos baratos mostraban problemas de disciplina: llamadas a herramientas vacías con HTTP 200, tipos de campo incorrectos, errores tipográficos en nombres de campo y confusión salarial. Añadieron una capa de protección: reintentos, coerción de tipos, comprobaciones de límite salarial y recurso a fichas parciales. Una lección crítica fue que los errores de facturación deberían detener todo el lote de inmediato; una vez, una clave muerta provocó 16,000 llamadas desperdiciadas durante la noche. Para acciones críticas de usuario, utilizan cierre por fallo con proveedores de respaldo. Las funciones interactivas y emblemáticas siguen usando modelos premium. El costo mensual promedio cayó a ~$30 sin quejas de los usuarios.

Fuente: Habr — хаб NLP — original