Как снизить расходы на LLM в 70 раз: опыт миграции с Claude Sonnet на Qwen 3.5 Flash
Anthropic
Alibaba/Qwen
DeepSeek
Компания JobPath мигрировала с дорогого Claude Sonnet на дешевый Qwen 3.5 Flash для генерации карточек вакансий, сократив ежемесячные расходы с ~2000 до ~30 долларов, при этом качество незначительно снизилось с 4,48 до 4,06 по 5-балльной шкале. Статья описывает отбор с помощью оценки «слепым» судьей, проблемы с дешевыми моделями (пустые ответы, несоответствие типов, опечатки в полях) и уроки обработки ошибок, включая ошибку биллинга, которая сожгла 16 000 вызовов за одну ночь.
Изначально JobPath использовал Claude Sonnet для преобразования сырых списков вакансий в структурированные карточки, что обходилось примерно в $2000 в месяц. Чтобы сократить расходы, они оценили альтернативы на тестовом наборе из 50 реальных вакансий, которые вслепую оценивал Opus. Они выбрали Qwen 3.5 Flash по цене $0,0007 за вакансию ($30 в месяц) при снижении качества с 4,48 до 4,06. Дешевые
Показать ещё ↓
Источник: Habr — хаб NLP —
оригинал