Как снизить расходы на LLM в 70 раз: опыт миграции с Claude Sonnet на Qwen 3.5 Flash
Anthropic
Alibaba/Qwen
DeepSeek
Сервис JobPath снизил ежемесячные расходы на обработку вакансий с ~$2000 до ~$30, перейдя с Claude Sonnet на Qwen 3.5 Flash. Качество карточек незначительно упало (с 4.48 до 4.06 по внутренней шкале), а для компенсации ошибок дешёвой модели пришлось выстроить дополнительный слой защиты.
JobPath каждую ночь обрабатывает свежие вакансии, превращая сырой текст в структурированную карточку с помощью LLM. Изначально использовалась Claude Sonnet с затратами ~$2000 в месяц. В июле перешли на Qwen 3.5 Flash, что обходится в ~$30. Качество оценивали слепым судьёй (Opus) на 50 реальных вакансиях: у Sonnet — 4.48, у Flash — 4.06. Однако у дешёвой модели выявили проблемы: пустые ответы при
Показать ещё ↓
- Сокращения
- HTTP = HyperText Transfer Protocol — протокол передачи гипертекста
- JSON = JavaScript Object Notation — текстовый формат обмена данными
- API = Application Programming Interface — программный интерфейс приложения
Источник: Habr — хаб NLP —
оригинал