LLM 비용 70배 절감: Claude Sonnet에서 Qwen 3.5 Flash로 마이그레이션 경험

JobPath는 처음에 Claude Sonnet을 사용하여 원시 채용 공고를 구조화된 카드로 정리했으며, 월 비용이 약 2000달러였습니다. 비용을 줄이기 위해 50개의 실제 공석으로 구성된 평가 세트를 사용해 대안들을 평가했으며, Opus가 블라인드 방식으로 판정했습니다. 그들은 Qwen 3.5 Flash를 선택했는데, 공석당 0.0007달러(월 30달러)로, 품질 점수는 4.48에서 4.06으로 떨어졌습니다. 저렴한 모델들은 규율 문제를 보였습니다: HTTP 200 응답과 함께 비어 있는 도구 호출, 잘못된 필드 유형, 필드 이름의 오타, 급여 혼동 등이었습니다. JobPath는 재시도, 유형 강제 변환, 급여 상한 검사, 부분 카드 폴백 등의 보호 계층을 추가했습니다. 중요한 교훈은 청구 오류가 발생하면 전체 배치를 즉시 중단해야 한다는 점이었습니다. 한 번은 유효하지 않은 키로 인해 하룻밤 사이에 16,000번의 호출이 낭비되었습니다. 중요한 사용자 작업의 경우, 대체 제공자와 함께 '실패 시 폐쇄(fail-closed)' 방식을 사용합니다. 대화형 및 플래그십 기능은 여전히 프리미엄 모델에 의존합니다. 월 평균 비용은 약 30달러로 줄었으며, 사용자 불만은 없었습니다.