셀프 호스팅 vs API: 오픈 모델 시대에서 해결된 작업의 실제 비용 계산 방법

저자는 셀프 호스팅과 API 비용을 순수하게 토큰 단위로 비교하는 일반적인 관행을 비판하며, 셀프 호스팅은 고정 비용이고 API는 변동 비용이며, 관련 지표는 토큰당 비용이 아닌 해결된 작업당 비용이라고 지적합니다. 오픈 모델은 SWE-bench Verified와 같은 벤치마크에서 품질이 따라잡혀 선택이 경제적 문제가 되었습니다. 파트 1에서는 손익분기 분석을 도출합니다: API의 입력/출력 토큰 가격(예: Claude Opus 4.8은 긴 생성 시 백만 토큰당 15.00달러, Kimi K3는 9.00달러, DeepSeek V3.2는 0.286달러)을 혼합하고, 8×H200 노드에 대한 셀프 호스팅 비용(상각 시 월 약 7,700~10,300달러에 전기료 약 580~880달러 추가)을 추정합니다. 손익분기점은 월 사용량 V가 cost_per_million_self / (blended_price_api - marginal_cost_self)를 초과할 때 발생하지만, 충분한 처리 용량도 필요하며, 낮은 활용도에서는 API가 더 저렴합니다. 파트 2에서는 해결된 작업당 비용 = (시도당 토큰 예산 * 토큰당 비용) / 해결률을 도입하며, SWE-bench Verified 점수와 고정된 150만 토큰 예산을 사용합니다. DeepSeek V3.2는 API를 통해 작업당 0.49달러인 반면, 주어진 활용도에서 셀프 호스팅은 4.37달러로, 동일 모델에서 저렴한 API가 셀프 호스팅을 이깁니다. 셀프 호스팅은 높은 활용도에서만 Claude Opus 4.8(11.54달러)이나 Kimi K3(6.57달러)와 같은 값비싼 폐쇄형 API에 대해 승리합니다. 파트 3에서는 비용 외 요인으로 데이터 거주성(셀프 호스팅 강제), 벤더 종속 및 가격 변동성(예: Moonshot AI가 수요로 인해 48시간 후 Kimi K3 가입 중단), 업데이트 비대칭성(API는 무료 업그레이드, 셀프 호스팅은 노력 필요), 회계 일정이 아닌 엔비디아 출시 주기에 따른 하드웨어 감가상각 등을 언급합니다. 결론은 API 대 셀프 호스팅 결정이 인프라 활용도, 데이터 요구 사항, 운영 제약에 달려 있으며, 토큰 가격만으로 결정되지 않는다는 것입니다.