Zelf hosten versus API: hoe de werkelijke kosten van een opgeloste taak berekenen in het tijdperk van open modellen
Moonshot AI
DeepSeek
Anthropic
Het artikel stelt dat het vergelijken van zelf hosten en API op basis van prijzen per token misleidend is. Het stelt voor om gemengde API-prijzen en total cost of ownership voor zelf hosten te gebruiken, met een break-even volume dat afhankelijk is van de bezettingsgraad. Voor opgeloste taken introduceert het een kost-per-taak-metriek die modellenoplossingspercentages en tokenbudgetten omvat, en benadrukt dat goedkope API vaak beter is dan zelf hosten voor hetzelfde model vanwege de schaal van de provider.
De auteur bekritiseert de gangbare praktijk om self-hosting en API-kosten uitsluitend op basis van tokenprijzen te vergelijken, en wijst erop dat self-hosting een vaste kost is terwijl API variabel is, en dat de relevante maatstaf de kosten per opgeloste taak zijn, niet per token. Open modellen hebben qua kwaliteit een inhaalslag gemaakt op benchmarks zoals SWE-bench Verified, waardoor de keuze een economische wordt. Deel 1 leidt een break-evenanalyse af: het mengen van input- en output-tokenprijzen voor API (bijv. Claude Opus 4.8 voor $15,00/M tokens bij lange generatie, Kimi K3 voor $9,00, DeepSeek V3.2 voor $0,286) en het schatten van self-hostingkosten voor een 8×H200-node (afgeschreven ~ $7.700-10.300/maand plus elektriciteit ~ $580-880/maand). Break-even wordt bereikt wanneer het maandelijkse volume V groter is dan cost_per_million_self / (blended_price_api - marginal_cost_self), maar er moet ook voldoende doorvoercapaciteit zijn; bij lage benutting is API goedkoper. Deel 2 introduceert kosten per opgeloste taak = (token_budget_per_attempt * cost_per_token) / solve_rate, met gebruikmaking van SWE-bench Verified scores en een vast budget van 1,5M tokens. DeepSeek V3.2 via API kost $0,49 per taak, terwijl self-hosted bij gegeven benutting $4,37 kost, wat aantoont dat goedkope API self-hosting verslaat voor hetzelfde model. Self-hosting wint alleen van dure closed API's zoals Claude Opus 4.8 ($11,54) of Kimi K3 ($6,57) bij hoge benutting. Deel 3 behandelt niet-kostenfactoren: datalocatie (dwingt tot self-hosting), vendor lock-in en prijsvolatiliteit (bijv. Moonshot AI heeft Kimi K3-aanmeldingen na 48 uur gepauzeerd vanwege vraag), asymmetrie van updates (API krijgt gratis upgrades, self-hosting kost moeite), en hardware-afschrijving die is gekoppeld aan NVIDIA-releasecycli in plaats van boekhoudschema's. De conclusie is dat de beslissing API vs. self-hosting afhangt van infrastructuurbenutting, data-eisen en operationele beperkingen, niet alleen van tokenprijzen.
Bron: Habr — хаб ИИ —
origineel