Self-hosting vs. API: kuinka laskea ratkaistun tehtävän todellinen kustannus avointen mallien aikakaudella

Kirjoittaja kritisoi yleistä tapaa verrata itse isännöinnin ja API-palvelun kustannuksia pelkästään token-pohjaisesti, ja huomauttaa, että itse isännöinti on kiinteä kustannus, kun taas API on muuttuva, ja olennainen mittari on kustannus ratkaistua tehtävää kohti, ei tokenia kohti. Avoimet mallit ovat saavuttaneet laadultaan vertailuarvot, kuten SWE-bench Verified, mikä tekee valinnasta taloudellisen. Osa 1 johtaa kannattavuusanalyysin: yhdistetään API:n syöte- ja tulostustokenien hinnat (esim. Claude Opus 4.8 hintaan 15,00 dollaria miljoonaa tokenia kohden pitkissä generoinneissa, Kimi K3 hintaan 9,00 dollaria, DeepSeek V3.2 hintaan 0,286 dollaria) ja arvioidaan itse isännöinnin kustannukset 8×H200-solmulle (poistot noin 7 700–10 300 dollaria kuukaudessa plus sähkö noin 580–880 dollaria kuukaudessa). Kannattavuus saavutetaan, kun kuukausittainen volyymi V ylittää arvon kustannus_per_miljoona_oma / (yhdistetty_hinta_api - rajakustannus_oma), mutta myös vaaditaan riittävä läpimenokyky; alhainen käyttöaste tekee API:sta halvemman. Osa 2 esittelee kustannuksen ratkaistua tehtävää kohti = (token_budjetti_per_yritys * kustannus_per_token) / ratkaisuaste, käyttäen SWE-bench Verified -pisteitä ja kiinteää 1,5 miljoonan tokenin budjettia. DeepSeek V3.2 maksaa API:n kautta 0,49 dollaria tehtävältä, kun taas itse isännöitynä annetulla käyttöasteella se maksaa 4,37 dollaria, mikä osoittaa, että halpa API voittaa itse isännöinnin samalla mallilla. Itse isännöinti voittaa vain kalliit suljetut API:t, kuten Claude Opus 4.8 (11,54 dollaria) tai Kimi K3 (6,57 dollaria) korkealla käyttöasteella. Osa 3 käsittelee ei-kustannustekijöitä: tietosuoja (pakottaa itse isännöintiin), toimittajariippuvuus ja hintavaihtelu (esim. Moonshot AI keskeytti Kimi K3 -rekisteröinnit 48 tunnin jälkeen kysynnän vuoksi), päivitysten epäsymmetria (API saa ilmaisia päivityksiä, itse isännöinti vaatii vaivaa) sekä laitteiston arvonalentuminen, joka liittyy NVIDIA:n julkaisusykleihin eikä kirjanpidon poistoihin. Johtopäätös on, että API:n ja itse isännöinnin välinen valinta riippuu infrastruktuurin käyttöasteesta, datavaatimuksista ja operatiivisista rajoitteista, ei pelkästään tokenin hinnasta.