Kendinden barındırma ve API: açık modeller çağında çözülmüş bir görevin gerçek maliyeti nasıl hesaplanır

Yazar, kendi barındırma ile API maliyetlerinin yalnızca token başına karşılaştırılmasının yaygın uygulamasını eleştiriyor; kendi barındırmanın sabit maliyet, API'nin ise değişken maliyet olduğunu ve önemli ölçütün token başına değil, çözülen görev başına maliyet olduğunu belirtiyor. Açık modeller, SWE-bench Verified gibi kıyaslamalarda kalite olarak yakalamış durumda ve bu da seçimi ekonomik bir hale getiriyor. Bölüm 1, başabaş analizi türetiyor: API için girdi/çıktı token fiyatlarını harmanlama (örneğin, uzun üretim için Claude Opus 4.8 $15,00/M token, Kimi K3 $9,00, DeepSeek V3.2 $0,286) ve 8×H200 düğümü için kendi barındırma maliyetlerini tahmin etme (amortize edilmiş ~$7.7-10.3k/ay artı elektrik ~$580-880/ay). Başabaş noktasına, aylık hacim V, maliyet_milyon_kendi / (harmanlanmış_fiyat_api - marjinal_maliyet_kendi) değerini aştığında ulaşılır, ancak aynı zamanda yeterli işlem hacmi kapasitesi gerekir; düşük kullanım API'yi daha ucuz hale getirir. Bölüm 2, çözülen görev başına maliyeti = (deneme_başına_token_bütçesi * token_başına_maliyet) / çözüm_oranı olarak tanıtıyor; SWE-bench Verified puanlarını ve sabit 1,5 milyon token bütçesini kullanıyor. DeepSeek V3.2 API aracılığıyla görev başına $0,49'a mal olurken, belirli bir kullanımda kendi barındırma $4,37'ye mal oluyor ve bu da ucuz API'nin aynı model için kendi barındırmaya karşı kazandığını gösteriyor. Kendi barındırma yalnızca Claude Opus 4.8 ($11,54) veya Kimi K3 ($6,57) gibi pahalı kapalı API'lere karşı yüksek kullanımda kazanır. Bölüm 3, maliyet dışı faktörleri not ediyor: veri yerleşikliği (kendi barındırmayı zorunlu kılar), satıcı bağımlılığı ve fiyat oynaklığı (örneğin, Moonshot AI, talep nedeniyle 48 saat sonra Kimi K3 kayıtlarını durdurdu), güncellemelerin asimetrisi (API ücretsiz yükseltmeler alır, kendi barındırma çaba gerektirir) ve muhasebe takvimlerinden ziyade NVIDIA sürüm döngülerine bağlı donanım amortismanı. Sonuç olarak, API ile kendi barındırma arasındaki seçim, yalnızca token fiyatına değil, altyapı kullanımına, veri gereksinimlerine ve operasyonel kısıtlamalara bağlıdır.