Self-hosting vs API: cara menghitung biaya nyata dari tugas yang terselesaikan di era model terbuka

Penulis mengkritik kebiasaan umum membandingkan biaya self-hosting dan API hanya berdasarkan harga per token, dengan menunjukkan bahwa self-hosting adalah biaya tetap sedangkan API adalah biaya variabel, dan metrik yang relevan adalah biaya per tugas yang terselesaikan, bukan per token. Model terbuka telah mengejar ketertinggalan dalam kualitas pada tolok ukur seperti SWE-bench Verified, sehingga pilihan menjadi keputusan ekonomi. Bagian 1 menurunkan analisis titik impas: mencampur harga token input/output untuk API (misalnya, Claude Opus 4.8 sebesar $15,00/juta token untuk generasi panjang, Kimi K3 sebesar $9,00, DeepSeek V3.2 sebesar $0,286) dan memperkirakan biaya self-hosting untuk node 8×H200 (amortisasi ~$7.700-10.300/bulan ditambah listrik ~$580-880/bulan). Titik impas tercapai ketika volume bulanan V melampaui biaya_per_juta_self / (harga_campuran_api - biaya_marginal_self), tetapi juga memerlukan kapasitas throughput yang memadai; pemanfaatan rendah membuat API lebih murah. Bagian 2 memperkenalkan biaya per tugas terselesaikan = (anggaran_token_per_percobaan * biaya_per_token) / tingkat_keberhasilan, menggunakan skor SWE-bench Verified dan anggaran token tetap 1,5 juta. DeepSeek V3.2 melalui API berbiaya $0,49 per tugas, sementara self-hosted pada pemanfaatan tertentu berbiaya $4,37, menunjukkan bahwa API murah mengalahkan self-hosting untuk model yang sama. Self-hosting hanya unggul melawan API tertutup mahal seperti Claude Opus 4.8 ($11,54) atau Kimi K3 ($6,57) pada pemanfaatan tinggi. Bagian 3 mencatat faktor non-biaya: residensi data (memaksa self-hosting), vendor lock-in dan volatilitas harga (misalnya, Moonshot AI menghentikan pendaftaran Kimi K3 setelah 48 jam karena permintaan), asimetri pembaruan (API mendapat upgrade gratis, self-hosting memerlukan biaya operasional), dan depresiasi perangkat keras yang terkait dengan siklus rilis NVIDIA daripada jadwal akuntansi. Kesimpulannya adalah bahwa keputusan API versus self-hosting bergantung pada pemanfaatan infrastruktur, kebutuhan data, dan kendala operasional, bukan harga token saja.