Tự lưu trữ so với API: cách tính chi phí thực tế của một tác vụ đã giải quyết trong kỷ nguyên mô hình mở

Tác giả phê phán thói quen phổ biến khi so sánh chi phí tự triển khai và API chỉ dựa trên mỗi token, chỉ ra rằng tự triển khai là chi phí cố định còn API là biến đổi, và thước đo phù hợp là chi phí trên mỗi tác vụ được giải quyết, không phải trên mỗi token. Các mô hình mở đã bắt kịp về chất lượng trên các điểm chuẩn như SWE-bench Verified, khiến lựa chọn trở thành vấn đề kinh tế. Phần 1 đưa ra phân tích điểm hòa vốn: pha trộn giá token đầu vào/đầu ra cho API (ví dụ: Claude Opus 4.8 với 15,00 USD/triệu token cho sinh văn dài, Kimi K3 với 9,00 USD, DeepSeek V3.2 với 0,286 USD) và ước tính chi phí tự triển khai cho một node 8×H200 (khấu hao khoảng 7,7-10,3 nghìn USD/tháng cộng tiền điện khoảng 580-880 USD/tháng). Điểm hòa vốn xảy ra khi khối lượng hàng tháng V vượt quá chi phí_mỗi_triệu_tự_triển_khai / (giá_pha_trộn_API - chi_phí_biên_tự_triển_khai), nhưng cũng cần đủ năng lực thông qua; mức sử dụng thấp khiến API rẻ hơn. Phần 2 giới thiệu chi phí trên mỗi tác vụ được giải quyết = (ngân_sách_token_mỗi_lần_thử * chi_phí_mỗi_token) / tỷ_lệ_giải_quyết, sử dụng điểm SWE-bench Verified và ngân sách cố định 1,5 triệu token. DeepSeek V3.2 qua API tốn 0,49 USD mỗi tác vụ, trong khi tự triển khai ở mức sử dụng nhất định tốn 4,37 USD, cho thấy API giá rẻ thắng tự triển khai với cùng mô hình. Chỉ tự triển khai thắng được các API đóng đắt như Claude Opus 4.8 (11,54 USD) hay Kimi K3 (6,57 USD) khi sử dụng cao. Phần 3 đề cập các yếu tố phi chi phí: nơi lưu trữ dữ liệu (buộc tự triển khai), khóa nhà cung cấp và biến động giá (ví dụ: Moonshot AI tạm dừng đăng ký Kimi K3 sau 48h vì nhu cầu), bất đối xứng cập nhật (API được nâng cấp miễn phí, tự triển khai tốn công sức), và khấu hao phần cứng phụ thuộc chu kỳ phát hành của NVIDIA hơn là lịch kế toán. Kết luận rằng quyết định API hay tự triển khai phụ thuộc vào mức sử dụng hạ tầng, yêu cầu dữ liệu và ràng buộc vận hành, không chỉ giá token.