自托管与API：在开源模型时代如何计算解决任务的实际成本

作者批评了单纯按令牌数比较自托管和API成本的做法，指出自托管是固定成本而API是可变成本，相关指标应是每解决任务的成本，而非每令牌成本。开源模型在SWE-bench Verified等基准测试上的质量已迎头赶上，使得选择变成了经济问题。第一部分推导了盈亏平衡分析：混合API的输入/输出令牌价格（例如，长文本生成的Claude Opus 4.8为每百万令牌15美元，Kimi K3为9美元，DeepSeek V3.2为0.286美元），并估算了一个8×H200节点的自托管成本（摊销约每月7700至10300美元，加上电费约每月580至880美元）。当月度用量V超过（自托管每百万成本）除以（混合API价格减去边际自托管成本）时达到盈亏平衡，但也需要足够的吞吐能力；低利用率下API更便宜。第二部分引入了每任务成本 =（每次尝试的令牌预算 × 每令牌成本）除以解决率，使用了SWE-bench Verified的得分和固定的150万令牌预算。DeepSeek V3.2通过API每任务成本为0.49美元，而自托管在给定利用率下为4.37美元，表明对于同一模型，廉价API优于自托管。自托管仅在针对昂贵的闭源API（如Claude Opus 4.8的11.54美元或Kimi K3的6.57美元）且高利用率时胜出。第三部分指出了非成本因素：数据驻留（强制自托管）、供应商锁定和价格波动（例如，Moonshot AI因需求在48小时后暂停了Kimi K3的注册）、更新的不对称性（API免费获得升级，自托管需要投入精力），以及硬件折旧与NVIDIA发布周期而非会计折旧表相关。结论是，API与自托管的选择取决于基础设施利用率、数据需求和运营约束，而非单纯的令牌价格。