如何将LLM成本降低70倍：从Claude Sonnet迁移到千问3.5 Flash的经验

JobPath最初使用Claude Sonnet将原始招聘列表转化为结构化卡片，每月成本约2000美元。为了降低成本，他们利用由50个真实空缺职位组成的评估集（由Opus盲审）对替代方案进行评估，最终选择了通义千问3.5 Flash（每份空缺成本0.0007美元，每月30美元），质量评分从4.48降至4.06。廉价模型暴露出纪律问题：空工具调用返回HTTP 200、字段类型错误、字段名拼写错误以及薪资混淆。他们增加了一个保护层：重试、类型强制转换、薪资上限检查以及部分卡片回退。一个关键教训是，计费错误应立即停止整个批次；曾有一把死钥匙导致一夜之间浪费了1.6万次调用。对于关键用户操作，他们采用故障关闭机制并配备备用提供商。交互式和旗舰功能仍使用高级模型。月均成本降至约30美元，且未收到用户投诉。