省钱的LLM：中文模型突然开始写汉字了

新闻作者运营着一个双语新闻订阅源，每天每篇新闻都经过LLM（约936次调用）进行分类、翻译、情感分析和解析。为了节省成本，他尝试了OpenRouter的免费模型，但大多数因为数据政策不可用，能用的又太慢。于是他测试了便宜的付费模型inclusionai/ling-2.6-flash（每百万输入tokens $0.010，而deepseek-v4-flash为$0.098）。在实际prompt上，它的质量相当（类别4/4，解析6/6），速度2.4秒（相比10秒），价格便宜8倍。然而一小时后，订阅源中出现了一个包含中文字符和标点符号的标题。调查发现，该模型是中文的：短输出中17%出现汉字，长解析中57%出现，而DeepSeek V4 Flash没有错误。作者添加了中文字符检测器（CJK字符的正则表达式），并让“纯净”的DeepSeek V4 Flash模型重新处理，从而将泄漏降为零。现在的流程是：Ling 2.6 Flash为主，DeepSeek V4 Flash负责清理汉字，Gemma:free作为备用以防供应商宕机。最终每月节省约$8.6，相比之下纯用DeepSeek需要$14.8，但由于57%的长解析需要支付双倍费用，实际节省低于预期。主要教训：便宜的模型在测量指标上可能表现出色，但在作者没想到检查的地方——即回应语言——却会失败。