大型语言模型之争：LLM 变得更通用，还是更专精？

安德鲁·何在任职八个月后离开OpenAI，理由是大型语言模型即使在编程等资金充足的领域，泛化能力差且能力不均。他认为问题在于训练数据不足，因为大多数具有经济价值的技能在现有数据产品中几乎没有体现。何估计，AI实验室将需要在定向数据获取上花费超过1000亿美元，因为仅靠扩大规模是不够的。他还对OpenAI和Anthropic等前沿实验室的高估值持怀疑态度，指出它们长期不盈利，且必须不断投资以与Qwen或Kimi等更便宜的竞争对手抗衡。他的首批产品专注于生物信息学和日常实验室工作的数据集，而目前像GPT-5.6 Sol这样的模型在这些领域的成功率仅为约30%。剑桥大学的亚当·亨特支持这一观点，他观察到最新模型变得更加专业化，编程和复杂数学方面增长，而其他领域停滞不前。谷歌DeepMind的汤姆·扎哈维给出了结构性解释，指出语言模型擅长演绎和归纳，但在创造性的溯因推理上失败。他提出可行动可控的世界模型作为可能的出路。