不会计数却能猜数字的机器

这篇文章探讨了为什么大型语言模型（LLM）能够预测数值量，尽管它们并不真正理解数字。与传统的回归工具（如XGBoost）使用决策树方法不同，LLM将数字作为字符串处理，任意地将它们分割成标记。在2024年由亚利桑那大学和克卢日-纳波卡技术大学的研究人员进行的一项实验中，像GPT-4和Claude 3这样的LLM被给予了一个包含示例的表格，并被要求预测一个缺失的值。无需任何微调，它们的表现与专门的程序相当，在弗里德曼#2函数上，Claude 3甚至超过了五个此类工具。有趣的是，增加示例的数量提高了准确性，这不能归因于运气。这种上下文学习非常了不起，因为它不需要额外的训练。然而，LLM并不可靠：它们的预测会随着行的顺序和数字的精度而变化，并且它们没有上限，有时会给出极其错误的答案。尽管每次预测的成本比经典工具高出几个数量级，但LLM在数据稀缺、包含文本或列名具有含义的情况下表现出色。像TabPFN这样的新专门模型于2025年初在《自然》杂志上发表，在纯数值表格和小数据量上优于LLM，耗时不到三秒就能击败运行了四个小时的经典方法组合。建议仅在数据量少或存在有意义文本时使用LLM，并将其视为经典工具的补充而非替代品。