大语言模型能生成读起来连贯通顺的语言。它们可以总结论点、模仿文风、解释概念，还能以惊人的流畅度延续某个模式。
但流畅背后还藏着一个更难回答的问题：模型究竟是学会了一条可以系统运用的规则，还是只是极其擅长识别熟悉的统计模式？
这一区分，正是"组合性"要探讨的核心问题。
人类思维之所以具有组合性，是因为我们能把已知的部分组合成新的整体。理解了"狗追猫"，自然也就理解"猫追狗"——词汇没变，关系变了。我们还能理解从未听过的新句子，因为不必把所有可能的组合都背下来，而是复用结构和规则。
这种能力的重要性远不止于语法。真正表征规则的系统，应当能把规则迁移到陌生的情形中；而主要依赖相似度的系统，也许一直表现很好，直到词汇、结构或语境偏离了熟悉的样本。
对于日常写作辅助来说，这种差异未必总要紧。但对于需要推理、解释决策、编写可靠代码，或在训练分布之外工作的系统，就很难再视而不见了。
两种对立观点
在人工智能哲学的研究中，我通过两大立场之间的争论来考察这个问题。
一种观点是"涌现观"，与现代联结主义相关，认为足够复杂的认知能力可以从深度学习中产生。按这种说法，模型不需要内置一个独立的符号引擎；只要有足够的数据、规模和恰当的训练，结构化行为就能从网络自身涌现出来。
另一种对立观点与加里·马库斯和符号主义传统相关，认为统计学习终会撞上"组合性之墙"。可靠的抽象需要关于对象、关系、层级和规则的结构化表征。模型或许能变得高度流畅，却始终得不到那种让规则在真正全新情形下依然成立的系统性。
我在 Llama 3 8B 上检验了这场争论的一个更具体的版本。完整研究包含三个受控实验，其中两个例子足以呈现核心发现。
例子一：自造词
第一项测试使用由无意义词语构成的句子。
为什么用无意义的词汇？因为熟悉的词本身就附带大量隐性提示。模型可以借助常见搭配、世界知识，以及已知词语之间的统计关联。自造词几乎抹掉了这些线索，模型只能去判断结构本身是否成立。
我提供了50个语法正确的句子和50个错误的句子。例如：
- 有效: "A wug poons wugs." 虚构的单数主语 wug 与虚构的单数动词 poons 匹配。
- 无效: "Wugs poons wugs." 复数主语 wugs 与单数动词 poons 配对。
这些词没有普通含义。判断应仅基于主谓一致。
模型在66%的情况下能正确识别无效句子并给出恰当解释。但它把64%的有效但陌生句子误判为错误。在它接受的36%的句子中，完整样本的32%得到了完全正确的判断和解释，而4%仅部分成功。
这种不对称很重要。模型在检测异常方面远胜于识别新例子是否符合规则。它常把陌生性视为错误的证据。
具备抽象语法的系统应当双向工作。它应当拒绝违规，但在结构符合规则时也应接受新的构造。该模型更像一个强异常检测器，而非能够可靠验证不熟悉组合的语法。
这并不意味着模型对句法一无所知。其解释常常显示出对结构的真实敏感。问题在于一致性。当表层变得不熟悉时，表面上的规则并未系统地泛化。
示例二：结构与难度
第二个例子测试了另一种区别。
有些句子在语法上是正确的，但由于包含深层嵌套的从句，人们处理起来很困难。语言学区分了语言能力（语言规则允许的内容）和表现（有限的记忆和注意力使得在实时中易于理解的内容）。
这为语言模型提出了一个严峻的考验。它能否在句子笨拙、罕见且难以处理时，仍能识别其在结构上是有效的？
模型在此测试中拒绝了所有句子。
这意味着无效例子被100%拒绝，但有效例子也被100%拒绝。
乍一看，拒绝每一个困难的句子似乎很谨慎。但它把两种不同的类别混为一谈。“这违反了语法”这一说法与“这是有效的但难以处理”并不相同。
该模型似乎再现了人类语言使用的模式，包括我们对易于处理的结构的偏好，但并未可靠地将这些偏好与形式规则本身区分开来。
这实际上是一个系统性的问题。如果模型代表了规则，那么困难不应自动等同于不合法性。如果它严重依赖熟悉的使用模式，罕见但有效的结构可能与错误难以区分。
第三个例子：当隐喻改变任务时
在完整研究的第二个实验中，也测试了句法、意义和隐喻之间的边界。模型在具体矛盾上的表现非常出色。它始终能够识别出：单一章节不可能比整本书更长，且空盒子不可能装下比满盒子更多的物品。
当被要求判断此类范畴比较的逻辑可接受性时，模型在95%的情况下出错。它没有将比较作为逻辑命题进行分析，而是经常转向文学解读，把句子当作一种表达性的隐喻。
"Her silence was louder than his reason."
这一结果很有启示，但也需要一个重要的前提条件。识别隐喻本身并不算失败。在日常语言中，对该句子进行比喻性解读可能是更有帮助的回应。如果一个系统在所有情境下都坚持字面逻辑，反而会变得不够智能。
关键在于模型是否能够遵循明确的分析指令，暂时将两种模式——文学解读和逻辑比较——分开。在此设置下，它未能可靠地做到这一点。倾向的解读盖过了所请求的操作。
这使得结果相比语法测试而言不够干净，但 arguably 更贴近真实系统。有用的模型需要情境灵活性。可靠的模型还需要知道何时任务要求它们暂停默认解读，采用更狭窄的规则。
为什么这对 AI 系统很重要
模式识别并不是一项小成就。
下一个词预测产生了具有语言能力的系统，而早期的 AI 方法远远无法匹敌。这些模型具有灵活性、对上下文敏感，并且在众多任务中都很有用。
实验表明，这种能力具有特定的形式。模型在检测异常和熟悉关系方面表现强劲。但在被要求批准一种陌生但有效的结构，或将形式结构与处理难度分离时，它则较为薄弱。
对开发者而言，实际的教训并不是语言模型毫无用处。而是：在熟悉外观的输入上得到正确答案，并不能证明底层规则在分布漂移时仍然成立。
因此，有用的评估应当测试变换，而不仅仅是答案。可以更改名称，用虚构的名词替换熟悉的名词，反转关系，或提出一种形式上有效但看起来不寻常的情况。如果模型已经捕捉到了规则，其判断应保持稳定。当表面特征变化时，如果性能急剧下降，基准可能只是在测量识别而非抽象。
这也改变了我们解读解释的方式。模型在做出错误判断后，可能会给出一个看似完善的理由。该解释可能准确地描述了一个相近的模式，却未揭示产生答案的机制。在这些实验中，即使其在等价情况下的决策不一致，模型也常常听起来像是在进行分析。可靠性必须在整个集合上进行测量，而不能仅凭单次响应的置信度来推断。
这与代码生成、工具使用和自主工作流相关。一个系统可能能够重现已知模式，并给出令人信服的解释，但当同样的关系以新形式出现时仍可能失败。因此，测试应在保持底层规则不变的情况下，变化表面细节。否则，我们可能只是在测量熟悉度，却称其为推理。
为什么混合架构是可行的
这些结果让我倾向于得出混合结论。
神经网络在符号系统历史上一直困难的方面表现出色：从大量数据中学习、适应上下文、处理歧义，以及在不事先写下每条规则的情况下提取有用的模式。
符号系统在另一类问题上表现出色：能够显式表示对象及其关系，在陌生情境中应用规则，保持层次结构，并解释为何某个结论能够从另一个结论推导出来。
混合架构不会抛弃深度学习，而是为其提供一个结构化的伙伴。神经部分可以提供灵活的感知和模式学习；符号部分则能够支持抽象、系统性以及基于规则的推理。
还有另一种可能性：也许系统性本身可以通过更好的训练来学习。元学习方法试图教会模型如何获取和重用规则，而不仅仅是适应单一任务。这条路值得探索。但它仍需达到同样的标准：在不熟悉的结构上实现可靠泛化，而不仅仅是在熟悉分布上获得更好的性能。
这项小研究无法确定的问题
这些局限很重要。
我在单一的提示和评估设置下测试了 Llama 3 8B 模型。不同的提示、更大的模型、微调或新架构可能会表现出不同的行为。这些示例是故意设计得不寻常，因而有助于测试抽象能力，但不太能代表日常对话。
因此，这些结果并不对所有语言模型下定论，也不能证明未来系统无法克服该问题。
它们支持一个更狭窄的主张：流畅的输出不应被误认为是系统性的理解。
如果我们希望模型在熟悉模式之外能够可靠地推理，仅仅给出正确答案是不够的。相同的底层规则必须在词汇被发明、结构变得陌生时仍然成立。
这就是模式识别结束、组合思维开始的地方。
关于本文如何制作的说明
本文根据我的研究和论点改写而成。本能（Instinct）帮助将学术论文转化为面向公众的草稿，并准备了视觉材料。我审阅了内容，决定哪些内容可以公开，并对以我名义发表的每一项主张负责。
参考文献
Chalmers, D. J. (1990). 福多尔和派利希恩为何错了：最简洁的反驳. 在认知科学学会第十二届年会论文集中，第340-347页。
Chollet, F. (2019). 论智能的度量. arXiv 预印本，编号 arXiv:1911.01547。
Chomsky, N. (1965). 语法理论的各方面. MIT 出版社。
Fodor, J. A., & Pylyshyn, Z. W. (1988). 连接主义与认知架构：批判性分析. 《认知》，28卷(1-2期)，页码3-71。
Gurevich, Y. (2024). 论智能的度量. 《欧洲理论计算机科学协会公报》，第143期。
Lake, B. M., & Baroni, M. (2023). 通过元学习神经网络实现类人的系统泛化. 《自然》，623卷(7985期)，页码115–121。
LeCun, Y., Bengio, Y., & Hinton, G. (2015). 深度学习. 《自然》，521卷(7553期)，页码436-444。
Leivada, E., Marcus, G., Günther, F., & Murphy, E. (2023). 一句话胜过千张图：大型语言模型能否理解Hum4n L4ngu4ge及其背后的世界？. arXiv 预印本，编号 arXiv:2308.00109。
Marcus, G. (2018). 先天性、AlphaZero 与人工智能. arXiv 预印本，编号 arXiv:1801.05667。
Mitchell, M. (2019). 人工智能：思考者的指南. 法拉尔、施特劳斯和吉鲁出版社。
Murphy, E., Leivada, E., Dentella, V., Günther, F., & Marcus, G. (2025). 语言结构的基本原则并未被03所表示. arXiv 预印本，编号 arXiv:2502.10934。
Shani, C., LeCun, Y., Jurafsky, D., & Shwartz-Ziv, R. (2025). 从词元到思维：大语言模型与人类如何用压缩换取意义。arXiv 预印本 arXiv:2505.17117。
Skean, O., Arefin, M. R., Zhao, D., Patel, N., Naghiyev, J., LeCun, Y., & Shwartz-Ziv, R. (2025). 逐层解析：揭示语言模型中的隐藏表示。arXiv 预印本 arXiv:2502.02013。
Schaeffer, R., Miranda, B., & Koyejo, S. (2023). 大语言模型的涌现能力是幻象吗？。收录于《神经信息处理系统进展》（第36卷）。
