当一个复杂系统或复杂网络中的个体或组件之间的相互作用遵循简单的规则或行为时，会出现一种被称为涌现现象的集体行为或特性。这些现象无法仅仅通过个体的行为或属性来解释，而是由整个系统的相互作用产生的。涌现现象展示了复杂系统的非线性和非直观的性质，常常令人惊叹。

一个经典的例子是蚂蚁群体的行为。单个蚂蚁的行为非常简单，只是通过分泌和识别信息素来做出反应，并没有智慧可言。然而，当成千上万只蚂蚁聚集在一起时，整个蚁群表现出智能行为。它们能够合作克服障碍，例如在山上开辟路径、在水面上建桥^[1]，甚至形成活体桥梁供其他蚂蚁通过。蚂蚁巢穴更是一个令人难以置信的例子。巢穴内部分为干湿分区，设有防洪通道，水流下来时有专门的通道引导水流。巢穴还有为宝宝、蚁后、食物和尸体储存的不同房间，以及用于蚁后逃生的通道。

图1:蚂蚁通过蚁群的能力建造桥梁（原文见文末链接1）

随着大型语言模型的兴起，模型的规模不断增长。在计算机领域中，随着大模型和大数据的应用，在In Context Learning（Few-shot prompting）也展现出一种"涌现"行为。在未达到临界规模之前，少样本启发式的性能相对较低，类似于随机预测的结果。然而，一旦模型规模超过了临界点，性能就会显著提升，这种现象就像是模型突然顿悟（Grokking）了一样。

类似地，GPT-3.5和GPT-4之间的更新也体现了涌现现象。虽然单独看每个模型的性能提升可能是微小的，但当任务的复杂性达到一定的阈值时，GPT-4具有更大的上下文窗口和更强大的记忆力，使得它能够处理大篇幅的文本和连续的对话，从而在信息综合和上下文理解方面表现更优秀。GPT-4可能有更大的模型规模、更多的训练数据和更先进的学习算法，使得它能够捕捉到更多的语言结构和语义关系。这种全局性的信息处理和整体性能的提升，可能是单个组件的简单累加所无法解释的。

今年五月，Anthropic推出的Claude模型^[4]也表现出出色的记忆能力，可以处理大量的文本和连续的对话。相较于之前的模型，Claude拥有记忆窗口10万个token，相当于约7.5万个单词。这意味着Claude能够在1分钟内完成阅读理解任务，如理解数万字的文章、技术文档或整本书。与人类阅读同样长度的文章需要5小时以上^[5]相比，Claude可以在短短1分钟内完成。此外，Claude的记忆力也得到了提升，可以连续多天记住对话内容，不会像之前的模型那样在对话中“忘记话题”。模型在训练过程中通过适应和选择，不断提升其记忆和理解能力，达到了令人惊叹的水平。这种涌现现象的结果使得Claude在处理复杂的文本和对话任务中具备了更强大的能力，为人工智能技术的发展带来了巨大的潜力和可能性。

涌现现象的出现是由于复杂系统中个体之间的相互作用和合作的结果。虽然个体的行为或规则相对简单，但当它们相互作用时，系统的整体行为变得复杂且难以预测。这种复杂性是由于相互作用的非线性效应，以及信息在系统中的传递和扩散所导致的。系统中的每个个体都响应于周围环境和其他个体的状态，通过相互作用和信息传递，个体之间形成了一种协同和协作的网络。

古代哲人的言论：“道生一，一生二，二生三，三生万物”可以与现代基于复杂网络系统的研究相呼应。在这些研究中，最初的几行代码代表了系统的基本规则和原理，通过不断的迭代和演化，逐渐形成了整个复杂的系统体系。

【参考链接】

[1]https://www.quantamagazine.org/the-simple-algorithm-that-ants-use-to-build-bridges-20180226/

[2]https://arxiv.org/pdf/2206.07682.pdf

[3]https://openai.com/research/gpt-4