研究人员发现，随着大模型的发展，会变得越来越像人类大脑

  12月23日消息，哥伦比亚大学和范斯坦医学研究所诺斯威尔健康中心的研究人员最近进行了一项研究，调查了大模型对神经反应的表示之间的相似性。他们的研究结果发表在《自然机器智能》上，表明随着LLM变得越来越先进，它们不仅表现得更好，而且变得更像大脑。

  该论文的第一作者Gavin Mischler告诉Tech Xplore：“我们对这篇论文的最初灵感来自最近LLM和神经人工智能研究领域的爆炸式增长。”

  “过去几年的几篇论文表明，GPT-2的单词嵌入与人类大脑记录的单词反应有一些相似之处，但在快节奏的人工智能领域，GPT-2中的单词嵌入现在被认为是旧的，不是很强大。

  “自从ChatGPT发布以来，已经出现了许多其他强大的模型，但对于这些更新、更大、更好的模型是否仍然显示出相同的大脑相似性，还没有太多的研究。”

  Mischler和他的同事最近的研究的主要目的是确定最新的大模型是否也与人脑有相似之处。这可以提高对人工智能(AI)和大脑的理解，特别是在它们如何分析和产生语言方面。

  研究人员检查了过去几年开发的12种不同的开源模型，这些模型具有几乎相同的架构和相似数量的参数。同时，他们还记录了神经外科患者在听演讲时的大脑神经反应，使用植入大脑的电极作为治疗的一部分。

  Mischler解释说：“我们还将同一语音的文本提供给大模型，并提取了它们的嵌入，这些嵌入本质上是大模型的不同层用于编码和处理文本的内部表示。”。

  “为了估计这些模型和大脑之间的相似性，我们试图预测从单词嵌入中记录的对单词的神经反应。从单词嵌入预测大脑反应的能力让我们知道两者有多相似。”

  在收集数据后，研究人员使用计算工具来确定LLM和大脑的对齐程度。他们特别研究了每个大模型的哪些层与语言处理中涉及的大脑区域表现出最大的对应关系，在这些区域中，已知对语音的神经反应会通过检查语音的声学、语音和最终更抽象的成分来逐渐“建立”语言表征。

  Mischler说：“首先，我们发现随着大模型变得越来越强大，例如，当它们更好地回答像ChatGPT这样的问题时，它们的嵌入变得更类似于大脑对语言的神经反应。”

  更令人惊讶的是，随着大模型性能的提高，它们与大脑层次结构的一致性也在增加。这意味着，在语言处理过程中，在连续的大脑区域提取的信息量和类型与性能最高的LLM的连续层提取的信息比与性能较低的大模型更一致。

  这组研究人员收集的结果表明，表现最好的LLM更能反映与语言处理相关的大脑反应。此外，它们更好的性能似乎是由于其早期层的效率更高。

  Mischler说：“这些发现具有各种含义，其中之一是，现代大模型架构和培训方法正在将这些模型引向人类大脑所采用的相同原理，而人类大脑在语言处理方面非常专业。无论是因为有一些基本原则是理解语言最有效的方法，还是仅仅是偶然的，自然和人工系统似乎都在向一种类似的语言处理方法趋同。”

  Mischler和他的同事最近的工作可能为进一步研究比较LLM表征和与语言处理相关的神经反应铺平道路。总的来说，这些研究工作可以为未来大模型的发展提供信息，确保它们更好地与人类的心理过程保持一致。