在过去的几年里,AI 语言模型已经可以非常出色的处理一些特定任务。其中,最值得注意的是,它们擅长预测文本字符串中的下一个单词。以搜索引擎和短信应用为例,这项技术可以辅助它们进行预测,以获取你准备输入的下一个单词。
最新一代的预测语言模型似乎也学会了一些语言的潜在含义。让人惊叹的是,这些模型不仅可以预测下一个单词,还可以执行似乎需要一定理解才能完成的任务,如问答、文档摘要和故事续写。
这些模型旨在优化预测文本的特定功能,而非试图模仿人类大脑如何执行这项任务或理解语言。但 MIT 神经科学家的一项新研究表明,这些模型的潜在功能类似于人类大脑中的语言处理中心的功能。
这篇论文写道:“我们的研究结果表明,预测性人工神经网络可作为预测语言处理如何在人类神经组织中实施的可行候选假设。这些网络为一个有前途的研究方向奠定了关键基础,即在集成逆向工程的良性循环中将自然语言处理的高性能模型与人类语言理解的大规模神经和行为测量相结合,包括测试模型预测神经和行为的能力,剖析表现最佳的模型以了解哪些组件对高大脑预测性至关重要,利用这些知识开发更好的模型,并收集新数据以挑战和限制未来几代神经上合理的语言处理模型”。
在其他类型的语言任务中,表现良好的计算机模型并未展示出与人类大脑的这种相似性,这为人脑可能会使用下一个单词预测来驱动语言处理提供了证据。
认知神经科学的 Walter A. Rosenblith 教授 Nancy Kanwisher 说,“模型预测下一个单词的能力越强,就越符合人类的大脑”。他是 MIT 麦戈文脑科学研究所和大脑、心智和机器中心(CBMM, Brain Research and Center for Brains, Minds, and Machines)的成员,也是这项新研究的作者之一。
“令人惊讶的是,这些模型拟合得如此之好,这也有力地暗示出,也许人类语言系统正在做的就是预测接下来会发生什么。”
该研究论文题为“The neural architecture of language: Integrative modeling converges on predictive processing”,已发表在 Proceedings of the National Academy of Sciences 上 |