这个AI知道答案,却不懂问题的含义

2025年7月,《自然》杂志发表研究介绍了AI模型"半人马"(Centaur),该模型基于大语言模型构建,声称能模拟人类认知行为,在160项任务中表现出色。然而,浙江大学最新研究对此提出质疑,认为Centaur的成功源于过拟合——模型并非真正理解任务,而是通过识别训练数据中的统计规律来"猜测"答案。研究指出,真正的语言理解能力,或许才是AI模拟人类认知的核心挑战所在。

心理学家长期以来一直在争论,人类思维能否用一套统一的理论来解释,还是注意力、记忆等不同功能需要分别研究。如今,人工智能正以一种全新的方式加入这场讨论,为探索思维运作机制提供了新的视角。

2025年7月,《自然》杂志发表了一项研究,介绍了一个名为"Centaur"的AI模型。该模型基于标准大语言模型构建,并通过心理学实验数据进行微调,旨在模拟人类认知行为。据报道,Centaur在包括决策、执行控制等160项认知任务中表现出色,研究结果引发广泛关注,被视为AI系统向更广泛复现人类思维迈进的重要一步。

新研究提出质疑

然而,近期发表于《国家科学评论》的一项研究对上述结论提出了挑战。浙江大学的研究人员认为,Centaur看似亮眼的表现,可能源于过拟合问题——也就是说,模型并非真正理解任务本身,而是通过识别训练数据中的规律来复现预期答案。

为了验证这一假设,研究人员设计了多个全新的评估场景。其中一个示例中,研究人员将原本描述具体心理学任务的多项选择提示,替换为"请选择选项A"这一简单指令。如果模型真正理解了任务,理应始终选择选项A。然而,Centaur依然选出了原始数据集中的"正确答案"。

这一行为表明,模型并没有在理解问题的含义,而是依赖所学习的统计规律来"猜测"答案。研究人员将此比作一个靠死记题目格式拿高分、却根本不懂所学内容的学生。

对AI评估方式的重要启示

这一发现提醒我们,在评估大语言模型的能力时需要保持审慎。尽管这类系统在数据拟合上表现出色,但其"黑盒"特性使人们难以判断它们是如何得出输出结果的,进而可能引发幻觉或误解等问题。因此,通过多样化、严谨的测试来判断模型是否真正具备其所呈现的能力,至关重要。

真正的挑战:语言理解能力

尽管Centaur被定位为一个能够模拟人类认知的模型,但其最大的局限似乎恰恰在于语言理解能力——具体表现为难以识别并回应问题背后的真实意图。该研究表明,实现真正的语言理解,可能是开发能够更全面模拟人类认知的AI系统所面临的最核心挑战之一。

Q&A

Q1:Centaur模型是什么?它在心理学研究中有什么用?

A:Centaur是一个基于大语言模型构建、并通过心理学实验数据微调的AI模型,由2025年7月《自然》杂志发表的研究介绍。它被设计用来模拟人类认知行为,在决策、执行控制等160项认知任务中据报表现良好,被视为AI复现人类思维的重要探索。

Q2:Centaur被质疑存在什么问题?

A:浙江大学研究人员认为Centaur存在过拟合问题。测试中,当原有任务描述被替换为"请选择选项A"这类简单指令后,模型并没有选A,而是继续输出原数据集中的"正确答案",说明它只是在识别数据规律、"猜"答案,并非真正理解问题含义,类似靠死记题型应试而非真正掌握知识的学生。

Q3:评估大语言模型能力时应该注意什么?

A:大语言模型的"黑盒"特性使人们难以判断模型的推理过程,容易出现幻觉或误解。因此在评估模型能力时,需要设计多样化、严谨的测试场景,而不能仅依赖单一数据集上的表现,以确认模型是否真正具备所呈现的认知或理解能力。

来源:ScienceDaily

0赞

好文章,需要你的鼓励

2026

05/07

11:03

分享

点赞

邮件订阅