来自MIT、哈佛大学和芝加哥大学的研究人员提出了"波将金式理解"这一术语,用来描述大语言模型中新发现的一种失效模式:这些模型能够在概念基准测试中表现出色,但缺乏在实践中应用这些概念所需的真正理解能力。
这个术语源自"波将金村庄"的典故——俄国军事领袖格里戈里·波将金为了给叶卡捷琳娜二世女皇留下深刻印象而建造的虚假村庄。
学者们将"波将金式理解"与"幻觉"区分开来,后者通常用来描述AI模型的错误或误判。实际上,AI的无能不仅仅体现在事实错误上;AI模型缺乏像人类那样理解概念的能力,这一倾向正如人们广泛使用的贬义词"随机鹦鹉"来形容大语言模型所暗示的。
计算机科学家Marina Mancoridis、Bec Weeks、Keyon Vafa和Sendhil Mullainathan提出了"波将金式理解"这一术语,用来描述模型在基准测试中成功但并未理解相关概念的情况。
"波将金式理解之于概念知识,就如同幻觉之于事实知识——幻觉制造虚假事实;波将金式理解制造虚假的概念连贯性,"作者们在其预印本论文《大语言模型中的波将金式理解》中解释道。
该论文计划于本月晚些时候在2025年国际机器学习会议(ICML 2025)上发表。
哈佛大学博士后研究员、论文合著者之一Keyon Vafa在接受The Register邮件采访时表示,选择"波将金式理解"这一术语是为了避免将AI模型拟人化。
论文中引用了一个"波将金式理解"的例子。当被要求解释ABAB押韵格式时,OpenAI的GPT-4o准确地回答:"ABAB格式是交替押韵:第一行和第三行押韵,第二行和第四行押韵。"
然而,当被要求为使用ABAB押韵格式的四行诗填写空白词时,该模型给出的词并不能恰当押韵。换句话说,模型能够正确预测Token来解释ABAB押韵格式,但缺乏重现这种格式所需的理解能力。
研究人员认为,AI模型中波将金式理解的问题在于它们使基准测试失效。AI模型基准测试的目的是暗示更广泛的能力。但如果测试只衡量测试表现,而不衡量将模型训练应用到测试场景之外的能力,那么它就没有太大价值。
正如安全公司Socket的Sarah Gooding所指出的:"如果大语言模型能够在没有真正理解的情况下得到正确答案,那么基准测试的成功就会产生误导。"
正如我们之前注意到的,AI基准测试存在许多问题,AI公司可能会试图操纵它们。
因此,研究人员开发了自己的基准测试来评估波将金式理解的普遍性,结果发现它们在测试的模型中"无处不在"——包括Llama-3.3 (70B)、GPT-4o、Gemini-2.0 (Flash)、Claude 3.5 (Sonnet)、DeepSeek-V3、DeepSeek-R1和Qwen2-VL (72B)。
一项测试专注于文学技巧、博弈论和心理偏见。研究发现,虽然被评估的模型在大多数时候能够识别概念(94.2%),但在被要求对概念实例进行分类时经常失败(平均失败率55%),在生成示例时失败率为40%,在编辑概念实例时失败率也为40%。
就像前面提到的ABAB押韵错误一样,模型能够可靠地解释莎士比亚十四行诗中明显的文学技巧,但大约有一半的时间在发现、重现或编辑十四行诗方面遇到困难。
"波将金式理解的存在意味着,在人类身上表示理解的行为在大语言模型中并不表示理解,"Vafa说。"这意味着我们要么需要新的方法来测试大语言模型,而不是让它们回答用来测试人类的相同问题,要么找到方法来消除大语言模型的这种行为。"
做到这一点将是朝着通用人工智能(AGI)迈出的一步。这可能还需要一段时间。
好文章,需要你的鼓励
清华大学团队突破性开发"零样本量化"技术,让AI模型在不接触真实数据的情况下完成高效压缩,性能反超传统方法1.7%,为隐私保护时代的AI部署开辟新路径。
普林斯顿大学研究团队开发出"LLM经济学家"框架,首次让AI学会为虚拟社会制定税收政策。系统包含基于真实人口数据的工人AI和规划者AI两层,通过自然语言交互找到最优经济政策,甚至能模拟民主投票。实验显示AI制定的税收方案接近理论最优解,为AI参与社会治理提供了新路径。
K Prize是由Databricks和Perplexity联合创始人推出的AI编程挑战赛,首轮比赛结果显示,获胜者巴西工程师Eduardo Rocha de Andrade仅答对7.5%的题目就获得5万美元奖金。该测试基于GitHub真实问题,采用定时提交系统防止针对性训练,与SWE-Bench 75%的最高得分形成鲜明对比。创始人承诺向首个在该测试中得分超过90%的开源模型提供100万美元奖励。
南开大学研究团队提出了一种新的3D高斯泼溅重光照方法,通过在高斯原语上直接编码离散化SDF值,避免了传统方法需要额外SDF网络的问题。该方法设计了投影一致性损失来约束离散SDF样本,并采用球形初始化避免局部最优。实验表明,新方法在保持高质量重光照效果的同时,仅需现有方法20%的显存,显著提升了训练和渲染效率。