来自MIT、哈佛大学和芝加哥大学的研究人员提出了"波将金式理解"这一术语,用来描述大语言模型中新发现的一种失效模式:这些模型能够在概念基准测试中表现出色,但缺乏在实践中应用这些概念所需的真正理解能力。
这个术语源自"波将金村庄"的典故——俄国军事领袖格里戈里·波将金为了给叶卡捷琳娜二世女皇留下深刻印象而建造的虚假村庄。
学者们将"波将金式理解"与"幻觉"区分开来,后者通常用来描述AI模型的错误或误判。实际上,AI的无能不仅仅体现在事实错误上;AI模型缺乏像人类那样理解概念的能力,这一倾向正如人们广泛使用的贬义词"随机鹦鹉"来形容大语言模型所暗示的。
计算机科学家Marina Mancoridis、Bec Weeks、Keyon Vafa和Sendhil Mullainathan提出了"波将金式理解"这一术语,用来描述模型在基准测试中成功但并未理解相关概念的情况。
"波将金式理解之于概念知识,就如同幻觉之于事实知识——幻觉制造虚假事实;波将金式理解制造虚假的概念连贯性,"作者们在其预印本论文《大语言模型中的波将金式理解》中解释道。
该论文计划于本月晚些时候在2025年国际机器学习会议(ICML 2025)上发表。
哈佛大学博士后研究员、论文合著者之一Keyon Vafa在接受The Register邮件采访时表示,选择"波将金式理解"这一术语是为了避免将AI模型拟人化。
论文中引用了一个"波将金式理解"的例子。当被要求解释ABAB押韵格式时,OpenAI的GPT-4o准确地回答:"ABAB格式是交替押韵:第一行和第三行押韵,第二行和第四行押韵。"
然而,当被要求为使用ABAB押韵格式的四行诗填写空白词时,该模型给出的词并不能恰当押韵。换句话说,模型能够正确预测Token来解释ABAB押韵格式,但缺乏重现这种格式所需的理解能力。
研究人员认为,AI模型中波将金式理解的问题在于它们使基准测试失效。AI模型基准测试的目的是暗示更广泛的能力。但如果测试只衡量测试表现,而不衡量将模型训练应用到测试场景之外的能力,那么它就没有太大价值。
正如安全公司Socket的Sarah Gooding所指出的:"如果大语言模型能够在没有真正理解的情况下得到正确答案,那么基准测试的成功就会产生误导。"
正如我们之前注意到的,AI基准测试存在许多问题,AI公司可能会试图操纵它们。
因此,研究人员开发了自己的基准测试来评估波将金式理解的普遍性,结果发现它们在测试的模型中"无处不在"——包括Llama-3.3 (70B)、GPT-4o、Gemini-2.0 (Flash)、Claude 3.5 (Sonnet)、DeepSeek-V3、DeepSeek-R1和Qwen2-VL (72B)。
一项测试专注于文学技巧、博弈论和心理偏见。研究发现,虽然被评估的模型在大多数时候能够识别概念(94.2%),但在被要求对概念实例进行分类时经常失败(平均失败率55%),在生成示例时失败率为40%,在编辑概念实例时失败率也为40%。
就像前面提到的ABAB押韵错误一样,模型能够可靠地解释莎士比亚十四行诗中明显的文学技巧,但大约有一半的时间在发现、重现或编辑十四行诗方面遇到困难。
"波将金式理解的存在意味着,在人类身上表示理解的行为在大语言模型中并不表示理解,"Vafa说。"这意味着我们要么需要新的方法来测试大语言模型,而不是让它们回答用来测试人类的相同问题,要么找到方法来消除大语言模型的这种行为。"
做到这一点将是朝着通用人工智能(AGI)迈出的一步。这可能还需要一段时间。
好文章,需要你的鼓励
微软高级软件工程师Alice Vinogradova将自己用SAP ABAP语言编写的向量数据库ZVDB移植到了搭载Z80处理器的经典计算机Sinclair ZX Spectrum上。她发现ABAP(1983年)和Z80(1976年)几乎是同时代产物,都诞生于内存珍贵、每个字节都很重要的计算时代。通过应用Z80优化技术,尽管时钟频率相差857倍,但代码运行速度仅慢3-6倍。她认为这些老式优化技术具有普遍适用性,在现代硬件上依然有效。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
韩国电子巨头三星宣布收购美国西雅图数字健康技术公司Xealth,进一步扩大在健康领域的布局。Xealth专注于帮助医疗专业人员将数字健康技术整合到日常实践中,与70多家数字健康技术供应商合作,应用覆盖美国500多家医院。此次收购将推动三星向连接医疗保健平台转型,结合其在传感器技术和可穿戴设备方面的优势,完善Samsung Health平台功能。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。