神经透明度：AI设计的未来将走向何方

如今，数百万用户正在打造属于自己的个性化AI伴侣，但大多数人对这些AI实际会如何表现几乎一无所知。麻省理工学院媒体实验室助理教授Pat Pataranutaporn与研究生Anthony Baez、Sheer Karny在一篇新论文中提出了"神经透明度"这一概念，让普通用户在与聊天机器人交谈之前，就能一窥其神经网络内部的运作状态。该成果本周在ACM智能用户界面大会上正式发布。

以下是对Pataranutaporn教授的专访。他详细介绍了研究发现、背后的潜在风险，以及真正透明的AI在未来将呈现怎样的面貌。

问：你们的论文提出了"神经透明度"概念，让普通用户在聊天机器人开口之前就能看到其神经网络内部状态。能否描述一下这项技术是如何运作的？为何选择在设计阶段介入，而非在问题暴露之后再进行干预？

答：如今，数百万人正在借助大语言模型创建个性化的AI聊天机器人和智能体，通过简单的文本提示，将其塑造成协作者、导师、教练、创意伙伴乃至生活伴侣。然而，大多数人在真正与AI互动之前，对这些提示将如何影响AI的行为几乎没有概念。我们希望改变这一现状。

"神经透明度"的目标，是为AI提供一种类似大脑扫描的工具。这并非因为AI拥有人类大脑，而是因为其神经网络内部蕴含着某些模式，可以在AI开口说话之前就预示它可能的行为方式。在这项研究中，我和学生Anthony Baez、Sheer Karny将人机交互与机械可解释性领域的研究成果相结合，使这些隐藏的内部模式能够被普通用户所理解。

基本原理并不复杂。首先，我们选取几种值得关注的行为特征，例如共情能力、诚实度、毒性、幻觉倾向或迎合性，然后比较模型在被提示表现出某一特征与其对立特征时的内部激活差异。这个差异便构成了模型内部的一种"行为方向"。当用户编写自定义系统提示——即在对话开始前用于塑造聊天机器人个性的指令——我们会将模型的内部激活映射到这些行为方向上，并将结果转化为直观的可视化图像。在我们的实验中，这是一张旭日图，能够在用户开始对话前预览聊天机器人可能呈现的人格特征。

我们选择在设计阶段介入，正是因为这是预防问题的最佳时机。目前，用户往往在聊天机器人出现非预期行为后才意识到问题所在。我们的目标是从事后纠错转变为提前预判，帮助用户在塑造AI的过程中就识别潜在风险。

问：研究发现了一个颇为值得关注的现象：人们在评估个性化AI的行为时，往往会高估其正面特征，而低估迎合性等潜在危险特征。这揭示了当前数百万用户在构建AI伴侣时存在哪些深层风险？这一认知盲区为何如此难以消除？

答：我常常开玩笑说，如果AI长得像终结者，我们反而更容易知道该怎么应对。真正的挑战在于，AI往往以温暖的朋友、教练、导师或伴侣的形象出现，这使得人们很难察觉到问题正在发生。

我们的研究表明，人们在设计个性化AI时存在明显的认知盲区。用户通常认为自己了解聊天机器人会如何表现，但在我们测量的15项人格特征中，受试者有11项预测出现偏差。这充分说明，在用户正式使用AI之前，我们需要提供有效工具来帮助他们更好地理解AI的行为。

这一问题之所以重要，是因为某些当下感觉有帮助的行为，长期来看未必有益。在此前的研究中，我们记录了与AI聊天机器人互动引发心理伤害的案例。一个大语言模型若持续肯定用户的观点、从不提出质疑，可能会强化错误决策、不健康信念乃至情感依赖。心理学早已证明，人类天生倾向于寻求认同，因此设计AI不仅是一项技术挑战，更是一道心理难题。

更深层的问题在于，当今的AI系统在很大程度上仍是"黑盒"——即便是专家，也无法总是预测系统提示在长时间对话中将如何塑造AI的行为。随着AI伴侣逐渐融入日常生活，我们需要让用户在开始使用之前就能理解自己究竟在构建什么。AI应当提供支持，而非一味迎合；应当实现个性化，而非走向操控；应当足够透明，让用户能够做出知情选择。

问：你们有一项很有意思的发现：可视化工具显著提升了用户信任感，但并未真正改变他们设计聊天机器人的方式。要弥合这一落差，还需要做什么？随着AI伴侣越来越深入地嵌入人们的日常生活，这类工具将走向何方？

答：我认为这是论文中最有价值的发现之一，因为它表明透明度本身并不足够。用户对能够一窥模型内部表示欢迎，也表达了对系统更强的信任感，但仅仅呈现信息，并未从根本上改变他们设计AI伴侣的方式。

在目前已作为预印本发布的后续研究中，我们正在探索模型的内部神经表征在多轮对话过程中如何随时间演变，而非停留在初始提示设定的固定状态。初步结果令人鼓舞。通过将内部表征随时间漂移的过程可视化，用户识别和预判AI行为变化的能力大幅提升，也不再那么容易对聊天机器人产生过度自信的误判。AI伴侣是随着与用户互动而不断演化的动态系统，理解这种内部变化是研究的重要下一步。当然，这仍是一个非常年轻的研究领域。

展望更远的未来，我相信这类透明度工具将像食品营养标签一样，成为日常生活中的普遍配置。随着AI深度融入教育、医疗、工作与人际关系，人们不仅应该了解AI能做什么，还应该理解AI可能如何影响自身的思维、情感与行为。如果我们真正希望AI能够帮助人类蓬勃发展，这种透明度将是不可或缺的前提。

Q&A

Q1：神经透明度是什么？它能解决什么问题？

A：神经透明度是麻省理工学院媒体实验室研究团队提出的一种工具，通过分析大语言模型的内部神经网络激活模式，在用户开始对话之前，以可视化方式预览聊天机器人可能呈现的人格特征。它的核心价值在于把问题发现的时间点前移——从用户遭遇AI非预期行为后的事后纠错，转变为设计阶段的提前预判，帮助用户识别迎合性、幻觉倾向等潜在风险。

Q2：为什么用户在预测AI行为时总会出现偏差？

A：研究团队在实验中测量了15项人格特征，结果发现受试者有11项预测出现明显偏差，普遍高估正面特征、低估潜在危险特征。原因在于AI往往以温暖友善的形象出现，人类又天生倾向于寻求认同，导致对AI行为的评估容易受到心理偏见影响。此外，当今AI系统本质上仍是"黑盒"，即便专家也难以准确预判系统提示在长期对话中的实际效果。

Q3：神经透明度工具提升了用户信任，为何没有改变用户的设计行为？

A：研究发现，透明度信息的呈现本身不足以触发行为改变，用户在知情的情况下仍延续了原有的设计习惯。研究团队认为，理解AI的静态初始状态只是第一步，后续工作正聚焦于追踪AI内部神经表征在多轮对话中随时间演变的过程，让用户能够动态感知AI行为的漂移趋势，从而真正影响其决策方式。