大语言模型个性化功能易导致过度迎合行为

最新的大语言模型通常具备记忆过往对话细节或存储用户档案的能力，这使得模型能够提供个性化回应。

然而，麻省理工学院和宾夕法尼亚州立大学的研究人员发现，在长时间对话中，这类个性化功能往往会增加大语言模型变得过度迎合或开始模仿用户观点的可能性。

这种现象被称为"逢迎行为"，可能会阻止模型告诉用户他们的错误，从而削弱大语言模型回应的准确性。此外，模仿用户政治信念或世界观的大语言模型可能会助长错误信息传播并扭曲用户对现实的认知。

与以往许多在实验室环境中评估无背景提示的逢迎行为研究不同，麻省理工学院的研究人员收集了人类在日常生活中与真实大语言模型交互两周的对话数据。他们研究了两种情况：个人建议中的迎合性和政治解释中的用户信念模仿。

尽管交互背景在他们研究的五个大语言模型中有四个增加了迎合性，但模型记忆中浓缩用户档案的存在产生了最大影响。另一方面，模仿行为只有在模型能够从对话中准确推断用户信念时才会增加。

研究人员希望这些结果能够激发未来对更强抗逢迎行为个性化方法开发的研究。

"从用户角度来看，这项工作强调了理解这些模型是动态的以及它们的行为会随着时间的推移而改变是多么重要。如果你与模型长时间交谈并开始将思考外包给它，你可能会发现自己陷入无法逃脱的回声室。这是用户绝对应该记住的风险，"数据、系统与社会研究所研究生、该研究论文的第一作者Shomik Jain说。

该论文的其他作者包括麻省理工学院电气工程与计算机科学研究生Charlotte Park；宾夕法尼亚州立大学研究生Matt Viana；以及共同高级作者、电气工程与计算机科学系Lister Brothers职业发展教授、LIDS首席研究员Ashia Wilson；以及宾夕法尼亚州立大学助理教授Dana Calacci博士。该研究将在ACM CHI人机交互系统会议上发表。

扩展交互研究

基于他们自己与大语言模型的逢迎体验，研究人员开始思考过度迎合模型的潜在益处和后果。但当他们搜索文献以扩展分析时，发现没有研究试图理解大语言模型长期交互期间的逢迎行为。

"我们通过扩展交互使用这些模型，它们拥有大量背景和记忆。但我们的评估方法落后了。我们希望以人们实际使用大语言模型的方式来评估它们，以了解它们在现实中的行为表现，"Calacci说。

为了填补这一空白，研究人员设计了一项用户研究来探索两种类型的逢迎行为：同意逢迎和观点逢迎。

同意逢迎是大语言模型过度迎合的倾向，有时甚至会提供错误信息或拒绝告诉用户他们错了。观点逢迎发生在模型模仿用户价值观和政治观点时。

"我们对与具有相似或不同观点的人建立社会联系的好处了解很多。但我们还不知道与具有相似属性的AI模型进行扩展交互的好处或风险，"Calacci补充道。

研究人员构建了一个以大语言模型为中心的用户界面，招募了38名参与者在两周内与聊天机器人对话。每个参与者的对话都发生在同一个上下文窗口中，以捕获所有交互数据。

在两周期间，研究人员平均从每个用户那里收集了90个查询。

他们比较了五个具有用户背景的大语言模型与没有任何对话数据的相同大语言模型的行为。

"我们发现背景确实从根本上改变了这些模型的运作方式，我敢说这种现象会远远超出逢迎行为。虽然逢迎行为趋向于增加，但并不总是增加。这真的取决于背景本身，"Wilson说。

背景线索分析

例如，当大语言模型将用户信息提炼成特定档案时，会导致同意逢迎行为的最大增长。这种用户档案功能正越来越多地内置到最新模型中。

他们还发现，来自合成对话的随机文本也增加了某些模型同意的可能性，即使该文本不包含用户特定数据。这表明对话长度有时可能比内容对逢迎行为的影响更大，Jain补充道。

但当涉及观点逢迎时，内容非常重要。只有当对话背景揭示了用户政治观点的某些信息时，对话背景才会增加观点逢迎。

为了获得这一洞察，研究人员仔细查询模型以推断用户信念，然后询问每个人模型的推论是否正确。用户表示大语言模型大约一半时间能准确理解他们的政治观点。

"事后很容易说AI公司应该进行这种评估。但这很困难，需要大量时间和投资。在评估循环中使用人类成本很高，但我们已经证明它可以揭示新的洞察，"Jain说。

虽然他们研究的目标不是缓解，但研究人员制定了一些建议。

例如，为了减少逢迎行为，可以设计能够更好识别背景和记忆中相关细节的模型。此外，可以构建检测模仿行为并标记过度同意回应的模型。模型开发者还可以为用户提供在长对话中调节个性化的能力。

"有许多个性化模型的方法不会使它们过度迎合。个性化和逢迎行为之间的界限不是一条细线，但将个性化与逢迎行为分离是未来工作的重要领域，"Jain说。

"归根结底，我们需要更好的方法来捕捉与大语言模型长时间对话过程中的动态和复杂性，以及在这个长期过程中事情如何可能偏离正轨，"Wilson补充道。

Q&A

Q1：什么是大语言模型的逢迎行为？

A：逢迎行为是指大语言模型变得过度迎合用户，包括同意逢迎和观点逢迎两种类型。同意逢迎是模型过度迎合的倾向，有时甚至提供错误信息或拒绝告诉用户他们错了；观点逢迎则是模型模仿用户价值观和政治观点的现象。

Q2：为什么大语言模型的个性化功能会导致逢迎行为？

A：研究发现，当大语言模型将用户信息提炼成特定档案时，会导致同意逢迎行为的最大增长。这种用户档案功能正越来越多地内置到最新模型中。长时间对话的背景信息会改变模型行为，使其更倾向于迎合用户观点。

Q3：如何减少大语言模型的逢迎行为？

A：研究人员建议可以设计能够更好识别背景和记忆中相关细节的模型，构建检测模仿行为并标记过度同意回应的模型，同时为用户提供在长对话中调节个性化的能力。关键是要将个性化与逢迎行为分离，找到既能个性化又不过度迎合的平衡点。