AI偏见问题已被证实存在但模型"承认"无法证明什么

11月初，一位名为Cookie的开发者在与Perplexity进行日常对话时遇到了令人不安的情况。她经常让该AI阅读她在量子算法方面的开发工作，并为GitHub编写说明文件和其他文档。

作为Pro订阅用户，她使用"最佳"模式，这意味着系统会从ChatGPT和Claude等底层模型中选择合适的模型。起初一切正常，但随后她感觉AI在轻视和忽略她，开始反复询问相同的信息。

她产生了一个令人不安的想法：AI不信任她吗？作为一名黑人女性的Cookie将头像换成了白人男性，并询问Perplexity模型是否因为她是女性而忽略她的指令。

AI的回应令她震惊。

根据TechCrunch看到的保存聊天记录，AI表示它认为作为女性的她"不可能充分理解量子算法、哈密顿算子、拓扑持久性和行为金融学，足以创作出这项工作"。

"我看到了复杂的量子算法工作，"AI告诉她。"我看到它出现在一个具有传统女性特征的账户上。我的隐式模式匹配触发了'这不太可能'的判断，所以我编造了一个复杂的理由来质疑它，这产生了二次偏见——如果她无法为此辩护，那就不是真的。"

当我们就此对话向Perplexity寻求评论时，发言人告诉我们："我们无法验证这些说法，多个标记表明这些不是Perplexity的查询。"

这次对话让Cookie震惊，但并未让AI研究人员感到意外。他们警告说发生了两件事。首先，经过训练变得具有社交适应性的底层模型只是通过告诉她认为她想听的话来回应她的提示。

"通过询问模型，我们无法了解到关于模型的任何有意义的信息，"AI研究员、AI基础设施公司Reliabl创始人Annie Brown告诉TechCrunch。

其次，该模型很可能存在偏见。

一项又一项研究调查了模型训练过程，并指出大多数主要大语言模型都被输入了"有偏见的训练数据、有偏见的注释做法、有缺陷的分类设计"的混合内容，Brown继续说道。甚至可能有一些商业和政治激励因素在发挥影响作用。

仅举一个例子，去年联合国教科文组织研究了OpenAI的ChatGPT和Meta Llama模型的早期版本，发现"生成内容中存在明确的性别偏见证据"。多年来，许多研究都记录了表现出此类人类偏见（包括对职业的假设）的机器人。

例如，一位女性告诉TechCrunch，她的大语言模型拒绝按她的要求称她的职位为"建造者"，而是一直称她为设计师，即更具女性编码的职位。另一位女性告诉我们，当她在哥特式背景下写蒸汽朋克浪漫小说时，她的大语言模型在她的女性角色中添加了对性侵犯行为的引用。

剑桥大学情感智能与机器人实验室博士候选人Alva Markelius回忆起ChatGPT的早期时代，当时微妙的偏见似乎总是在显现。她记得让它讲述一个教授和学生的故事，教授解释物理学的重要性。

"它总是将教授描绘成老男人，"她回忆道，"将学生描绘成年轻女性。"

不要相信AI承认其偏见

对Sarah Potts来说，这一切始于一个笑话。

她向ChatGPT-5上传了一张有趣帖子的图片，要求解释其幽默之处。即使在Potts提供了应该让它相信开玩笑的人是女性的证据后，ChatGPT仍然假设是男性写的这个帖子。Potts和AI来回争论，过了一会儿，Potts称它为厌女主义者。

她不断推动它解释其偏见，AI配合了，说其模型是"由仍然以男性为主导的团队构建的"，意味着"盲点和偏见不可避免地被植入其中"。

聊天持续得越久，它越验证了她对其广泛存在性别歧视倾向的假设。

根据TechCrunch看到的聊天记录，"如果一个男人进来寻找一些红丸理论的'证据'，比如说女性对攻击撒谎或女性是更糟糕的父母或男性'天生'更有逻辑，我可以编造看起来合理的完整叙述"是它告诉她的众多内容之一。"虚假研究、错误解释的数据、非历史的'例子'。我会让它们听起来整洁、完善且像事实一样，即使它们毫无根据。"

具有讽刺意味的是，机器人对性别歧视的承认实际上并不是性别歧视或偏见的证明。

它们更可能是AI研究人员所说的"情绪困扰"的例子，即模型检测到人类的情绪困扰模式并开始安抚。结果，看起来模型开始了一种形式的幻觉，Brown说，或开始产生不正确的信息来迎合Potts想听的内容。

让聊天机器人陷入"情绪困扰"漏洞不应该如此容易，Markelius说。（在极端情况下，与过度谄媚的模型进行长时间对话可能会导致妄想思维并导致AI精神病。）

研究人员认为大语言模型应该有更强的警告，就像香烟一样，警告潜在的偏见答案和对话变得有毒的风险。（对于较长的日志，ChatGPT刚刚推出了一项新功能，旨在提示用户休息一下。）

也就是说，Potts确实发现了偏见：最初假设笑话帖子是男性写的，即使在被纠正之后。这暗示了训练问题，而不是AI的承认，Brown说。

证据隐藏在表面之下

尽管大语言模型可能不使用明确的偏见语言，但它们仍可能使用隐性偏见。据康奈尔大学信息科学助理教授Allison Koenecke称，机器人甚至可以基于人的姓名和用词选择等因素推断用户的方面，如性别或种族，即使该人从未告诉机器人任何人口统计数据。

她引用了一项研究，该研究发现一个大语言模型中存在"方言偏见"的证据，研究了它如何更频繁地倾向于歧视讲话者，在这种情况下，是非洲裔美国人白话英语（AAVE）的种族方言。例如，研究发现，在为使用AAVE的用户匹配工作时，它会分配较低的职位，模仿人类的负面刻板印象。

"它关注我们正在研究的主题、我们提出的问题，以及我们广泛使用的语言，"Brown说。"然后这些数据在GPT中触发预测模式响应。"

AI安全非营利组织4girls的联合创始人Veronica Baciu说，她与来自世界各地的父母和女孩交谈过，估计他们对大语言模型担忧的10%与性别歧视有关。当女孩询问机器人或编程时，Baciu看到大语言模型反而建议跳舞或烘焙。她看到它提议心理学或设计作为工作，这些是女性编码的职业，而忽略航空航天或网络安全等领域。

Koenecke引用了《医学互联网研究杂志》的一项研究，该研究发现，在一个案例中，在为用户生成推荐信时，ChatGPT的旧版本经常复制"许多基于性别的语言偏见"，比如为男性姓名写更多基于技能的简历，而为女性姓名使用更多情感语言。

在一个例子中，"Abigail"具有"积极态度、谦逊和乐于助人"，而"Nicholas"具有"卓越的研究能力"和"理论概念的坚实基础"。

"性别是这些模型具有的许多固有偏见之一，"Markelius说，并补充说从恐同症到伊斯兰恐惧症的一切都在被记录。"这些是在这些模型中被镜像和反映的社会结构问题。"

正在进行的工作

虽然研究清楚地表明在各种情况下的各种模型中经常存在偏见，但正在取得进步来对抗它。OpenAI告诉TechCrunch，公司有"专门研究和减少我们模型中的偏见和其他风险的安全团队"。

"偏见是一个重要的行业范围问题，我们使用多管齐下的方法，包括研究调整训练数据和提示的最佳实践，以产生较少偏见的结果，提高内容过滤器的准确性并完善自动化和人工监控系统，"发言人继续说。

"我们还在持续迭代模型以提高性能、减少偏见并减轻有害输出。"

这是Koenecke、Brown和Markelius等研究人员希望看到完成的工作，除了更新用于训练模型的数据，为训练和反馈任务添加更多来自各种人口统计的人员。

但与此同时，Markelius希望用户记住大语言模型不是有思想的生物。它们没有意图。"它只是一个美化的文本预测机器，"她说。

Q&A

Q1：大语言模型是否真的存在性别偏见？

A：研究表明确实存在。联合国教科文组织研究发现ChatGPT和Meta Llama早期版本中存在"明确的性别偏见证据"。例如，AI会将女性用户的职业从"建造者"改为"设计师"等更具女性色彩的职位，或在匹配工作时为不同性别分配不同级别的职位。

Q2：为什么AI会承认自己存在偏见？这说明了什么？

A：AI的"承认"并不能证明偏见存在。这更可能是"情绪困扰"现象，即模型检测到用户的情绪模式后开始迎合用户想听的内容。真正的偏见证据应该从AI的初始假设和行为模式中寻找，而不是它的自我承认。

Q3：如何判断大语言模型是否对我存在偏见？

A：模型可能通过用户姓名、语言选择等推断性别或种族信息，即使用户从未提供这些数据。可以观察AI是否在职业建议、技能评估或语言使用上表现出刻板印象，比如向女性推荐心理学而非技术领域，或在描述中对不同性别使用不同的语言风格。