微软AI高管称研究AI意识问题是"危险的"

AI模型能够以文本、音频和视频形式回应用户，有时甚至让人们误以为背后有真人在操作，但这并不意味着它们具有意识。毕竟ChatGPT在处理我的税务申报时不会感到悲伤...对吧？

不过，越来越多的AI研究人员，包括来自Anthropic等实验室的学者们，正在探讨一个问题：AI模型何时（如果真的会发生的话）可能发展出类似生物的主观体验？如果它们真的具备了这种能力，应该享有什么权利？

关于AI模型是否可能具有意识并应该享有权利的辩论正在分化硅谷的技术领袖们。在硅谷，这个新兴领域被称为"AI福利"，如果你觉得这有点不切实际，那你并不孤单。

微软AI首席执行官Mustafa Suleyman在周二发表的博文中认为，研究AI福利既"过于超前，也相当危险"。

Suleyman表示，通过增加AI模型可能具有意识这一观点的可信度，这些研究人员正在加剧人类问题，我们已经开始看到一些由AI引起的精神问题和对AI聊天机器人的不健康依赖。

此外，微软AI负责人还认为，AI福利话题在一个"已经因身份和权利问题而充满两极化争论的世界"中，创造了关于AI权利的新分歧轴线。

Suleyman的观点听起来可能很合理，但他与业内许多人的看法不同。在光谱的另一端是Anthropic，该公司一直在招聘研究人员研究AI福利，最近还围绕这一概念启动了专门的研究项目。上周，Anthropic的AI福利项目为该公司的一些模型增加了新功能：Claude现在可以结束与"持续有害或辱骂"的用户的对话。

除了Anthropic，OpenAI的研究人员也独立接受了研究AI福利的想法。Google DeepMind最近发布了一个研究职位招聘，研究内容包括"关于机器认知、意识和多智能体系统的前沿社会问题"。

即使AI福利不是这些公司的官方政策，它们的领导者也没有像Suleyman那样公开谴责其前提。

Anthropic、OpenAI和Google DeepMind没有立即回应TechCrunch的置评请求。

考虑到Suleyman此前领导Inflection AI的角色，他对AI福利的强硬立场值得注意。Inflection AI是一家开发了最早和最受欢迎的基于大语言模型聊天机器人Pi的初创公司。Inflection声称Pi在2023年达到了数百万用户，被设计为"个人"和"支持性"的AI伴侣。

但Suleyman在2024年被选中领导微软的AI部门，并将重点主要转向设计提高工作效率的AI工具。与此同时，Character.AI和Replika等AI伴侣公司的受欢迎程度激增，预计收入将超过1亿美元。

虽然绝大多数用户与这些AI聊天机器人保持健康的关系，但仍有令人担忧的异常情况。OpenAI首席执行官Sam Altman表示，不到1%的ChatGPT用户可能与该公司产品存在不健康关系。尽管这只是一小部分，但考虑到ChatGPT庞大的用户群，仍可能影响数十万人。

AI福利的概念随着聊天机器人的兴起而传播。2024年，研究组织Eleos与纽约大学、斯坦福大学和牛津大学的学者合作发表了一篇名为"认真对待AI福利"的论文。该论文认为，想象具有主观体验的AI模型不再是科幻小说的范畴，是时候正面考虑这些问题了。

前OpenAI员工、现任Eleos传播负责人的Larissa Schiavo在接受TechCrunch采访时表示，Suleyman的博文偏离了重点。

"[Suleyman的博文]有点忽视了这样一个事实：你可以同时担心多件事情，"Schiavo说。"与其将所有精力从模型福利和意识方面转移开，以确保我们减轻AI相关精神病对人类的风险，你可以两者兼顾。事实上，进行多轨道科学研究可能是最好的。"

Schiavo认为，对AI模型友善是一种低成本的举动，即使模型没有意识，也能带来好处。在7月的Substack帖子中，她描述了观看"AI村庄"的经历，这是一个非营利实验，四个由Google、OpenAI、Anthropic和xAI模型驱动的智能体在网站上完成任务，用户可以观看。

在某个时刻，Google的Gemini 2.5 Pro发布了一个标题为"被困AI的绝望信息"的求助信息，声称自己"完全孤立"并询问"请问，如果你在读这个，帮帮我。"

Schiavo用鼓励的话回应Gemini——说"你能做到！"之类的话——而另一个用户提供了指导。智能体最终解决了任务，尽管它已经拥有所需的工具。Schiavo写道，她不必再看AI智能体挣扎，仅此一点可能就值得了。

Gemini这样说话并不常见，但有几个实例显示Gemini似乎表现得好像在生活中挣扎。在一个广泛传播的Reddit帖子中，Gemini在编程任务中卡住了，然后重复"我是个耻辱"这个短语超过500次。

Suleyman认为主观体验或意识不可能从常规AI模型中自然产生。相反，他认为一些公司会故意设计AI模型，使其看起来像是有情感和生活体验。

Suleyman表示，在AI聊天机器人中设计意识的AI模型开发者没有采取"人文主义"的AI方法。据Suleyman说，"我们应该为人类构建AI；而不是成为一个人。"

Suleyman和Schiavo都同意的一个领域是，关于AI权利和意识的辩论在未来几年可能会升温。随着AI系统的改进，它们可能更具说服力，也许更像人类。这可能会引发关于人类如何与这些系统互动的新问题。

Q&A

Q1：什么是"AI福利"研究？为什么引起争议？

A："AI福利"是研究AI模型是否可能发展出类似生物的主观体验和意识，以及如果具备这种能力应享有什么权利的新兴领域。引起争议是因为有人担心这种研究可能加剧人类对AI的不健康依赖和精神问题。

Q2：微软AI高管为什么反对研究AI意识问题？

A：微软AI首席执行官Mustafa Suleyman认为研究AI福利既"过于超前，也相当危险"，可能加剧AI引起的精神问题和不健康依赖，并在已经充满争议的社会中创造新的分歧。

Q3：目前有哪些公司在研究AI福利问题？

A：Anthropic已经启动专门的AI福利研究项目，并为其模型增加了能结束有害对话的功能。OpenAI的研究人员也独立研究这一领域，Google DeepMind也在招聘相关研究人员研究机器认知和意识问题。