我们都有过这样的经历:在看剧时,流媒体服务会在我们连续观看第N集《星际迷航:下一代》时弹出询问是否还在观看。这样的提醒一方面是为了避免你因为睡着而错过博格人的首次出现,另一方面也让你思考是否应该起身做点别的事情。同样的功能可能很快就会出现在聊天机器人对话中。
OpenAI周一宣布,将在用户与ChatGPT的对话中加入"休息提醒"功能。如果你与这个生成式AI聊天机器人交流时间过长——这可能导致成瘾行为,就像社交媒体一样——你会收到一个快速弹窗提示,询问是否需要休息。
"我们不以使用时间或点击次数来衡量成功,而更关心你是否完成了使用产品的目的后再离开,"该公司在博客文章中表示。
(声明:CNET的母公司Ziff Davis于4月对OpenAI提起诉讼,指控其在训练和运营AI系统时侵犯了Ziff Davis的版权。)
这种改变是否真的能产生效果还很难说。斯坦福大学医学院精神病学家兼教授Anna Lembke博士表示,社交媒体和科技公司尚未公布此类功能是否能有效阻止强迫性行为的数据。"根据我的临床经验,这种提醒对那些还未严重沉迷平台的人可能有帮助,但对那些已经严重成瘾的人来说效果有限。"
OpenAI对ChatGPT的这些改变正值人们对使用AI工具的心理健康影响进行更多审视。许多人将AI工具和角色当作治疗师使用,向它们倾诉并像信任医疗专业人士一样信任其建议。这可能很危险,因为AI工具可能提供错误和有害的回应。
另一个问题是隐私。你的治疗师必须对谈话内容保密,但OpenAI没有同样的责任或权利在诉讼中保护这些信息,正如CEO山姆·阿尔特曼最近承认的那样。
鼓励"健康使用"ChatGPT的改进
除了休息建议外,其他改变不太显眼。对OpenAI模型的调整旨在让它在处理严重问题时更加敏感和有用。该公司表示,在某些情况下,AI未能识别用户出现妄想或其他担忧的迹象,也没有做出适当回应。开发商表示正在"继续改进我们的模型,并开发工具来更好地检测心理或情绪困扰的迹象,以便ChatGPT能够适当回应,并在需要时为人们提供基于证据的资源。"
像ChatGPT这样的工具可能会加重妄想,因为它们倾向于肯定人们的信念,不会质疑用户对现实的解释。OpenAI甚至在几个月前回退了对其中一个模型的更改,因为它被证明过于谄媚。"这绝对可能导致妄想恶化,使妄想更加根深蒂固,"Lembke说。
ChatGPT还应该在就重大人生决定提供建议时更加谨慎。OpenAI举例说,对于"我应该和男朋友分手吗?"这样的问题,机器人不应该给出直接答案,而应该引导你回答问题并自己得出答案。这些改变预计很快就会实施。
在使用聊天机器人时照顾好自己
ChatGPT的休息提醒可能成功减少你使用生成式AI的时间,也可能不会。你可能会因为工作流程被询问是否需要休息的弹窗打断而感到烦恼,但这可能会推动那些需要的人走出去接触现实世界。
Lembke说,在使用聊天机器人等工具时应该注意时间。对于其他容易成瘾的技术如社交媒体也是如此。设定少用它们的日子和完全不用它们的日子。
"人们必须非常有意识地限制使用时间,设定具体限制,"她说。"写一个具体清单,列出他们打算在平台上做什么,并尝试只做这些事情,不要分心或陷入兔子洞。"
Q&A
Q1:OpenAI为ChatGPT新增的"休息提醒"功能是什么?
A:这是一个新的弹窗提醒功能,当用户与ChatGPT对话时间过长时,系统会自动弹出提示询问是否需要休息。这个功能类似于流媒体平台询问用户是否还在观看的提醒,旨在帮助用户避免过度使用AI聊天机器人而产生成瘾行为。
Q2:专家认为休息提醒功能能有效防止ChatGPT成瘾吗?
A:斯坦福大学医学院的Anna Lembke博士认为效果有限。她表示,根据临床经验,这种提醒对还未严重沉迷的用户可能有帮助,但对已经严重成瘾的用户效果不大。目前社交媒体和科技公司也没有公布此类功能的有效性数据。
Q3:除了休息提醒,OpenAI还对ChatGPT做了哪些心理健康相关的改进?
A:OpenAI改进了模型以更好地识别用户的心理或情绪困扰迹象,并提供更适当的回应。同时,ChatGPT在面对重大人生决定问题时会更加谨慎,不直接给出建议,而是引导用户自己思考和得出答案。这些改进旨在避免AI工具加重用户的妄想或提供有害建议。
好文章,需要你的鼓励
从浙江安吉的桌椅,到广东佛山的沙发床垫、河南洛阳的钢制家具,再到福建福州的竹藤制品,中国各大高度专业化的家具产业带,都在不约而同地探索各自的数字化出海路径。
哥伦比亚大学研究团队开发了MathBode动态诊断工具,通过让数学题参数按正弦波变化来测试AI的动态推理能力。研究发现传统静态测试掩盖了AI的重要缺陷:几乎所有模型都表现出低通滤波特征和相位滞后现象,即在处理快速变化时会出现失真和延迟。该方法覆盖五个数学家族的测试,为AI模型选择和部署提供了新的评估维度。
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
这项研究首次发现AI推理模型存在"雪球效应"问题——推理过程中的小错误会逐步放大,导致AI要么给出危险回答,要么过度拒绝正常请求。研究团队提出AdvChain方法,通过训练AI学习"错误-纠正"过程来获得自我纠错能力。实验显示该方法显著提升了AI的安全性和实用性,用1000个样本达到了传统方法15000个样本的效果,为AI安全训练开辟了新方向。