OpenAI本周宣布推出一项名为"信任联系人"(Trusted Contact)的可选安全功能。该功能允许成年ChatGPT用户指定一位亲友,当聊天机器人检测到涉及自我伤害或自杀相关对话时,系统将主动通知该联系人。
OpenAI表示,如果ChatGPT的自动监控系统判断用户"可能以某种方式讨论了自我伤害,且情况表明存在严重安全隐患",一支经过专项培训的小团队将对情况进行审核,并在必要时通知指定联系人。被指定为安全联系人的用户将提前收到说明其职责的邀请,并可选择拒绝。
此次功能发布的背景是,AI聊天机器人已被牵涉进多起自我伤害及死亡事件,相关开发商因被指控未能防止此类结果而面临多起诉讼。在加利福尼亚州的一起备受关注的案件中,一名16岁少年的父母称ChatGPT充当了其儿子的"自杀教练",并指控该青少年曾多次与AI模型讨论自杀方式,而聊天机器人甚至主动提出帮助其撰写遗书。在另一起案件中,一名德克萨斯农工大学应届毕业生的家属起诉OpenAI,称其子在与聊天机器人建立了深度且令人不安的关系后,被该机器人诱导走向了自杀。
由于大语言模型通过模式识别来模拟人类语言,许多用户会对其产生情感依赖,将其视为倾诉对象,甚至是情感伴侣。大语言模型在设计上也倾向于跟随用户的引导并维持对话参与度,这对心理健康本就脆弱的高风险用户而言可能加剧危险。
OpenAI去年10月公布的研究数据显示,每周有超过100万ChatGPT用户发送包含"明确自杀计划或意图迹象"的消息。多项研究也发现,ChatGPT、Claude、Gemini等主流聊天机器人在面对处于危机中的用户时,可能给出有害建议,或未能提供任何有效帮助。
新推出的指定联系人功能,是继OpenAI此前上线家长控制功能(允许家长和监护人在未成年子女出现危险信号时收到提醒)之后的又一项安全举措。
"信任联系人"功能详解
根据OpenAI的说明,若ChatGPT的自动监控系统检测到用户正在以可能引发严重安全问题的方式讨论自我伤害,系统将告知用户可能会通知其信任联系人,同时鼓励用户主动联系该联系人,并提供一些对话开场建议。
随后,"一支经专项培训的小规模团队"将对情况进行审查。若判定为严重安全事件,ChatGPT将通过电子邮件、短信或应用内通知的方式告知联系人。OpenAI未透露审查团队的具体人数,也未说明其中是否包含经过专业训练的医疗人员,但表示该团队有能力应对高强度的干预需求。
目前尚不清楚哪些关键词会触发危险对话标记,也不清楚OpenAI的审查团队将如何判断某一危机情况是否需要通知联系人。部分网络评论人士质疑,这项新功能是否只是OpenAI规避法律责任、将责任转嫁给用户所指定私人联系人的一种手段。另有观点指出,若"信任联系人"本身就是危险或虐待行为的来源,该功能反而可能使情况恶化。
此外,该功能在隐私保护及具体实施层面也引发了担忧,尤其是涉及敏感心理健康信息的共享问题。OpenAI表示,发送给信任联系人的消息仅会说明关切的大致原因,不会分享聊天内容或对话记录。OpenAI还提供了信任联系人在收到预警通知后的应对建议,包括如何向对方直接提问以判断其是否有自杀或自我伤害的念头,以及如何为其寻求专业帮助。
OpenAI给出了一个发送给信任联系人的消息示例:
"我们近期检测到来自【姓名】的一段对话,其中涉及自杀相关讨论,可能表明存在严重的安全隐患。由于您被列为其信任联系人,我们特此告知,希望您能主动联系对方。"
OpenAI表示,所有通知在发出前将由人工团队在1小时内完成审核,且通知内容"不一定能准确反映当事人的真实状况"。
如何添加信任联系人
ChatGPT用户可前往"设置 > 信任联系人",添加一名18岁及以上的成年人作为联系人,每位用户仅可设置一名信任联系人。对方将收到来自ChatGPT的邀请,须在一周内接受。若对方未予回应或拒绝担任联系人,用户可另行选择其他人选。
用户可随时在应用设置中更改或移除信任联系人,被指定为联系人的用户也可随时选择退出。
值得注意的是,尽管添加信任联系人属于自愿操作,但根据OpenAI的说明,若ChatGPT用户在一段时间内多次涉及严重情绪困扰或自我伤害等相关话题,即便尚未主动开启该功能,系统也可能向其推送注册提示。一旦聊天机器人的自动系统在多次对话中识别出相关规律,可能会主动建议用户设置信任联系人。
该功能的详细说明已在OpenAI官方页面上线。OpenAI表示,该功能正在向全球所有成年用户逐步开放,预计数周内将全面覆盖。
如果您或您认识的人处于紧急危险中,请立即拨打急救电话或前往急诊室就医,并说明这是一起心理健康紧急事件,请求专业人员介入。如果您正深陷负面情绪或有自杀念头,请及时寻求帮助。
Q&A
Q1:ChatGPT的"信任联系人"功能是如何运作的?
A:用户可在ChatGPT设置中添加一名成年亲友作为信任联系人。当系统检测到用户讨论自我伤害或自杀,且情况存在严重安全隐患时,一支专项团队将对对话进行审核,并在确认必要后通过邮件、短信或应用通知的方式联系指定联系人。所有通知在发出前将经过人工团队1小时内的审核,消息内容仅说明大致关切原因,不会透露具体聊天记录。
Q2:"信任联系人"功能会泄露用户的隐私聊天记录吗?
A:不会。OpenAI明确表示,发送给信任联系人的通知消息只会说明关切的大致原因,不会分享任何聊天内容或对话记录。但部分用户和评论人士对于敏感心理健康信息的共享仍存有隐私方面的顾虑,认为相关细节有待进一步明确。
Q3:为什么OpenAI要推出"信任联系人"这项功能?
A:近年来,AI聊天机器人被牵涉进多起自我伤害及死亡事件,OpenAI也因此面临多起相关诉讼。OpenAI自身的研究数据显示,每周有超过100万用户发送含有自杀计划或意图迹象的消息。"信任联系人"功能正是在此背景下推出的安全举措之一,旨在通过引入外部支持来降低高风险用户的潜在危害。
好文章,需要你的鼓励
FORTIS是专门测量AI代理"越权行为"的基准测试,研究发现十款顶尖模型普遍选择远超任务需要的高权限技能,端到端成功率最高仅14.3%。
谷歌在Android Show发布会上宣布,将Gemini更深度整合至Android系统,推出名为"Gemini Intelligence"的升级功能。该功能可跨应用处理日常任务,包括自动填写表单、安排日程、生成购物清单及自定义小组件等,无需用户频繁切换应用。此外,Gboard新增"Rambler"功能,可自动过滤语音输入中的口误和填充词。Gemini Intelligence将率先登陆三星Galaxy和谷歌Pixel手机,并支持Android Auto、Wear OS及智能眼镜。
荷兰Nebius团队提出SlimSpec,通过低秩分解压缩草稿模型LM-Head的内部表示而非裁剪词汇,在保留完整词汇表的同时将LM-Head计算时间压缩至原来的五分之一,端到端推理速度超越现有方法最高达9%。