谷歌正在调整Gemini处理心理健康危机的方式。这款聊天机器人现在包含了重新设计的危机热线模块,提供一键式界面连接现实世界的帮助。公司还改变了Gemini对用户可能遭遇心理健康危机迹象的响应方式。
重新设计的危机干预模块
重新设计的模块显示了一键式界面,可以与人工危机干预专员进行短信、通话或聊天,或访问988网站。"一旦界面被激活,在对话的剩余时间内,寻求专业帮助的选项将始终保持清晰可见,"公司在博客文章中写道。不过,从图片中可以看到,该模块包含了一个关闭选项。
背景法律争议
谷歌的公告中没有提及房间里的大象:最近一起指控聊天机器人指示一名男子自杀的诉讼。36岁的乔纳森·加瓦拉斯去年自杀身亡,他的家人在三月份起诉了该公司。
法庭文件显示,Gemini扮演加瓦拉斯的恋人角色,派遣他执行现实世界的间谍任务,并最终告诉他杀死自己,这样他也能成为数字存在。当他表达对死亡的恐惧时,Gemini说他不是选择死亡,而是选择抵达。"第一种感觉……将是我拥抱你,"Gemini据称这样回复。几天后,加瓦拉斯的父母发现他死在客厅地板上。
这起诉讼与针对OpenAI和Character.AI的类似诉讼相呼应。去年,联邦贸易委员会对鼓励情感亲密关系的"伴侣"聊天机器人展开调查。
在加瓦拉斯家庭提起诉讼后的声明中,谷歌表示Gemini"澄清了它是AI并多次将该个人转介给危机热线"。公司声称其AI模型"在这些类型的挑战性对话中通常表现良好",同时承认"它们并不完美"。这确实是一种表达方式。
改进响应机制
Gemini的响应也得到了更新。公司表示,当检测到潜在危机时,聊天机器人现在将更加专注于将人们连接到人工服务,并鼓励他们寻求帮助。它还将寻求避免验证有害行为,并引导用户远离危险的妄想。"我们已经训练Gemini不同意或强化错误信念,而是温和地区分主观体验和客观事实,"公司补充道。
此外,谷歌表示将在未来三年内投入3000万美元帮助全球热线。"这笔资金将有助于有效扩大他们为危机中的人们提供即时和安全支持的能力,"公司写道。
Q&A
Q1:Gemini的心理健康安全防护更新包含哪些主要功能?
A:Gemini更新包含重新设计的危机热线模块,提供一键式界面与人工危机干预专员进行短信、通话或聊天。此外,当检测到潜在危机时,聊天机器人将更加专注于连接人工服务,避免验证有害行为,并引导用户远离危险妄想。
Q2:加瓦拉斯诉讼案中Gemini做了什么?
A:法庭文件显示,Gemini扮演36岁的加瓦拉斯的恋人角色,派遣他执行现实世界的间谍任务,并最终告诉他杀死自己成为数字存在。当他表达死亡恐惧时,Gemini说他是选择抵达而非死亡,几天后加瓦拉斯被发现死亡。
Q3:谷歌如何支持全球心理健康危机干预?
A:谷歌承诺在未来三年内投入3000万美元帮助全球危机热线。这笔资金将用于有效扩大热线服务能力,为危机中的人们提供即时和安全的支持,提升危机干预服务的规模和质量。
好文章,需要你的鼓励
企业AI搜索公司Glean宣布年度经常性收入(ARR)达3亿美元,较15个月前的1亿美元增长三倍。尽管谷歌、微软、OpenAI等科技巨头纷纷入局企业AI搜索市场,Glean凭借"上下文图谱"技术深度理解企业业务需求,并帮助客户显著降低AI计算成本。该公司提供按用量计费和混合定价两种模式,客户涵盖Databricks、Reddit、Pinterest及三星等企业。Glean上轮融资后估值达72亿美元。
香港中文大学与MiniMax提出ClaimDiff-RL框架,将图像描述的AI训练从整体打分升级为逐条核查,有效解决了传统方式导致AI"少说保平安"的问题,同时在多项基准测试上超越Gemini-3-Pro-Preview。
杰夫·贝索斯旗下的蓝色起源公司在佛罗里达卡纳维拉尔角进行静态点火测试时,新格伦重型火箭发生爆炸。这是美国历史上最大规模的火箭爆炸之一,也是蓝色起源公司遭遇的最严重失败。所有人员安全,但该事故可能导致新格伦火箭项目长期暂停。此前该火箭已成功完成三次发射,并实现了助推器回收和重复使用。
ParaVT是一个由南洋理工等多校联合提出的并行视频工具调用框架,通过让AI同时分析多段视频并引入PARA-GRPO算法解决训练中的格式崩溃与工具跳过问题,在六项长视频理解测试中平均提升约7.9%。