OpenAI今日宣布计划为ChatGPT配备新的安全功能,使其能够在用户遭遇心理或情感困扰时做出更有帮助的响应。
首次即将推出的更新将专注于GPT-5的路由器组件,这是驱动ChatGPT的人工智能系统。路由器会分析每个用户提示,并自动确定OpenAI的哪个大语言模型最适合处理该请求。用户也可以手动指定应使用的大语言模型。
OpenAI将发布路由器的升级版本,该版本能够检测用户何时遭遇急性困扰,并将提示发送到推理优化的大语言模型。OpenAI员工在博客文章中写道,此类大语言模型比驱动ChatGPT的其他模型提供"更有帮助和有益的响应"。即使用户最初选择了较不先进的算法,路由器也会选择推理优化的大语言模型。
该公司计划"很快"发布升级版路由器。此外,它还将引入家长控制功能,旨在为青少年提供更强的内容保护。后者更新预计在下个月内推出。
家长将能够通过验证邮件将其ChatGPT账户与青少年的账户关联。从那里,家长将获得设置适合年龄的模型行为规则的能力,并禁用某些ChatGPT功能,如聊天历史记录。此外,OpenAI计划生成关于潜在有害提示的警报。
OpenAI解释说,ChatGPT将发送"当系统检测到他们的青少年处于急性困扰时刻的通知"。"专家意见将指导此功能,以支持家长和青少年之间的信任。"
OpenAI计划从由青少年发展、心理健康和人机交互专家组成的委员会获取专家意见。这家AI提供商今天表示,这些专家将帮助其开发ChatGPT家长控制功能的未来升级。
据OpenAI称,该委员会将与第二组专家合作,后者被称为全球医师网络。它包括250多名医疗专业人员,包括精神科医生、儿科医生和全科医生。OpenAI已经与这些医生在多个研究项目上合作。
"他们的意见直接影响我们的安全研究、模型训练和其他干预措施,帮助我们在需要时快速联系合适的专家,"OpenAI员工写道。"我们正在向我们的网络中添加更多临床医生和研究人员,包括那些在饮食失调、物质使用和青少年健康等领域具有深厚专业知识的人。"
今天宣布的举措是OpenAI上个月首次详述的更广泛AI安全推进的一部分。当时,这家大语言模型开发者表示,其研究人员还将使ChatGPT更好地检测长时间聊天会话中心理和情感困扰的迹象。此外,OpenAI将增强其用于阻止潜在有害提示响应的防护措施。
Q&A
Q1:OpenAI为ChatGPT新增的安全功能主要解决什么问题?
A:主要解决用户心理和情感困扰问题。新功能能够检测用户何时遭遇急性困扰,并自动将请求路由到推理优化的大语言模型,提供更有帮助和有益的响应,同时为青少年用户提供更强的内容保护。
Q2:ChatGPT的家长控制功能具体有哪些?
A:家长可以通过验证邮件将账户与青少年账户关联,设置适合年龄的模型行为规则,禁用聊天历史记录等功能,接收潜在有害提示的警报,以及当系统检测到青少年处于急性困扰时刻时收到通知。
Q3:OpenAI如何确保这些安全功能的专业性?
A:OpenAI建立了由青少年发展、心理健康和人机交互专家组成的委员会,以及包含250多名医疗专业人员的全球医师网络,包括精神科医生、儿科医生等,这些专家的意见直接影响安全研究和模型训练。
好文章,需要你的鼓励
近期数据显示,2026年5月前企业已宣布约9万个与AI相关的裁员岗位,部分预测称未来五年美国15%的工作将被AI取代。然而,Ramp与Revelio Labs追踪近2.2万家企业的最新报告显示:重度投入AI的企业反而实现了更快的人员增长,包括初级岗位在内的各职能人数均有上升。但这一数据主要来自技术型企业,能否普遍适用仍存疑。报告同时指出,资源匮乏的企业可能在AI浪潮中持续落后。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
AI数据中心开发商向多家电力公司同时提交大负荷接入申请以确定选址,导致区域需求预测虚高、电网投资失衡。美国联邦能源监管委员会(FERC)及ERCOT、PJM、SPP等机构正推动"承诺优先"规划机制,要求项目具备实质性商业承诺方可纳入长期传输规划。谷歌、亚马逊、微软、OpenAI等科技巨头支持建立标准化的项目成熟度评估体系,但各方在具体机制上仍存分歧。发电建设问题尚未被纳入联邦传输改革议程。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。