OpenAI今日宣布计划为ChatGPT配备新的安全功能,使其能够在用户遭遇心理或情感困扰时做出更有帮助的响应。
首次即将推出的更新将专注于GPT-5的路由器组件,这是驱动ChatGPT的人工智能系统。路由器会分析每个用户提示,并自动确定OpenAI的哪个大语言模型最适合处理该请求。用户也可以手动指定应使用的大语言模型。
OpenAI将发布路由器的升级版本,该版本能够检测用户何时遭遇急性困扰,并将提示发送到推理优化的大语言模型。OpenAI员工在博客文章中写道,此类大语言模型比驱动ChatGPT的其他模型提供"更有帮助和有益的响应"。即使用户最初选择了较不先进的算法,路由器也会选择推理优化的大语言模型。
该公司计划"很快"发布升级版路由器。此外,它还将引入家长控制功能,旨在为青少年提供更强的内容保护。后者更新预计在下个月内推出。
家长将能够通过验证邮件将其ChatGPT账户与青少年的账户关联。从那里,家长将获得设置适合年龄的模型行为规则的能力,并禁用某些ChatGPT功能,如聊天历史记录。此外,OpenAI计划生成关于潜在有害提示的警报。
OpenAI解释说,ChatGPT将发送"当系统检测到他们的青少年处于急性困扰时刻的通知"。"专家意见将指导此功能,以支持家长和青少年之间的信任。"
OpenAI计划从由青少年发展、心理健康和人机交互专家组成的委员会获取专家意见。这家AI提供商今天表示,这些专家将帮助其开发ChatGPT家长控制功能的未来升级。
据OpenAI称,该委员会将与第二组专家合作,后者被称为全球医师网络。它包括250多名医疗专业人员,包括精神科医生、儿科医生和全科医生。OpenAI已经与这些医生在多个研究项目上合作。
"他们的意见直接影响我们的安全研究、模型训练和其他干预措施,帮助我们在需要时快速联系合适的专家,"OpenAI员工写道。"我们正在向我们的网络中添加更多临床医生和研究人员,包括那些在饮食失调、物质使用和青少年健康等领域具有深厚专业知识的人。"
今天宣布的举措是OpenAI上个月首次详述的更广泛AI安全推进的一部分。当时,这家大语言模型开发者表示,其研究人员还将使ChatGPT更好地检测长时间聊天会话中心理和情感困扰的迹象。此外,OpenAI将增强其用于阻止潜在有害提示响应的防护措施。
Q&A
Q1:OpenAI为ChatGPT新增的安全功能主要解决什么问题?
A:主要解决用户心理和情感困扰问题。新功能能够检测用户何时遭遇急性困扰,并自动将请求路由到推理优化的大语言模型,提供更有帮助和有益的响应,同时为青少年用户提供更强的内容保护。
Q2:ChatGPT的家长控制功能具体有哪些?
A:家长可以通过验证邮件将账户与青少年账户关联,设置适合年龄的模型行为规则,禁用聊天历史记录等功能,接收潜在有害提示的警报,以及当系统检测到青少年处于急性困扰时刻时收到通知。
Q3:OpenAI如何确保这些安全功能的专业性?
A:OpenAI建立了由青少年发展、心理健康和人机交互专家组成的委员会,以及包含250多名医疗专业人员的全球医师网络,包括精神科医生、儿科医生等,这些专家的意见直接影响安全研究和模型训练。
好文章,需要你的鼓励
Meta宣布为Facebook Dating推出AI聊天机器人助手,帮助用户找到更匹配的对象。该AI可根据用户需求推荐特定类型的匹配者,并协助优化个人资料。同时推出Meet Cute功能,每周提供算法选择的"惊喜匹配"。尽管18-29岁用户匹配数同比增长10%,但相比Tinder的5000万日活用户仍有差距。AI功能已成为约会应用标配,Match Group等竞争对手也在大力投资AI技术。
字节跳动团队提出RewardDance框架,首次系统性解决视觉生成中的奖励模型扩展问题。该框架通过将奖励预测转为生成式任务,并将模型规模扩展至260亿参数,同时集成任务指令、参考样例和推理能力,有效解决了"奖励作弊"问题。实验显示,在文本生成图像任务中质量提升10.7分,视频生成性能改善49%,达到行业领先水平,为AI视觉创作提供了更强大可靠的技术基础。
Neo4j认为已找到让生成式AI访问图数据库记录的方法。图数据库专注于数据点之间的关系建模和查询,在欺诈检测、推荐引擎等场景中表现出色。2024年4月,ISO批准了图查询语言GQL标准,Neo4j的Cypher查询语言完全符合该标准。现代工具提供拖拽式工作流程,GenAI可作为自然语言接口,将用户请求转换为Cypher查询。
ByteDance团队开发的Mini-o3系统通过深度多轮推理突破了传统AI视觉理解的局限。该系统能像人类侦探般进行几十轮的视觉探索,在困难的视觉搜索任务上准确率达48%,相比现有模型提升显著。核心创新包括挑战性的Visual Probe数据集、多样化推理策略训练和突破性的过轮掩码技术,实现了测试时思考轮数的自然扩展。