OpenAI周二宣布发布一套提示词工具,帮助开发者构建对青少年更安全的应用程序。该AI实验室表示,这套青少年安全策略可与其开源安全模型gpt-oss-safeguard配合使用。
开发者无需从零开始思考如何让AI对青少年更安全,可以直接使用这些提示词来增强其构建的应用。这些提示词涵盖了图形暴力和性内容、有害身体理想和行为、危险活动和挑战、浪漫或暴力角色扮演以及年龄限制商品和服务等问题。
这些安全策略以提示词形式设计,使其能够轻松兼容除gpt-oss-safeguard之外的其他模型,尽管在OpenAI自身生态系统中可能最为有效。
在编写这些提示词时,OpenAI与AI安全监督机构Common Sense Media和everyone.ai合作。
Common Sense Media的AI与数字评估负责人Robbie Torney在声明中表示:"这些基于提示词的策略有助于为整个生态系统建立有意义的安全底线,由于它们以开源形式发布,可以随时间推移进行调整和改进。"
OpenAI在其博客中指出,包括经验丰富的团队在内的开发者,经常难以将安全目标转化为精确的操作规则。
公司写道:"这可能导致保护漏洞、执行不一致或过度宽泛的过滤。明确、范围清晰的策略是有效安全系统的关键基础。"
OpenAI承认这些策略并非AI安全复杂挑战的完整解决方案。但它建立在此前的努力基础上,包括产品级安全保障措施,如家长控制和年龄预测功能。去年,OpenAI更新了其大语言模型的指导原则,即Model Spec,以解决AI模型应如何与18岁以下用户互动的问题。
然而,OpenAI本身的记录并非完全清白。该公司正面临多起诉讼,涉及在极端使用ChatGPT后自杀身亡的用户家属。这些危险关系往往在用户绕过聊天机器人的安全保障后形成,而没有任何模型的防护措施是完全不可突破的。尽管如此,这些策略至少是向前迈进的一步,特别是因为它能帮助独立开发者。
Q&A
Q1:gpt-oss-safeguard是什么?它有什么作用?
A:gpt-oss-safeguard是OpenAI的开源安全模型,可以与新发布的青少年安全策略提示词配合使用,帮助开发者构建对青少年更安全的AI应用程序。
Q2:这些安全策略涵盖哪些问题?
A:这些安全策略主要解决图形暴力和性内容、有害身体理想和行为、危险活动和挑战、浪漫或暴力角色扮演以及年龄限制商品和服务等青少年安全相关问题。
Q3:开发者为什么需要这些安全提示词?
A:因为开发者,包括经验丰富的团队,经常难以将安全目标转化为精确的操作规则,这可能导致保护漏洞、执行不一致或过度宽泛的过滤问题。
好文章,需要你的鼓励
企业AI搜索公司Glean宣布年度经常性收入(ARR)达3亿美元,较15个月前的1亿美元增长三倍。尽管谷歌、微软、OpenAI等科技巨头纷纷入局企业AI搜索市场,Glean凭借"上下文图谱"技术深度理解企业业务需求,并帮助客户显著降低AI计算成本。该公司提供按用量计费和混合定价两种模式,客户涵盖Databricks、Reddit、Pinterest及三星等企业。Glean上轮融资后估值达72亿美元。
香港中文大学与MiniMax提出ClaimDiff-RL框架,将图像描述的AI训练从整体打分升级为逐条核查,有效解决了传统方式导致AI"少说保平安"的问题,同时在多项基准测试上超越Gemini-3-Pro-Preview。
杰夫·贝索斯旗下的蓝色起源公司在佛罗里达卡纳维拉尔角进行静态点火测试时,新格伦重型火箭发生爆炸。这是美国历史上最大规模的火箭爆炸之一,也是蓝色起源公司遭遇的最严重失败。所有人员安全,但该事故可能导致新格伦火箭项目长期暂停。此前该火箭已成功完成三次发射,并实现了助推器回收和重复使用。
ParaVT是一个由南洋理工等多校联合提出的并行视频工具调用框架,通过让AI同时分析多段视频并引入PARA-GRPO算法解决训练中的格式崩溃与工具跳过问题,在六项长视频理解测试中平均提升约7.9%。