OpenAI 表示,其部署了一套全新的系统,用以监控最新的 AI 推理模型 o3 和 o4-mini ,重点监测与生物及化学威胁相关的输入提示。根据 OpenAI 的安全报告,该系统旨在防止模型提供可能指导他人实施潜在有害攻击的建议。
公司称,o3 和 o4-mini 相较于 OpenAI 之前的模型具有显著的能力提升,因此在不法分子手中可能带来新的风险。根据 OpenAI 的内部基准测试,o3 在回答有关制造特定类型生物威胁的问题上展现出更高技能。正因如此 —— 同时为了降低其他风险 —— OpenAI 创建了这一新的监控系统,公司将其称为 “safety-focused reasoning monitor”。
该监控器经过专门训练以理解 OpenAI 的内容政策,运行在 o3 和 o4-mini 之上。它旨在识别与生物和化学风险相关的输入提示,并指示模型拒绝就这些主题提供建议。
为建立基准,OpenAI 让红队成员花费约 1,000 小时标记 o3 和 o4-mini 中与生物风险相关的“不安全”对话。根据 OpenAI 的说明,在一次模拟安全监控器 “阻断逻辑” 的测试中,这些模型对风险提示拒绝响应的比例达到了 98.7%。
OpenAI 承认,其测试并未考虑到用户在被监控器阻断后可能会尝试新的提示,因此该公司表示将部分依赖人工监控。
据 OpenAI 称,o3 和 o4-mini 在生物风险方面未达到公司定义的 “high risk” 阈值。然而,与 o1 和 GPT-4 相比,OpenAI 表示早期版本的 o3 和 o4-mini 在解答生物武器开发相关问题时表现得更为有帮助。
图表摘自 o3 和 o4-mini 的系统说明卡 ( Screenshot: OpenAI )
根据 OpenAI 最近更新的 Preparedness Framework ,该公司正积极跟踪其模型如何可能使恶意用户更容易开发化学和生物威胁。
OpenAI 越来越依赖自动化系统来降低其模型所带来的风险。例如,为防止 GPT-4o 的原生图像生成器创作儿童性虐待材料 ( CSAM ),OpenAI 表示它采用了类似于为 o3 和 o4-mini 部署的 reasoning monitor。
然而,一些研究人员担心 OpenAI 并未给予安全性足够的重视。该公司的一位红队合作伙伴 Metr 表示,他们用于测试 o3 在欺骗性行为基准测试上的时间相对较少。与此同时,OpenAI 决定不发布其于本周早些时候推出的 GPT-4.1 模型的安全报告。
好文章,需要你的鼓励
这篇研究论文揭示了多模态大语言模型(MLLMs)存在严重的模态偏差问题,即模型过度依赖文本信息而忽视图像等其他模态。研究团队通过理论分析和实验证明,这种偏差主要源于三个因素:数据集不平衡、模态骨干能力不对称以及训练目标设计不当。他们提出了系统的研究路线图和解决方案,包括增强视觉模态在数据集中的贡献、改变模型关注点和应用偏好优化策略。未来研究方向则包括开发更客观的评估指标、探索更多模态组合中的偏差问题以及应用可解释AI技术深入分析偏差机制。
ComfyMind是香港科技大学研究团队开发的一个协作式AI系统,旨在解决当前开源通用生成系统面临的稳定性和规划挑战。该系统基于ComfyUI平台,引入了两项关键创新:语义工作流接口(SWI)和带本地反馈执行的搜索树规划机制。SWI将低级节点图抽象为语义函数,而搜索树规划将生成过程视为分层决策任务。实验表明,ComfyMind在ComfyBench、GenEval和Reason-Edit三个基准测试中均大幅超越开源基线,并达到与GPT-Image-1相当的性能,为开源通用生成AI开辟了新路径。
这项研究介绍了一种名为"热带注意力"的新型注意力机制,专为解决神经网络在组合算法推理中的困境而设计。传统注意力机制使用softmax函数产生平滑的概率分布,无法精确捕捉组合算法所需的锐利决策边界。
这项研究揭示了RAG系统中位置偏见的真实影响——虽然在受控环境中明显存在,但在实际应用中却微不足道。研究人员发现,先进的检索系统不仅会找出相关内容,还会将具有干扰性的段落排在前列,超过60%的查询中至少包含一个高度干扰段落。由于相关和干扰内容同时出现在检索结果前列,位置偏见对两者都有惩罚作用,从而抵消了偏见效应。因此,基于位置偏好的复杂排序策略并不比随机排序更有效,这一发现将优化方向从段落排序重新导向检索质量提升和模型抗干扰能力增强。