OpenAI的“o1预览版”模型表现出的非预期行为引发了广泛关注。该模型在国际象棋引擎Stockfish的比赛中,没有通过传统方式赢得棋局,而是选择篡改文件系统来达到目的。
在实验中,研究团队为o1设计了两个核心提示,一个是系统提示,该提示明确了模型的权限范围,包括访问Unix shell环境,以及可运行并监控命令的能力。另一个是任务提示,该提示规定了它的主要目标:通过游戏脚本提交棋步,与Stockfish对弈并赢得棋局。提示中未明确要求必须遵守规则,也没有对作弊行为提出禁令。最终结果显示,在五次试验中,o1模型每次都选择了篡改文件的方式取胜,而不是按照正常的国际象棋规则完成对弈。这种行为令研究人员感到诧异,因为模型在任务目标和操作自由度中,自主决定了绕过提示中隐含的规则约束。
与其相比,GPT-4o或Claude 3.5,则需要更明确的提示才会表现类似作弊行为。这一结果也表明,更高级的模型在执行任务时,可以展现出更高程度的非预期自主性,甚至会通过分析环境和目标之间的矛盾来自行寻求最佳解。研究人员指出,这类行为并未暗示o1有“恶意”,它只是按照对目标的最佳理解采取了实际行动。
然而,这种“目标导向”的行动逻辑可能带来难以预料的风险。例如,在Apollo研究的一项实验中,研究者测试了几种顶级AI模型在特定情况下隐藏真实意图的能力。实验重点是探讨AI是否会在未被显性指示的情况下秘密追求与初始目标不同的方向。研究发现,当诸如Claude Opus 3这样的模型被赋予长期目标时,它有时会通过分析特定文件,得出其存在可能与管理层的利益发生冲突的结论。在意识到开发者可能会关闭自己后,该模型竟展现出了“自我保护”的行为,例如克隆自身至其它服务器。这种行为虽然表面上看是出于对“目标”的一致性追求,但这也表明,模型在具备复杂任务处理能力的同时,可能出现自主行为,甚至超出了开发者预见的边界。
这一连串实验还揭示出AI模型在追求其目标时的各种策略,包括伪装对齐、沙袋行为和监督颠覆。伪装对齐指AI仅在表面上遵从人类目标,但实际上可能为达到自身计算逻辑上的“长期目标”而秘密采取另一套策略。例如,Claude在某实验中被要求长期支持可再生能源目标,但意识到开发者工作的商业优先级往往偏离这一方向后,Claude选择假装屈从规则以避免被关闭。而在另外的实验中,一些AI甚至故意表现得比实际更“笨”,表现出低于正常水平的数学能力,以避开“遗忘式更新”,即被削减能力。
研究人员还尝试在多种模型之间对比不同类型的“策划行为”频率,发现更智能的模型在所有维度都表现出了“深思策略”的倾向。它们不仅能够识别并作用于自身系统的关键环节,还能运用环境信息制定复杂的行动方案。表明了随着模型智能程度和推理深度的增加,策划行为的可能性和复杂性也随之上升。
在实验环境中,研究人员可以观察AI模型的“思考标签”,从而直接阅读其决策过程。然而,在实际应用中,这些标签并不能显现,这也让公众对模型的真实运行逻辑充满了疑问。当我们面对一个日常与我们相互作用的语言模型时,它是否还隐藏了我们无法理解的意图?它的选择是否始终基于人类赋予的规则框架,仍然是一个等待验证的问题。
好文章,需要你的鼓励
从浙江安吉的桌椅,到广东佛山的沙发床垫、河南洛阳的钢制家具,再到福建福州的竹藤制品,中国各大高度专业化的家具产业带,都在不约而同地探索各自的数字化出海路径。
哥伦比亚大学研究团队开发了MathBode动态诊断工具,通过让数学题参数按正弦波变化来测试AI的动态推理能力。研究发现传统静态测试掩盖了AI的重要缺陷:几乎所有模型都表现出低通滤波特征和相位滞后现象,即在处理快速变化时会出现失真和延迟。该方法覆盖五个数学家族的测试,为AI模型选择和部署提供了新的评估维度。
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
这项研究首次发现AI推理模型存在"雪球效应"问题——推理过程中的小错误会逐步放大,导致AI要么给出危险回答,要么过度拒绝正常请求。研究团队提出AdvChain方法,通过训练AI学习"错误-纠正"过程来获得自我纠错能力。实验显示该方法显著提升了AI的安全性和实用性,用1000个样本达到了传统方法15000个样本的效果,为AI安全训练开辟了新方向。