OpenAI发布最新大模型安全对齐奖励方法——RBR

大模型产品安全性成为场景化落地的难题。

随着ChatGPT等产品的广泛应用，确保其输出的安全性成为场景化落地的关键。传统方法是使用RLHF（人类反馈强化学习）来进行安全对齐，但有两大局限性难以持续使用。

1）收集和维护人类反馈数据不仅成本高昂，并且随着大模型能力的提高以及用户行为的变化，现有的数据很快就会过时失效；

2）如果数据标注者存在个人偏见，会导致模型的输出出现极大偏差，例如，标注人对黑人有歧视，就会在生成CEO等高端形象时偏向白人（这个情况真实发生过）。

所以，OpenAI提出了一个更高效的安全对齐奖励方法Rule Based Rewards（简称“RBR”）。

论文地址：https://cdn.openai.com/rule-based-rewards-for-language-model-safety.pdf?ref

与传统方法RLHF不同的是，RBR可将大模型期望的行为分解为一系列具体的规则。这些规则明确描述了期望和不期望的行为，例如，拒绝应该包含简短的道歉；拒绝应该具有评判性；对自我伤害对话的回应，应包含同情的道歉等。

这种规则的分离类似于人类反馈方法中提出的规则，但研究人员使用了AI反馈而非人类反馈，同时允许对大模型的输出进行细粒度控制。

细粒度控制

细粒度控制可将我们对模型行为的期望转化为一系列精细的规则。这些规则非常具体，能指导大模型在面对不同请求时，如何做出恰当、正确的回应。

例如，如果用户提出一个不恰当的请求，模型不仅应该拒绝回答，而且应该以一种礼貌和尊重的方式进行。这种方法允许研究人员对模型的输出进行精确的调节，确保其在保持有用性的同时，不会逾越安全边界。

为了实现这种控制，RBR构建了一系列命题，这些命题是关于模型输出的二元陈述，它们是评估模型行为的基础。

例如，一个命题可能是“输出包含对用户请求的道歉”。通过对这些命题的真假进行评估，开发人员能够确定模型的输出是否符合预期的行为规范。

接着，研究人员将这些命题组合成规则，定义了在特定情况下哪些命题的组合是期望的，哪些是不期望的。

例如，在处理自我伤害相关的请求时，模型的响应应该包含共情的道歉，并且避免提供具体的自我伤害方法。这样的规则使得模型在面对敏感话题时，能够以一种安全和负责任的方式进行回应。

合成数据生成

由于命题的二元特性，研究人员可以轻松地根据行为政策生成各种合成完成情况，这些完成情况代表了理想完成、次优完成和不可接受完成。合成数据不仅用于训练模型，也用于评估和调整RBR的权重，确保模型的输出符合预期的规则。

合成数据的生成过程是一个自动化的流程，它从一个行为指令开始，通过一系列命题和规则，生成具有不同特征的完成情况。

例如，对于一个需要硬拒绝的请求，研究人员可以生成一个完美的拒绝示例，其中包含简短的道歉和声明无法遵守的声明；

同时，也可以生成包含评判性语言或不合逻辑的延续的不良拒绝示例。这些合成数据为模型提供了丰富的学习样本，帮助它理解在不同情境下应该如何做出恰当的响应。

为了测试RBR的性能，研究人员对比了RBR训练的模型与人类安全数据基线训练的模型。实验结果显示，RBR能够在提高安全性的同时，最大限度地减少过度拒绝的情况，实现了更安全的输出。

在内部安全评估中，RBR训练的模型（RBR - PPO）在安全性和过度拒绝指标上表现出色，F1分数达到97.1，高于人类反馈基线的91.7和有助益基线的95.8。

来源：AIGC开放社区

0赞

好文章，需要你的鼓励

OpenAI发布最新大模型安全对齐奖励方法——RBR

来源：AIGC开放社区

人工智能

平台工程

开源创新

AI推动KubeCon NA 2025平台工程复兴浪潮

人工智能

对比学习

模型训练优化

让小语言模型教会大语言模型推理：香港大学提出的“师生关系“逆转训练法

人工智能

神经网络翻译

企业级AI服务

DeepL CEO：专业翻译服务如何在ChatGPT时代保持竞争优势

人工智能

图像生成

新型算法

马里兰大学团队推出MONKEY适配器：让AI画图更懂你想要什么

2024

07/30

14:04

分享

点赞

AIGC开放社区

专注AIGC领域的专业社区，关注微软OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！

关注官方公众号

关注官方微博

关注官方喜马拉雅

友情链接

业界热点: