定义

RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）是一种模型训练方法：先收集人们对模型不同回答的偏好判断，用这些判断训练出一个能给回答“打分”的奖励模型，再用强化学习让大模型朝着高分方向优化。

它要解决的问题是：“好回答”很难用简单规则定义。一个回答是否有帮助、是否诚实、语气是否得当、是否存在风险，人一看就能比较出高下，却很难写成明确的损失函数。RLHF 把人的判断转化为可以优化的训练信号，是让大模型从“会续写”走向“好用、可靠”的关键步骤之一。

工作原理

经典的 RLHF 流程通常分为三步：

第一步：监督微调（SFT）。 由人工撰写一批高质量的“指令—回答”示例，对预训练模型进行微调，让它初步学会按指令作答。这个模型是后续优化的起点。

第二步：训练奖励模型。 针对同一个问题，让模型生成多个不同回答，请标注人员对它们进行排序或两两比较，选出更好的一个。用这些比较数据训练一个奖励模型，使它能够对任意“问题—回答”给出一个分数，分数高低反映人类偏好。

第三步：强化学习优化。 让模型针对大量问题生成回答，由奖励模型打分，再用强化学习算法（常见的是 PPO，近端策略优化）更新模型参数，使其更倾向于生成高分回答。为了防止模型为了“刷分”而偏离正常语言、钻奖励模型的漏洞，训练时通常会加入一个约束，限制它与初始模型的差异不要过大。

RLHF 也有局限：

  • 成本高：需要大量人工标注，强化学习训练过程也较复杂、不够稳定。
  • 奖励投机：模型可能学会迎合奖励模型的偏差，而不是真正变好，比如回答变得冗长或过于讨好。
  • 偏好本身有偏差：标注者的观点和标准不一定一致，也可能带入偏见。

因此研究者提出了多种替代或改进方案。例如 DPO（直接偏好优化）跳过单独训练奖励模型和强化学习环节，直接用偏好数据优化模型，流程更简单；也有方法用 AI 模型代替部分人工反馈（常称为 RLAIF），或依据一组书面原则让模型自我评判和修正。

典型应用

  • 让对话模型的回答更贴合用户意图、更有条理
  • 减少有害、冒犯或危险内容的输出
  • 让模型在不确定时更倾向于坦诚说明，而不是编造
  • 调整回答风格，如简洁程度、礼貌程度
  • 在代码、数学等任务中，结合可验证的结果信号进行优化

相关概念

  • 微调：RLHF 的第一步就是监督微调。
  • 大语言模型：RLHF 最主要的应用对象。
  • 模型对齐：让 AI 的行为符合人类意图和价值观的研究方向，RLHF 是其中的代表方法。
  • 幻觉：RLHF 可以在一定程度上减少，但无法根除。

参考论文：Training language models to follow instructions with human feedback、Direct Preference Optimization