RLHF vs DPO vs GRPO：对齐技术路线对比精读 —— 数据成本与效果边界 未开始

题记与说明

- 精读日期：2026-10-29
- 精读方式：主题研究。先用网络检索筛选互补来源（两条检索词路径：方法对比综述向、原论文向），再逐一精读（三篇学术论文读 arXiv 摘要页 + HTML/ar5iv 全文提取，两篇工程博客读全文）
- 主题判断：确认是"研究主题"——RLHF(PPO)、DPO、GRPO 是三条独立演化的对齐技术路线，没有单篇文献同时覆盖三者的一手证据，必须靠多来源拼图
- 选题聚焦：主题明确要求关注各自的数据成本（要什么数据、多少、多贵）与效果边界（在哪类任务上有效、在哪类任务上失效、为什么）

0. 精读来源清单（检索筛选结果）

检索中还见过但未精读（仅出现在搜索摘要，本笔记不引用其数字细节，只作背景）：Mercor《DPO vs RLHF》、sundeepteki.org 后训练指南（其中称高质量人类偏好比较数据约 $1–$5/条，未核实）、TheoremPath 对比页、Reddit r/LocalLLaMA 上"仔细调参后 PPO/GRPO/DPO 排名会反转"的实践者帖子、DeepSeek-R1 (arXiv:2501.12948)（GRPO 在推理模型上的规模化应用，本笔记只作背景提及）。

1. 核心问题

整个主题回答一个根本问题：把 LLM 对齐到人类偏好或可验证目标上，应该付出什么代价、能换来什么上限？ 三条路线是同一问题的三种权衡方案：

1. RLHF（PPO 路线）：先训练奖励模型（RM），再用 PPO 在线强化学习最大化奖励，同时用 KL 惩罚贴住参考模型。InstructGPT/ChatGPT 走的就是这条路。Daily Dose of DS 称其为 "the simplest formulation, which also went into building ChatGPT"。代价最贵：需要人类偏好标注数据训练 RM，训练时要有 4 个模型同时驻留显存。
2. DPO（离线直接优化路线）：绕过 RM 和 RL 闭环，把"策略本身当作隐式奖励模型"，直接在静态偏好对数据上用分类损失微调。动机是 RLHF 管线的复杂与不稳定——DPO 论文摘要称 RLHF 是 "a complex and often unstable procedure, first fitting a reward model"。
3. GRPO（去评论家的在线 RL 路线）：DeepSeekMath 提出，是 PPO 变体——去掉价值网络（critic），改为对每个问题采样一组输出、用组内奖励的均值/标准差归一化作为基线。摘要是其定位："enhances mathematical reasoning abilities while concurrently optimizing the memory usage of PPO"（提升数学推理的同时优化 PPO 的显存占用）。

主题聚焦的两个子问题由此展开：

• 数据成本：RLHF 要"提示词 + 人类偏好标注训练出的 RM"；DPO 要"现成的偏好对（chosen/rejected）"；GRPO 要"提示词 + 能打分的验证器/RM"。标注成本、数据量、能否复用公开数据集，三条路线差异巨大。
• 效果边界：DPO 被证明有 OOD（分布外）利用的理论缺陷，在难的代码任务上可跌到 0%；PPO 调好后上限最高但工程最贵；GRPO 强在可验证奖励域（数学/代码），但 RL 带来的是"排序前移"还是"新增能力"需要仔细定义。

2. 主要主张（按路线）

2.1 DPO 的主张：对齐不需要 RM 和 RL，简单分类损失就够了

DPO 论文核心推导：从 KL 约束的 RLHF 目标出发，最优策略有闭式解 π_r(y|x) ∝ π_ref(y|x)·exp(r(x,y)/β)；反解出 r(x,y) = β·log[π_r(y|x)/π_ref(y|x)] + β·log Z(x)。因为 Bradley-Terry 偏好模型只依赖奖励差值，配分函数 Z(x) 在代入时相消，于是得到直接定义在策略上的损失：

L_DPO(π_θ; π_ref) = −E_{(x,y_w,y_l)~D}[log σ(β log π_θ(y_w|x)/π_ref(y_w|x) − β log π_θ(y_l|x)/π_ref(y_l|x))]

• 论文声称："DPO can fine-tune LMs to align with human preferences as well as or better than existing methods"，且 "fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue"（摘要）。
• 关键性质："the policy network represents both the language model and the (implicit) reward"——策略网络同时是语言模型和隐式奖励模型。
• 成本主张：DPO 是 "stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning"（摘要），且 "with almost no tuning of hyperparameters, DPO tends to perform as well or better than strong baselines like RLHF with PPO"。

2.2 RLHF/PPO 的主张：上限最高，但前提是"调对"

ICML 2024 对比研究（arXiv:2404.10719）是反 DPO 的最有力证据，核心结论（逐字）：

"Experiment results demonstrate that PPO is able to surpass other alignment methods in all cases and achieve state-of-the-art results in challenging code competitions."

• 理论层面，论文证明 Theorem 4.1: "Π_PPO is a proper subset of Π_DPO"——任何 PPO 的解都是 DPO 损失的解，但反过来不成立：DPO 可以额外收敛到"利用分布外响应（exploit out-of-distribution responses）"的解。根源是 "the narrow distribution coverage of the preference dataset"（偏好数据集分布覆盖窄）导致 OOD 样本上的奖励错误设定（reward misspecification）。
• PPO 上限不是白来的，论文消融出三大关键实现因素（CodeContest pass@1k：基线 7.7% → 加优势归一化 15.4% → 加大 batch 19.6% → 加参考模型 EMA 21.4%）：
  1. "Advantage normalization stabilizes PPO training."
  2. "The most significant benefit is brought by using a large batch size"（默认全局 batch 512；batch 64 会使 APPS introductory 成绩跌到 33.7%）。
  3. 参考模型 EMA 更新——否则 "the learned model may be strongly regularized to be close to the SFT model"。
• Lyceum 从生产视角补充：RLHF/PPO 奖励在线探索，"DeepSeek reports emergent self-reflection and verification from pure RL"（DeepSeek 报告纯 RL 出现涌现的自我反思与验证行为）——这是离线 DPO 原理上做不到的。

2.3 GRPO 的主张：保留在线 RL 的探索，砍掉最贵的 critic

DeepSeekMath 的论证链条（原文引述）：

"for each question q, GRPO samples a group of outputs {o1, o2, ⋯, oG} from the old policy πθold"

"GRPO foregoes the critic model, instead estimating the baseline from group scores, significantly reducing training resources."

• 为什么砍 critic：PPO 的价值函数 "is typically another model of comparable size as the policy model, it brings a substantial memory and computational burden"；且 RM 只给最后一个 token 打分，要训练一个逐 token 准确的价值函数本身就很困难。
• 组归一化优势：结果监督下 "A_i = (r_i − mean(r)) / std(r)"，即 "these rewards are normalized by subtracting the group average and dividing by the group standard deviation"；输出 i 内每个 token 共享同一优势。KL 惩罚被移进损失（而非加进奖励）以简化优势计算。
• Daily Dose of DS 的一句话总结（很精辟）："RLHF uses external scores and an internal critic to measure advantage. DPO encodes preference implicitly and skips both. GRPO generates its own baseline from a group and keeps the RL loop without the critic."（RLHF 用外部打分 + 内部 critic 算优势；DPO 隐式编码偏好、两者都不要；GRPO 用组统计自己造基线、保住 RL 循环但没有 critic。）

3. 方法（机制与工程形态对照）

Lyceum 给出的显存量化（这是三条路线算力差距的硬数字）：

• 冻结模型（BF16/FP16 推理）：2 字节/参数 → 70B 模型 140 GB（1.0×）
• 可训练模型：QLoRA/BF16-direct 12 B/param（70B → 840 GB，6.0×）、ZeRO 混合精度 AdamW 16 B/param（1,120 GB，8.0×）、HF 混合精度 18 B/param（1,260 GB，9.0×）
• PPO 的 4 个模型里有 2 个是可训练的（actor + critic）且 critic 带完整优化器状态，因此 4 模型驻留会迫使 "model sharding, tensor parallelism, and pipeline parallelism across multiple nodes"（跨节点切分 + 张量/流水线并行）。
• DPO 还有省法："reference log-prob caching can cut it to one model"——缓存参考模型 log 概率后可进一步降到 1 个模型。

4. 数据与证据

4.1 数据成本三路线对照

备注：检索摘要提到"高质量人类偏好比较数据约 $1–$5/条"（sundeepteki.org），未精读核实，仅作量级参考。

4.2 DPO 一手证据（arXiv:2305.18290，模型规模 ≤6B）

• IMDb 情感控制：22 组超参运行（PPO 目标 KL ∈ {3,6,9,12}；DPO β ∈ {0.05,0.1,1,5}）画奖励-KL 前沿，"DPO produces by far the most efficient frontier"，甚至优于拿到真实奖励信号的 PPO-GT。
• TL;DR 摘要（GPT-J 6B）："DPO has a win rate of approximately 61% at a temperature of 0.0, exceeding the performance of PPO at ~57% at its optimal sampling temperature of 0.0"；人类研究里 "DPO samples at temperature 0.25 were preferred 58% times over PPO samples at temperature 0"；且 DPO 对采样温度远比 PPO 稳健。
• Anthropic-HH 单轮对话（Pythia-2.8B + Preferred-FT）：DPO 是唯一有效优于数据集 preferred completion 的省算力方法，匹敌或超过 Best-of-128（Best-of-N "plateaus at 128 completions"）；而 "the PPO HH model was unable to find a prompt or sampling temperature that gives performance better than the base Pythia-2.8B model"——即这份公开 PPO 基线本身没调好（这正是 ICML 研究抓住的反驳点：DPO 论文赢的 PPO 基线弱）。
• OOD 泛化（CNN/DailyMail 上测）：GPT-4 胜率 vs 真实摘要，DPO 0.36 / PPO 0.26（temp 0）——DPO 论文自认初步结果相当。

4.3 PPO vs DPO 对比研究证据（arXiv:2404.10719，7B–34B，对话 + 代码）

关键细节：

• DPO 在 CodeContest 上 0.0% 的失败模式："the DPO model outputs many meaningless code snippets"（输出大量无意义代码片段）。离线数据无法覆盖"写出能通过隐藏测试的代码"这一分布，DPO 原理上只能扭曲已有分布、不能探索新分布。
• 分布匹配实验：在 SafeRLHF 上给 DPO 补做分布内 SFT（对安全数据额外 SFT）后安全率提升 16.4%——印证 DPO 成败主要取决于 "the distribution shift between the model outputs and the preference dataset"。
• 迭代式 DPO（用当前策略重新采样并标注）能显著缓解但不够：仍 "remains unsatisfactory in challenging tasks such as code generation"。
• 论文局限自述：没有深入"如何训练稳健的 RM"（代码任务里 PPO 直接用 ground-truth 奖励、DPO-Iter 也用真值标注），留作 future work。

4.4 GRPO 一手证据（arXiv:2402.03300，DeepSeekMath 7B）

• RL 超参：策略 LR 1e-6，KL 系数 0.04，每题采样 64 个输出，max length 1024，batch 1024；RM 按 Math-Shepherd 方式从 DeepSeekMath-Base 7B 初始化。
• GRPO 带来的提升（CoT 模式）：GSM8K 82.9% → 88.2%；MATH 46.8% → 51.7%；CMATH 84.6% → 88.8%（对比 SFT 后的 DeepSeekMath-Instruct）。MATH 51.7% 在发布时超过所有 7B–70B 开源模型与多数闭源模型；64 样本自一致性 60.9%。
• 统一范式分析（1.3B 模型上）：GRPO > Online RFT > RFT > SFT/DPO 基线；过程监督版 "GRPO+PS shows superior performance compared to GRPO+OS"。
• 重要的能力边界自述：RL "enhances Maj@K but not Pass@K"——RL 把正确答案排进 Top-K（提升多数投票/最佳采样命中率），但没有增加模型的基础能力（Pass@K 的分母能力没变）；作者归因于朴素 nucleus 采样与域内 prompt 的组合。
• 其他局限自述：几何与定理证明能力弱（"cannot handle problems related to triangles and ellipses"，暗示数据筛选偏差）；少样本能力受模型规模所限不如 GPT-4。

4.5 横向博客证据（机制与成本，无新数字但结构化最清晰）

• Daily Dose of DS：PPO 的 critic "slow to converge, adds instability, and requires a regression head on top of the policy"；DPO 的软肋是 "can be brittle if the preference data doesn't cover the failure modes you care about"（偏好数据没覆盖你在意的失败模式时会很脆）；总结句 "All three produce aligned models, but they differ on how much machinery the alignment requires"（三者都能产出对齐模型，差别在对齐需要多少机器）。
• Lyceum：给出 70B 模型三种训练显存形态（140 GB 冻结 / 840–1,260 GB 可训练）与驻留模型清单表（PPO 4 / GRPO 2+scorer / DPO 2）；提示 GRPO 在可验证域还能省 RM 或省 reference（省略 KL 项）；警告估算 rollout 时间要用集群吞吐而非单流延迟，否则"will distort a rollout time estimate by orders of magnitude"。

5. 结论（跨来源综合）

1. 数据成本排序（便宜→贵）：DPO（复用公开偏好对、无 RM、SFT 形态训练）≈ 可验证域 GRPO（标注≈0 但 rollout 推理开销大：每题 ×64 采样）< 不可验证域 GRPO（仍需 RM）< RLHF/PPO（先付 RM 标注成本，再付 4 模型在线训练成本）。
2. 算力/显存排序：DPO（2 个模型，可缓存降到 1）< GRPO（2 + 打分器，砍掉带优化器状态的 critic）< PPO（4 个模型共存，跨节点并行）。PPO 的价值函数 "brings a substantial memory and computational burden"。
3. 效果上限排序（调好后）：PPO ≥ GRPO（可验证域）> DPO。ICML 研究证明 PPO "surpass other alignment methods in all cases"；GRPO 在数学上拿到 5–6 个点的实质提升（MATH 46.8→51.7）；DPO 的上限被偏好数据分布覆盖率锁死——Theorem 4.1 说明它甚至能收敛到"利用 OOD 响应"的解，在 CodeContest 直接崩到 0%。
4. 效果边界分界线是"可验证性 + 分布覆盖"：
   • 有可验证奖励（数学答案、代码测试）→ GRPO 是当前性价比最优的在线 RL：免 RM 标注、免 critic 显存、保住在线探索。
   • 只想塑形已有分布（风格、安全、格式、摘要质量），且有现成偏好对 → DPO 最便宜最稳，但别指望它教模型新能力（OOD 失效是原理性的，不是调参问题）。
   • 追求最高上限且工程预算充足（4 模型并行 + 认真调参：优势归一化、大 batch、reference EMA）→ PPO 仍然是最强基线。
5. "RL 提升"要区分 Maj@K 与 Pass@K：DeepSeekMath 自述 RL 只是增强 Maj@K 而非 Pass@K——评测对齐方法时如果只报 Maj@K/greedy 分数，可能高估了"能力新增"。
6. 对比实验的方法论教训：DPO 论文赢的是"没调好的 PPO"；ICML 研究赢的是"调好的 PPO"（消融显示三个实现因素可把 pass@1k 从 7.7% 拉到 21.4%）。Reddit 实践者"调参后排名反转"的体感与此一致。方法对比结论对实现质量极其敏感，跨论文数字不能直接比。

6. 局限

各方法本身（作者承认 + 推断）：

• DPO：离线无探索，OOD 原理性失效（CodeContest 0.0%）；β 与分布匹配敏感；原论文只测到 6B（"exploration of scaling DPO to state-of-the-art models orders of magnitude larger is an exciting direction for future work"）；作者自己提出 "how does reward over-optimization manifest in the direct preference optimization setting" 是未解问题。
• PPO：critic 慢收敛、不稳定、显存最贵；对实现细节（batch、优势归一化、EMA）极其敏感——没调好就输给 DPO；RM 训练成本与稳健性是链条上最脆弱一环（ICML 研究自认没解决）。
• GRPO：依赖"每次能拿到可比较的标量奖励"——不可验证域退化为 RLHF；组采样 ×64 推理开销大；组内归一化在"全对/全错"时组内无区分信号（GRPO 自身的已知短板，本批来源未展开）；DeepSeekMath 的 RL 提升局限在 GSM8K/MATH 风格题内，几何/定理证明仍弱。

证据体系的局限（我的评估）：

1. 模型规模小：DPO 论文 ≤6B、对比研究 7B–34B、DeepSeekMath 7B——三条路线在 100B+ 规模下的结论都未直接验证。
2. 测试域偏科：三篇论文分别主测情感/摘要/对话、对话/代码、数学——没有任何一篇在同一测试床上对齐三者，横向对比靠拼图，存在脚手架差异。
3. 利益相关：GRPO 的全部一手证据来自 DeepSeek 自家论文；DPO 论文的 PPO 基线被后续研究证明是弱基线。每篇都在"证明自己方法的卖点"。
4. 评审指标偏差：DPO 论文自认 "win rates computed by GPT-4 are impacted by the prompt"（GPT-4 评审偏好更长、重复的摘要），GPT-4 判定的胜率不能全信。
5. 成本数据残缺：偏好标注单价（$1–5/条）来自未精读的搜索摘要；三篇论文都没报训练总 GPU 时；Lyceum 的显存字节是静态估算而非实测。
6. 时代局限：本批证据截至 2024 年中。GRPO 的"验证器奖励 + 大规模 RL"在 DeepSeek-R1（2025）上被进一步验证并引发推理模型浪潮，但 R1 未纳入精读（仅背景提及）；另外 2024 年后出现的 SimPO、KTO、REINFORCE++、DAPO、GSPO 等变体不在本主题范围内。

7. 对我的启发

1. 选路决策树（按数据可得性倒推）：第一步不是问"哪个方法好"，而是问"我手上有什么"——有可编程验证器（测试/编译/答案核对）→ GRPO；有 ≥万级偏好对、任务在 SFT 模型分布附近 → DPO（LoRA 版单卡可跑）；两者都没有但预算充足 → 先攒 RM 走 PPO。
2. 数据成本要算总账：DPO 的"便宜"是标注便宜，不是没有成本——它把成本前移到了"偏好数据必须覆盖模型可能走到的地方"；GRPO 的"免标注"是真免，但每题 ×64 的 rollout 推理账单（Rollout Volume 公式）在 API/显存受限时同样真金白银。
3. 别用离线方法追新能力：DPO 的 CodeContest 0% 是最清晰的警示——静态偏好对只能重塑分布，不能探索分布。要模型学会"没见过的推理轨迹"，必须上在线 RL（PPO/GRPO），或者迭代式 DPO 至少把数据刷成 on-policy。
4. 复现任何"DPO vs PPO"类对比前，先看 PPO 有没有做三件事：优势归一化、大 batch、reference EMA。没有的话，那篇论文的 PPO 是弱基线，结论不可迁移。
5. 评测对齐收益时同时报 Maj@K 和 Pass@K：只报前者可能把"重排序"误读成"能力增长"。
6. 理解对齐方法的一个统一视角：三者都是对 KL 约束奖励最大化的不同近似——DPO 用重参数化把 RM 折进策略（离线、闭式），PPO 用学习的 value 做基线（在线、学习式），GRPO 用组统计做基线（在线、免学习式基线）。基线越"真"，探索信号越准，代价越高——这条"基线质量 ↔ 成本"的轴比"有无 RL"更能预测效果边界。

附：来源链接汇总

1. DPO 原论文：https://arxiv.org/abs/2305.18290 （全文精读：https://ar5iv.labs.arxiv.org/html/2305.18290 ）
2. DeepSeekMath（GRPO 出处）：https://arxiv.org/abs/2402.03300 （全文精读：https://arxiv.org/html/2402.03300v3 ）
3. PPO vs DPO 对比研究（ICML 2024）：https://arxiv.org/abs/2404.10719 （全文精读：https://arxiv.org/html/2404.10719v3 ；代码：github.com/openpsi-project/ReaLHF ）
4. Daily Dose of DS：RLHF vs. DPO vs. GRPO in RL：https://blog.dailydoseofds.com/p/rlhf-vs-dpo-vs-grpo-in-rl
5. Lyceum：GRPO vs DPO vs RLHF: Compute Cost and GPU Footprint：https://lyceum.technology/magazine/grpo-vs-dpo-vs-rlhf-compute-cost-and