CHAPTER 25

人类反馈学习

监督微调要求示范者给出应当生成的回答，偏好数据则允许示范者在多个候选之间作比较。这种差异使反馈更容易针对语气、完整性或任务适配程度，但也引入了新的统计问题：一次比较究竟代表谁的偏好，候选从哪里产生，以及局部排序能否外推到训练后出现的新回答。

本章先把比较反馈写成概率模型，再推导奖励正则化目标的最优策略，并由此得到直接偏好优化。在线强化学习的策略梯度基础见第24章《强化学习基础》；可验证奖励和推理训练在第26章《可验证推理训练》进一步展开。这里的“对齐”指相对于所声明反馈分布调整行为，不意味着已经证明模型满足所有使用者的全部价值要求。

25.1人类反馈及偏好数据

比较单位及数据分布

一条偏好记录可表示为 \((x,y_a,y_b,z)\)，其中 \(x\) 为共同上下文，\(y_a,y_b\) 为两个候选，\(z\in\{0,1\}\) 指示是否偏好 \(y_a\)。上下文包括角色、约束和必要历史；若两条候选实际上回答了不同问题，就不能用同一提示下的偏好模型解释它们。

偏好对（Preference Pair）的生成机制至少包含提示分布、候选策略、解码配置和标注规则。设提示来自 \(\mu\)，候选来自条件分布 \(q(y_a,y_b\mid x)\)，标注者来自群体分布 \(h\)，则训练风险的期望同时依赖这三者。只扩大比较数量，不扩大提示和候选覆盖，可能只是反复学习同一狭窄区域。

候选显示次序、长度、格式、模型身份泄漏和标注者知识都会影响比较。应保存可重建的原始候选、匿名化呈现条件和标注版本。多个候选产生的成对组合共享同一提示和回答，并非独立观测；划分训练与评估集合时应以提示或更高层来源分组。

符号及假设

本章主要符号见表25.1。

表 25.1　偏好学习的主要符号。

符号	含义
\(x,y,T_y\)	提示、回答序列和回答所计词元数，终止标记是否计入须固定。
\(y_w,y_l\)	标注中相对优选与相对拒选的回答。
\(r_\phi(x,y)\)	参数为 \(\phi\) 的标量奖励函数。
\(\pi_\theta,\pi_{\mathrm{ref}},\pi_{\mathrm{old}}\)	当前策略、固定参考策略及产生一批在线样本的旧策略。
\(\beta\)	KL 正则化系数；DPO 推导沿用同一尺度。
\(\sigma(u)\)	Logistic 函数 \(\frac{1}{1+e^{-u}}\)。
\(Z(x)\)	固定提示下的归一化配分函数。
\(\Delta_\theta\)	优选与拒选回答的相对参考对数概率差。

偏好与策略推导的范围

先假设固定提示下回答集合有限，参考策略在该集合上为正，奖励有限且 \(\beta>0\)。偏好用一个标量效用差的 Logistic 概率描述。对可数无限回答集合，还需保证配分函数有限及相关期望存在。真实群体可能有冲突、平局和上下文依赖，单标量模型只是一种近似。

25.2奖励建模

Bradley–Terry 形式

将每个候选的正强度写为 \(u_a=e^{r_a}\) 和 \(u_b=e^{r_b}\)，以相对强度定义胜出概率，得到 Bradley–Terry 形式(Bradley 和 Terry 1952)

\[ p_\phi(y_a\succ y_b\mid x) =\frac{e^{r_a}}{e^{r_a}+e^{r_b}} =\sigma(r_a-r_b),\qquad r_a=r_\phi(x,y_a). \tag{25.1}\]

对二元标签采用负对数似然，单对损失为

\[ \ell_{\mathrm{RM}}=-z\log\sigma(d)-(1-z)\log\sigma(-d), \qquad d=r_a-r_b. \tag{25.2}\]

其间隔导数为 \(\frac{\partial\ell}{\partial d}=\sigma(d)-z\)；二阶导数为 \(\sigma(d)(1-\sigma(d))\ge0\)。损失对间隔凸，不代表对深度奖励网络参数凸。标注偏好 \(a\) 却预测 \(\sigma(d)\) 很小时，梯度会推动 \(r_a-r_b\) 增大。

如果同一对有多个独立判断，\(z\) 可替换为偏好 \(a\) 的比例，表示二项似然按比较数归一化后的目标。把一个平局直接写为 \(z=\frac{1}{2}\)，相当于要求模型对两者给出相等偏好概率；这未必等同于有显式平局概率的三分类机制，应根据标注含义选择。

奖励的可辨识性

对同一提示给所有奖励加上任意 \(c(x)\)，式(25.1)不变。因此成对比较无法识别提示相关的绝对零点。若数据只连接一部分回答子集，不同连通分量之间的相对偏移也无法由这些比较确定。

尺度则不同：将差值乘常数会改变偏好概率。若同时引入未知噪声温度 \(\tau\)，模型只由 \(\frac{r_a-r_b}{\tau}\) 决定，此时奖励尺度和温度不能分别识别。奖励归一化或温度修改会改变后续策略优化的有效强度，不能视为无关的显示调整。

标量效用还不能表示确定性的循环偏好：若 \(a\succ b,b\succ c,c\succ a\) 均被要求以大于 \(\frac{1}{2}\) 的概率成立，则分别需要 \(r_a>r_b>r_c>r_a\)，产生矛盾。出现系统性冲突时，应检查群体、任务和呈现条件，不能只增加训练轮数。

奖励网络及校准

奖励模型可以用编码器或因果模型提取 \((x,y)\) 的表示，再经标量读出头输出 \(r_\phi\)。若使用回答末端表示，须取实际有效末端，而非填充位置；若截断删除了结论或约束，原来的偏好标签可能不再适用。模型结构并不要求与策略完全相同，但输入语义必须兼容。

排序准确率关注差值符号，概率校准关注预测胜率与观察频率是否一致。二者不能替代。即使在离线比较集上校准良好，策略优化后产生的新回答也可能偏离原候选分布。对奖励模型进行优化会主动寻找其高分区域，因此评估需要覆盖被优化后的候选，而不只是原始数据。

构造一个奖励算例：\(r_w=1.2,r_l=0.2\)，间隔为1，预测胜率 \(\sigma(1)\approx0.7311\)，优选标签损失约0.3133。若在相同条件下只有55%的人选择 \(w\)，高胜率预测并不由单次排序正确所支持。换成均为0.7的奖励，胜率为0.5，无法表达排序但不虚构差距。

25.3基于人类反馈的强化学习

目标及 KL 方向

基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）可通过比较数据拟合奖励，再优化策略；InstructGPT 是这种训练链路的代表性工作(Ouyang 等 2022)。固定提示下的一种目标为

\[ J_x(\pi)=\sum_y\pi(y\mid x)r(x,y) -\beta\sum_y\pi(y\mid x)\log\frac{\pi(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}. \tag{25.3}\]

KL 的方向为当前策略到参考策略。它使参考零概率事件具有无穷偏离代价，所以支持集条件是推导的一部分。参考约束限制分布漂移，却不自动阻止奖励漏洞、事实错误或某一能力退化。

最优策略的推导

对归一化约束 \(\sum_y\pi_y=1\) 引入乘子 \(\lambda\)，记 \(q_y=\pi_{\mathrm{ref}}(y\mid x)\)，拉格朗日函数为

\[ \mathcal F=\sum_y\pi_yr_y-\beta\sum_y\pi_y\log(\frac{\pi_y}{q_y}) +\lambda(\sum_y\pi_y-1). \tag{25.4}\]

对正概率内部点求导得

\[ r_y-\beta[\log(\frac{\pi_y}{q_y})+1]+\lambda=0. \tag{25.5}\]

整理可得 \(\pi_y=q_y\exp(\frac{r_y}{\beta})\exp(\frac{\lambda}{\beta}-1)\)。最后一项不依赖回答，通过归一化确定为 \(\frac{1}{Z(x)}\)，因此

\[ \pi^*(y\mid x)=\frac{\pi_{\mathrm{ref}}(y\mid x)e^{\frac{r(x,y)}{\beta}}}{Z(x)}, \qquad Z(x)=\sum_y\pi_{\mathrm{ref}}(y\mid x)e^{\frac{r(x,y)}{\beta}}. \tag{25.6}\]

不仅可以检查驻点，还可以直接证明全局最优。把最优策略的对数表达代回式(25.3)，得到

\[ J_x(\pi)=\beta\log Z(x)-\beta D_{\mathrm{KL}}(\pi\|\pi^*). \tag{25.7}\]

KL 非负，且仅在两个分布相等时为零，所以 \(\pi^*\) 是支持集内的唯一最优分布。这个证明同时给出任意策略距离最优目标值的差额。

当固定奖励且 \(\beta\) 增大时，指数倾斜减弱；当 \(\beta\to\infty\) 时趋近参考策略。\(\beta\to0^+\) 时质量集中到最高奖励集合，并在并列最优集合中保留参考权重比例。奖励与 \(\beta\) 同时乘同一个正数不改变式(25.6)，再次说明奖励尺度与约束强度必须一起解释。

例22.1

设回答集合仅有 \(a,b\)，参考概率为 \((0.8,0.2)\)，奖励为 \((0,\log4)\)，\(\beta=1\)。未归一化质量为 \((0.8,0.8)\)，\(Z=1.6\)，故最优策略为 \((0.5,0.5)\)。

最优期望奖励为 \(\frac12\log4=\log2\approx0.6931\)。KL 为 \[\frac12\log\frac{0.5}{0.8}+\frac12\log\frac{0.5}{0.2} =\frac12\log1.5625\approx0.2231.\] 目标值为0.4700，等于 \(\log1.6\)。虽然 \(b\) 的奖励较高，最优策略并未以概率1生成它；参考约束保留了概率分配的代价。若将两奖励同时增加10，最优策略不变，而目标值增加10。

25.4直接偏好优化

由最优策略表示奖励

式(25.6)等价于

\[ r(x,y)=\beta\log\frac{\pi^*(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}+\beta\log Z(x). \tag{25.8}\]

同一提示下，两回答奖励相减时，配分函数项消失。将策略参数化为 \(\pi_\theta\)，用相对参考的对数概率差表示偏好间隔，就得到直接偏好优化（Direct Preference Optimization，DPO）(Rafailov 等 2023)：

\begin{align} \Delta_\theta&=\log\pi_\theta(y_w\mid x)-\log\pi_\theta(y_l\mid x) -\log\pi_{\mathrm{ref}}(y_w\mid x)+\log\pi_{\mathrm{ref}}(y_l\mid x),\tag{25.9}\\ \ell_{\mathrm{DPO}}&=-\log\sigma(\beta\Delta_\theta) =\operatorname{softplus}(-\beta\Delta_\theta). \tag{25.10}\end{align}

这将显式奖励模型的拟合转成策略上的偏好似然。有限数据、有限模型容量和有限优化并不保证实际策略达到式(25.6)中的理想解，不能把代数表示等同于训练后的全局最优性。

偏好梯度及概率变化

设 \(u=\beta\Delta_\theta\)，则

\[ \nabla_\theta\ell_{\mathrm{DPO}} =-\beta\sigma(-u) [\nabla_\theta\log\pi_\theta(y_w\mid x) -\nabla_\theta\log\pi_\theta(y_l\mid x)]. \tag{25.11}\]

参考概率固定，不参与求导。排序错误且间隔很负时，系数趋近 \(-\beta\)；间隔很正时，梯度趋近零。\(\beta\) 同时改变间隔缩放和饱和程度，所以不能简单称“越大更新越强”，更不能称“越大偏好越可靠”。

DPO 优化相对比值，不保证优选回答的绝对概率每一步都增加。例如参考在三回答 \((w,l,o)\) 上为 \((0.4,0.4,0.2)\)，某策略变为 \((0.3,0.1,0.6)\)。优选概率从0.4降到0.3，但 \(\frac{w}{l}\) 比从1升到3，因而 \(\Delta=\log3>0\)。这说明需要同时监控两条回答的概率和自由生成行为，而不能只报告间隔。

取 \(\beta=0.5\)，上述间隔给出 \(u=0.549306\)，偏好概率为 \(\frac{\sqrt3}{1+\sqrt3}\approx0.6340\)，损失约0.4557，低于初始相等策略时的 \(\log2\approx0.6931\)。损失下降并不消除第三个回答质量未知的问题。

序列概率及长度

回答序列的条件概率必须遵循相同的停止协议：

\[ \log\pi_\theta(y\mid x)=\sum_{t=1}^{T_y}\log\pi_\theta(y_t\mid x,y_{<t}). \tag{25.12}\]

若把求和改成除以 \(T_y\) 的平均，所得量一般不是原回答分布的对数概率，不能继续声称与式(25.3)推导相同。长度归一化可以定义新的目标，但须重新说明其数学含义。

长度偏差可能同时来自标注偏好、候选生成和似然累积。参考比值抵消部分基线倾向，却不保证消除全部偏差。若截断只保留两回答共同前缀，原本可辨别的比较可能变成无信号；若仅一条被截断，标签可能转而反映截断质量。共同提示应保持一致，优选与拒选的完整目标跨度应分别校验。

图 25.1　DPO 的数据与梯度边界。参考分支提供固定概率基线，不能随策略更新漂移。

25.5在线 RLHF 的模型分工

参考策略（Reference Policy）规定相对偏离的基准；旧策略（Behavior Policy）在本节指产生当前批次轨迹的行为策略。前者可以跨多次更新保持固定，后者随采样轮次变化。策略概率比用于控制复用样本时的更新，参考 KL 用于约束行为漂移，两者职责不同。

典型 Actor–Critic 链路中，策略生成回答，奖励模型给出序列评分，价值模型估计前缀状态的未来回报，参考模型提供 KL 基线。价值估计不是回答质量评分：它依赖当前策略和剩余过程，主要用于构造优势及降低估计方差。奖励模型可以在策略优化阶段冻结，但其输入分布会随策略变化。

序列 KL 可以用链式法则写成策略访问前缀下的条件 KL 之和：

\[ D_{\mathrm{KL}}(\pi_\theta(y\mid x)\|\pi_{\mathrm{ref}}(y\mid x)) =\mathbb E_{y\sim\pi_\theta}\sum_t \log\frac{\pi_\theta(y_t\mid x,y_{<t})}{\pi_{\mathrm{ref}}(y_t\mid x,y_{<t})}. \tag{25.13}\]

单个采样词元的对数比可以为负；只有在相应分布下取期望才得到非负 KL。若轨迹来自旧策略，直接平均这些值估计的是旧分布下的对数比，除非作出近似或正确分布校正，不能将其标为当前策略的精确 KL。

将终局奖励与逐词元 KL 惩罚结合，可构造供第24章《强化学习基础》策略优化算法使用的回报。对数比中的当前策略参数也影响采样分布；实际代理目标通常在旧轨迹上冻结部分统计量并限制更新幅度，应明确其为近似优化过程，而非把采样损失视作式(25.3)的逐项精确梯度。

图 25.2　在线奖励优化的职责。参考、奖励、价值与策略是逻辑角色，不要求部署为四个完全独立的服务。

算法25.1　离线 DPO 的一次参数更新

输入：偏好对批次、固定参考、策略、\(\beta>0\)、版本化模板与分词器。输出：更新后的策略及目标统计。

校验每对共享同一完整提示、标签有明确含义，两回答的目标跨度与终止协议有效；剔除或单独记录截断后失去偏好依据的记录。

在冻结参考上计算两条回答的目标词元对数概率和。若使用缓存，键必须绑定参考权重、模板、分词器及精确词元序列。

在当前策略上计算相同目标位置的对数概率和，依式(25.10)形成间隔与稳定的 Softplus 损失。

按事先声明的提示或偏好对权重聚合，反向仅更新策略；累积与并行归约保持该权重口径，而非擅自改成词元平均。

记录损失、间隔、两回答对数概率、长度及有效对数；定期在独立提示上自由生成，并与冻结基线进行盲比较。

参考概率缓存只有在输入与参考完全固定时才有效。使用共享基座与适配器实现参考时，关闭某个适配器不一定得到预期参考版本；还需确认基座未被更新、适配器组合一致、随机层处于确定的评分模式。

算法25.2　奖励模型与在线策略的分阶段更新

输入：比较数据、提示分布、初始策略及独立评估集；输出：带来源与评估记录的策略版本。

按提示和来源划分比较数据，拟合奖励模型，并评估排序、校准及关键切片的误差。

固定本轮奖励和参考版本，从已标识的行为策略采样，保存回答、行为概率、终止原因和各奖励分量。

依据声明的回报、优势和约束算法更新策略；限制样本复用范围，记录概率比、KL估计口径和裁剪比例。

在独立标准下检查质量、长度、拒答和原有能力。若奖励增加而独立质量下降，停止扩大优化强度并分析候选分布漂移。

若重新收集偏好或更新奖励模型，建立新版本与新的训练阶段；保留旧版本以便解释行为变化与恢复。

25.6GRPO 及方法选择

（选修） 组相对策略优化（Group Relative Policy Optimization，GRPO）为同一提示生成 \(G\) 条回答，以组内奖励构造相对优势(Shao 等 2024)。选择总体标准差约定时，

\[ \bar r=\frac1G\sum_i r_i,\qquad s=\sqrt{\frac1G\sum_i(r_i-\bar r)^2},\qquad A_i=\frac{r_i-\bar r}{s+\epsilon}. \tag{25.14}\]

各优势之和为零；奖励全部相同时，相对优势全部为零。组内标准化消除了绝对偏移，却同时重加权不同问题，不能将不同组的优势直接比较为绝对质量。

例如奖励 \((0,1,1,2)\) 的均值为1，标准差为 \(\sqrt{\frac{1}{2}}\)；忽略数值稳定项时优势为 \((-\sqrt2,0,0,\sqrt2)\)。换成 \((10,10,10,10)\)，尽管绝对奖励更高，组内没有排序信号。若奖励函数只识别格式，组内训练也只会提供格式差异。组内均值包含自身样本所带来的基线偏差、零方差组、长度归约和裁剪目标，在第26章《可验证推理训练》中完整推导。

表 25.2　反馈学习方法的监督对象、计算角色与适用边界。

方法	反馈对象	主要计算角色	关键边界
SFT	高质量示范回答	策略前后向	模仿示范；数据覆盖限制可学行为。
DPO	离线成对偏好	策略与固定参考评分	无需每次更新在线生成，但受候选覆盖和偏好模型限制。
奖励模型加策略优化	比较数据及在线奖励	策略、奖励、参考；可有价值模型	采样与评分代价较高，奖励外推可能被利用。
GRPO	同提示成组奖励	策略、评分器、可选参考约束	省去独立价值模型，但增加成组生成且可能无相对信号。

表25.2中的方法不是必须依次执行的固定流水线。是否需要示范微调取决于起始模型是否已有任务行为；是否需要在线采样取决于离线候选覆盖和评分可靠性。参数高效微调改变更新子空间，可与上述多种目标组合，并不构成另一类反馈来源。

25.7奖励偏差及评估边界

奖励投机（Reward Hacking）指策略利用评分机制的缺陷提高分数，却没有改善真正的任务目标。若代理奖励为 \(\widehat r=r+e\)，其中 \(r\) 是目标效用、\(e\) 是评分误差，则优化 \(\widehat r\) 可以同时增加 \(e\)。原分布下误差均值很小，不保证经过策略选择后的误差仍小。

偏好评估应同时固定候选生成预算、比较基线和呈现方式。胜率需要报告比较数、平局处理、提示分组及不确定性；重复比较同一提示不能简单当作独立扩大样本。长度、语言、任务类别和高严重度失败应分开观察，平均胜率不能替代各项行为边界。

对齐结论必须绑定反馈范围

奖励模型准确率、DPO间隔、在线奖励和独立任务质量分别测量不同对象。只有在明确提示分布、评价标准、生成条件和参考基线后，才能说明某项行为得到改善。损失下降和奖励上升都是训练证据，不能单独证明广泛能力或安全性的提升。

WORKBOOK / 习题

配套习题与解析

先独立作答，再展开参考解析。选修题保留原书标记。

习题 25.1

推导二元奖励模型损失对两个奖励输出的梯度，解释它们为何符号相反。

展开参考解析

令 \(d=r_w-r_l\)，\(L=-\log\sigma(d)\)，则 \(\frac{\partial L}{\partial d}=\sigma(d)-1\)。对优选为 \(\sigma(d)-1\)，对拒选为 \(1-\sigma(d)\)，相加为零。目标只识别差值；两输出共同平移不会改变该样本损失。

习题 25.2选修

构造比较图不连通的例子，说明哪些奖励偏移无法由数据识别。

展开参考解析

四回答只比较a与b、c与d。分别对第一连通分量加常数u、第二分量加v，所有已观测差值不变，故u-v不可辨识。没有跨分量比较不能由数据确定a与c的相对奖励；正则可能选出数值解，但那是额外约束而非数据证据。

习题 25.3

由式25.6推导式25.7，说明有限支持假设的作用。

展开参考解析

在参考正支持上令 \(\pi^*(y)=\frac{\pi_0(y)e^{\frac{r(y)}{\beta}}}{Z}\)。利用恒等式 \[\log(\frac{\pi}{\pi_0})=\log(\frac{\pi}{\pi^*})+\frac{r}{\beta}-\log Z,\] 代入可得 \[J(\pi)=\beta\log Z-\beta\mathrm{KL}(\pi\|\pi^*).\] 由KL非负性得到最优策略。有限支持及有限奖励确保Z有限；参考为零处不能随意赋正质量，否则KL无穷。

习题 25.4

将两回答算例的 \(\beta\) 改为2，计算最优策略与目标值。

展开参考解析

未归一化质量为 \((0.8,0.2e^{\frac{\log4}{2}})=(0.8,0.4)\)，Z=1.2，策略 \((\frac{2}{3},\frac{1}{3})\)。期望奖励 \(\frac{\log4}{3}\approx0.462098\)，KL为 \(\frac23\log(\frac{5}{6})+\frac13\log(\frac{5}{3})\approx0.048728\)，目标约0.364643，等于 \(2\log1.2\)。

习题 25.5

证明同提示奖励加常数不改变最优策略；讨论不同提示的常数是否影响跨提示奖励直接比较。

展开参考解析

同提示加c使各未归一化质量同乘 \(e^{\frac{c}{\beta}}\)，归一化后策略不变，J增加c。不同提示各有不可辨识偏移时，跨提示直接比较奖励均值会受任意常数影响；须有共同校准或只作同提示比较，不能把排序奖励当绝对效用。

习题 25.6

从 DPO 损失推导梯度，并比较间隔为零、很正和很负时的系数。

展开参考解析

设相对间隔Delta，损失 \(-\log\sigma(\beta\Delta)\)，对参数梯度为 \(-\beta\sigma(-\beta\Delta)\nabla\Delta\)。Delta=0时系数-beta/2，很正时趋0，很负时趋-beta。链式梯度提高相对对数概率差，但共享归一化使各回答绝对概率变化不能仅由符号判断。

习题 25.7

为三个回答构造优选绝对概率下降而偏好间隔上升的另一例子。

展开参考解析

参考固定，策略从 \((p_w,p_l,p_o)=(0.4,0.3,0.3)\) 改为 \((0.35,0.15,0.5)\)。优选概率下降，但比值从\(\frac{4}{3}\)升至\(\frac{7}{3}\)，相对间隔增 \(\log(\frac{7}{4})>0\)，DPO损失下降。第三个回答吸收质量，说明排序改善不保证优选绝对概率增加。

习题 25.8

解释序列平均对数概率为何一般不是原序列分布的对数概率。

展开参考解析

序列概率为条件概率乘积，其log为逐词元log之和。平均后得到 \(\frac{\log p(y)}{T(y)}\)，指数为 \(p(y)^{\frac{1}{T(y)}}\)，对所有序列求和一般不为1；若重新归一化还需新的配分函数。因此长度平均目标属于新的偏好尺度，不可直接代回原最优策略恒等式。

习题 25.9

推导序列 KL 的链式表达，指出采样分布改变时哪一步不再成立。

展开参考解析

对同一初始提示，\(\mathrm{KL}(\pi\|\pi_0)=\mathbb E_{y\sim\pi}\sum_t\log[\frac{\pi(y_t|h_t)}{\pi_0(y_t|h_t)}]\)。再按pi的历史分布条件取期望，得 \(\sum_t\mathbb E_{h_t\sim\pi}\mathrm{KL}(\pi(\cdot|h_t)\|\pi_0(\cdot|h_t))\)。若轨迹从mu来且不校正，外层历史分布与动作分布都变，通常不再等于此序列KL。

习题 25.10选修

比较组内总体标准差与样本标准差对同一组优势幅度的影响。

展开参考解析

对G个非全等样本，总体方差分母 \(G\)，样本方差分母 \(G-1\)；后者标准差乘 \(\sqrt{\frac{G}{G-1}}\)，在 \(\epsilon=0\) 时优势幅度乘 \(\sqrt{\frac{G-1}{G}}\)。若分母保留正 \(\epsilon\)，比例应为 \(\frac{s_{\rm pop}+\epsilon}{s_{\rm sample}+\epsilon}\)。均值仍零，但训练尺度不同；全等时需明确epsilon或跳过规则，不能除零。

习题 25.11

设计参考概率缓存的身份字段，分析模板或终止标记变化后的失效条件。

展开参考解析

保存参考权重/适配器摘要、分词器、完整模板、精度、截断/停止协议、提示与回答词元、计分掩码、位置/可见性及是否求和。模板或EOT变化会改变词元/条件/计分区域，原概率即失效；若只改变不参与前向的报告名称，缓存可保留。不能只用原始问题字符串作键。

习题 25.12

针对“回答越来越长、奖励上升、事实性下降”的现象，提出可区分标注偏差、评分漏洞和候选分布漂移的评估设计。

展开参考解析

固定原问题和候选，制作保持事实相同的长短改写测标注长度偏好；对评分器加入事实错误但风格合规的对抗候选测漏洞；冻结问题及采样预算重评旧新策略，隔离候选分布漂移。由独立事实核验者盲评并分长度/领域报告。若改变验证器，保留版本交叉矩阵，不能仅凭奖励曲线诊断原因。

REFERENCES

参考文献

Bradley, Ralph Allan, 和 Milton E. Terry. 1952. 《Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons》. Biometrika 39 (3-4): 324–45. https://doi.org/10.1093/biomet/39.3-4.324.

Ouyang, Long, Jeff Wu, Xu Jiang, 等. 2022. 《Training language models to follow instructions with human feedback》. 2022年. https://arxiv.org/abs/2203.02155.

Rafailov, Rafael, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, 和 Chelsea Finn. 2023. 《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》. 2023年5月29日. https://arxiv.org/abs/2305.18290.

Shao, Zhihong, Peiyi Wang, Qihao Zhu, Runxin Xu, Junxiao Song, Xiao Bi, Haowei Zhang, 等. 2024. 《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》. 2024年2月5日. https://arxiv.org/abs/2402.03300.