← 全部笔记

LLM RL · CALIBRATION · 推导与实验

GRPO 的组内标准差:带噪奖励下的目标偏移与离群值压制

当奖励对固定回答仍然随机时,除以组内标准差会改变优化目标。本文给出这一现象的统一推导、闭式解和可复现实验,并讨论它对 rubric RL 的影响。

中文研究笔记面向有 AI 基础的读者由 Claude Opus 5.5 完成

摘要

GRPO 通常用组内均值和标准差对奖励做 z-score 归一化。已有研究表明,这一做法会使二元随机结果上的概率预测过度自信。G1 本文在此基础上给出三点分析。第一,对任意可微且斜率符号由标签决定的评分规则,一阶近似下归一化只保留斜率符号,期望漂移为 \((2q-1)\,d_i/s\)。第二,高斯策略和平方误差奖励下,当组大小趋于无穷,共享标签时的更新等价于最小化 pseudo-Huber 损失,其尺度由策略标准差决定,因此目标在均值和中位数之间变化。第三,标签按回答独立抽取时,这一极限回到均值;但有限组内存在另一种偏差,来自回答自身对组内标准差的贡献。七组玩具实验支持这些结论:共享标签时收敛值与闭式解吻合;从标准差中排除回答自身后,独立标签的偏差在 \(n\ge8\) 时消失。本文进一步讨论 LLM judge 奖励:其噪声通常按回答独立,归一化压制离群值的效果因此具有两面性,对罕见高分有害,对 judge API 失败造成的罕见低分则有缓解作用。实验中,把失败回答作为缺失数据剔除,比依赖归一化的效果更好。所有实验均为不含语言模型的玩具模型。

1. 背景

1.1 概率预测任务

概率预测任务要求模型针对结果尚未揭晓的问题给出事件发生的概率 \(p\in[0,1]\),例如“这项法案年底前会通过吗”。模型可以推理,也可以调用搜索工具。事件结算后得到结果 \(y\in\{0,1\}\)。训练目标是校准:在模型报 0.7 的问题中,事件约有 70% 发生。

对比项 确定性任务(如数学题) 概率预测
模型输出 一个答案 一个概率
最优输出 正确答案 事件的真实概率 \(q\)
训练标签 正确答案本身 \(q\) 的一次随机实现
固定回答后,奖励是否随机 否 是

最后一行是本文分析的核心。一道题只结算一次,\(q=0.6\) 的事件未发生并不说明报 0.6 有误,因此只能通过期望表现评价预测。

1.2 评分规则

Brier 分数定义为 \((p-y)^2\),越小越好。例如 \(p=0.7\) 时,事件发生得 0.09,未发生得 0.49。强化学习中常取奖励 \(R=1-(p-y)^2\)。

设真实概率为 \(q\),期望 Brier 分数为 \(q(1-p)^2+(1-q)p^2\),在 \(p=q\) 处取唯一最小值。以 \(q=0.4\) 为例:

预测 \(p\) 期望 Brier 分数
0 0.40
0.4 0.24
1 0.60

评分规则 \(S(p,y)\) 若使期望得分在 \(p=q\) 处最优,则称为 proper scoring rule;最优解唯一时称为严格 proper。除 Brier 分数外,本文还使用以下两种规则,均以越大越好的形式书写:

  • 对数分: \(S(p,y)=y\log p+(1-y)\log(1-p)\)。
  • 球面分: \(S(p,y)=\big(yp+(1-y)(1-p)\big)/\sqrt{p^2+(1-p)^2}\)。

相关工作中常用两个评价指标。ECE(Expected Calibration Error)把预测按概率分桶,计算各桶平均预测与实际发生率之差,再按样本数加权。AUROC 是随机抽取一个正例和一个负例时,模型给正例更高概率的可能性,只反映排序能力。

1.3 GRPO

GRPO(Group Relative Policy Optimization)是一种无需价值网络的策略梯度方法。对同一道题采样 \(n\) 条回答(rollout),它们构成一组。设第 \(i\) 条回答的奖励为 \(R_i\),则优势为:

\[\begin{aligned} A_i&=\frac{R_i-\bar R}{s_R},\\ \bar R&=\frac1n\sum_{j}R_j,\\ s_R&=\mathrm{std}(R_1,\dots,R_n). \end{aligned}\]

这条回答的所有 token 共享 \(A_i\)。本文称只减均值的版本为“不除 std”,它也是 Dr. GRPO 的组成部分。G2

1.4 记号

设组内预测值为 \(x_i\),组内均值为 \(\bar x\),偏差为 \(d_i=x_i-\bar x\),组内标准差为 \(s\)。“共享标签”指同组回答使用同一个标签 \(y\),这是预测任务的情况。“独立标签”指每条回答各自抽取 \(y_i\)。

3. 理论分析

3.1 一阶近似:归一化只保留符号

命题 1。 设同组共享标签 \(y\),\(S\) 关于预测值二阶可微,且 \(S'(\bar x,y)\neq0\)。当 \(s\to0\) 时:

\[\begin{aligned} \frac{R_i-\bar R}{s_R} &=\mathrm{sign}\big(S'(\bar x,y)\big)\,\frac{d_i}{s}\\ &\quad+O\!\left(\frac{s}{\lvert S'(\bar x,y)\rvert}\right). \end{aligned}\]

推导。 由泰勒展开,\(R_i-\bar R=S'(\bar x,y)d_i+O(s^2)\),因此 \(s_R=\lvert S'(\bar x,y)\rvert s+O(s^2)\),两式相除即得。\(\square\)

Brier、对数分和球面分在 \((0,1)\) 上都满足 \(S'(p,1)>0\) 且 \(S'(p,0)<0\)。对标签取期望得:

\[\begin{aligned} \mathbb E_y\left[\frac{R_i-\bar R}{s_R}\right]\approx(2q-1)\,\frac{d_i}{s}. \end{aligned}\]

该漂移在 \((0,1)\) 内没有不动点,其方向只取决于 \(q\) 在 0.5 的哪一侧。作为对比,Brier 奖励不除 std 时有精确恒等式 \(R_i-\bar R=2(y-\bar x)d_i-(d_i^2-\overline{d^2})\),一阶项的期望为 \(2(q-\bar x)d_i\),不动点是 \(\bar x=q\)。

Proper score 依靠斜率的大小编码概率:\(p=q\) 处两种结果的期望斜率正好抵消。归一化消去了斜率的大小,也就消去了这种平衡。将 Brier 分数代入 G1 的近似式,取 \(\sigma_1\approx2(1-\bar x)s\) 和 \(\sigma_0\approx2\bar x s\),得到相同结果,因此两种表述是一致的。

推广到一般标签。 对平方误差和任意标签分布,同样的推导给出漂移 \(\mathbb E[\mathrm{sign}(y-\bar x)]=P(y>\bar x)-P(y<\bar x)\),其零点是中位数。伯努利分布的中位数在 \(q\neq0.5\) 时只能是 0 或 1,这就是预测被推向边界的原因。

3.2 闭式解:pseudo-Huber 等价

命题 2。 设 \(x_i=\mu+\sigma z_i\),\(z_i\sim\mathcal N(0,1)\),\(R_i=-(x_i-y)^2\),同组共享 \(y\)。在极限与期望可交换的条件下,当 \(n\to\infty\),REINFORCE 估计 \(\frac1n\sum_iA_iz_i/\sigma\) 的期望为:

\[\begin{aligned} &\frac1\sigma\,\mathbb E_y\left[\frac{y-\mu}{\sqrt{(y-\mu)^2+\sigma^2/2}}\right]\\ &\quad=-\frac1\sigma\,\frac{\partial}{\partial\mu}\,\mathbb E_y\left[\sqrt{(\mu-y)^2+\sigma^2/2}\right]. \end{aligned}\]

推导。 令 \(e=y-\mu\),则 \(R=-e^2+2e\sigma z-\sigma^2z^2\)。由 \(\mathrm{Cov}(z,z^2)=0\) 和 \(\mathrm{Var}(z^2)=2\),给定 \(y\) 时有 \(\mathrm{Cov}(R,z)=2e\sigma\),\(\mathrm{Var}(R)=4e^2\sigma^2+2\sigma^4\)。代入 \(\mathrm{Cov}(R,z)/(\sigma\sqrt{\mathrm{Var}(R)})\) 后对 \(y\) 取期望即得。\(\square\)

因此,该设置下的更新等价于最小化 pseudo-Huber 损失,尺度为 \(\sigma/\sqrt2\):\(\sigma\to0\) 时趋于绝对误差,目标是中位数;\(\sigma\to\infty\) 时趋于平方误差的缩放形式,目标是均值。偏差大小由标签误差与组内差异之比决定。不除 std 时对应的期望更新为 \(2\,\mathbb E[y-\mu]\),目标始终是均值。

注。 当中位数落在分布的原子上时,不动点不恰好是中位数。对两点分布 \(\{0,10\}\),\(P(10)=0.4\),且 \(\sigma\ll10\) 时,令两侧拉力相等可得 \(\mu^*\approx\sqrt{0.4}\,\sigma\approx0.632\sigma\)。

3.3 独立标签:极限回到均值,有限组存在另一种偏差

命题 3。 在命题 2 的设置下,若每条回答独立抽取 \(y_i\) 且 \(\mathrm{Var}(R)<\infty\),则当 \(n\to\infty\),\(s_R\) 收敛到不依赖具体标签的常数,期望更新为 \(2\,\mathbb E[y-\mu]/\sqrt{\mathrm{Var}(R)}\),不动点是均值。

推导。 此时 \(R_i\) 独立同分布,\(s_R\to\sqrt{\mathrm{Var}(R)}\),且 \(\mathrm{Cov}(R,z)=2\sigma\,\mathbb E[y-\mu]\)。\(\square\)

因此,共享标签偏差不随组变大而消失的原因是:\(s_R\) 的极限依赖 \(y\)。

有限组的自归一化。 回答自身的奖励同时出现在 \(A_i\) 的分子和分母中。由 Samuelson 不等式,\(\lvert A_i\rvert\le(n-1)/\sqrt n\),\(n=8\) 时约为 2.47。当某条回答的奖励主导组内方差时,\(A_i\) 接近该上限并趋于饱和,其大小不再反映奖励偏离的程度。因此,离群回答对更新的影响被压制。这个机制随 \(n\) 增大而减弱。如果它是偏差的主要来源,那么计算标准差时排除回答自身应当能消除偏差。第 4.5 节检验了这一预测。

4. 实验

4.1 共同设置

所有实验都是不含语言模型的玩具模型,目的是隔离奖励和优势变换的作用。更新采用 REINFORCE,不含 PPO 裁剪。每个配置运行 8 个重复实验,每步 32 组。表中默认报告最后 25% 步数上的平均值;方括号内是 8 个重复的最小值和最大值,不是置信区间。不同算法的学习率不同,所以只比较收敛位置和归一化后的信噪比,不比较收敛速度。

实验 策略 奖励与标签 步数 学习率
E1、E2 \(\mathrm{logit}(p)\sim\mathcal N(\mu,\sigma^2)\),\(\mu_0=0\),截断于 \(\pm8\) 三种评分规则,\(y\sim\mathrm{Bernoulli}(q)\) 40000 0.02
E3–E5 \(x\sim\mathcal N(\mu,\sigma^2)\),\(\mu_0\) 为分布均值(E4、E5 为 1) 平方误差或 pinball,连续或两点标签 40000 不除 std 0.01;除 std \(0.02\sigma\)
E6 两动作 softmax,\(\pi_0(B)=0.5\),\(\theta\) 截断于 \(\pm6\) judge 风格噪声 30000 不除 std 0.5;除 std 0.1
E7 同 E6,信噪比实验固定 \(\pi(B)=0.5\) judge API 失败 30000 见第 5.5 节

4.2 E1:评分规则与归一化方式

问题。 极端化是否依赖具体的评分规则?标签噪声是否必要?

设置。 \(\sigma=0.2\),\(n=8\)。比较不除 std、除 batch 级 std、除组内 std。另设“期望分数”条件,把随机标签替换为 \(qS(p,1)+(1-q)S(p,0)\)。报告值为平均 \(\mu\) 对应的概率。

规则 \(q\) 不除 std batch std 组内 std 期望分数,不除 std 期望分数,组内 std
Brier 0.2 0.194 0.181 0.001 0.194 0.197
Brier 0.4 0.397 0.393 0.002 0.397 0.398
Brier 0.6 0.603 0.608 0.998 0.603 0.602
Brier 0.8 0.806 0.819 0.999 0.806 0.803
对数分 0.2 0.198 0.185 0.000 0.198 0.199
对数分 0.4 0.399 0.395 0.000 0.399 0.399
对数分 0.6 0.602 0.606 1.000 0.601 0.601
对数分 0.8 0.802 0.816 1.000 0.802 0.801
球面分 0.2 0.192 0.179 0.001 0.192 0.195
球面分 0.4 0.395 0.391 0.003 0.395 0.397
球面分 0.6 0.606 0.610 0.997 0.605 0.603
球面分 0.8 0.809 0.822 0.999 0.808 0.805

表中为 8 个重复的平均值,同一配置内最大值和最小值之差不超过 0.004。

结果。 除组内 std 时,三种规则都收敛到边界附近(不超过 0.003 或不低于 0.997)。换成期望分数后,同样除组内 std,结果回到 \(q\) 附近。这说明极端化来自标签噪声和组内归一化的组合,且不依赖具体的规则,与命题 1 一致。

另有两点观察。第一,不除 std 时的小偏差(如 \(q=0.2\) 时 Brier 为 0.194)与期望分数条件一致,因此来自 logit 策略的平滑,与标签噪声无关。第二,除 batch 级 std 不会造成极端化,但存在小偏差:\(q=0.2\) 时 Brier 为 0.181,略偏离不除 std 的 0.194。

4.3 E2:策略标准差和组大小

问题。 极端化是否只在特定的 \(\sigma\) 或 \(n\) 下出现?

设置。 Brier 奖励,\(q=0.4\),除组内 std,分别改变 \(\sigma\)(\(n=8\))和 \(n\)(\(\sigma=0.2\))。

配置 收敛的 \(p\)
\(\sigma=0.05\) 0.005 [0.004, 0.005]
\(\sigma=0.2\) 0.002 [0.002, 0.002]
\(\sigma=0.5\) 0.001 [0.001, 0.001]
\(\sigma=1.0\) 0.001 [0.001, 0.001]
\(\sigma=2.0\) 0.000 [0.000, 0.000]
\(n=2\) 0.002 [0.002, 0.002]
\(n=4\) 0.002 [0.002, 0.002]
\(n=8\) 0.002 [0.002, 0.002]
\(n=16\) 0.002 [0.002, 0.002]
\(n=64\) 0.002 [0.002, 0.002]

结果。 所有配置都收敛到 0.005 以下。增大 \(n\) 不能缓解极端化,与共享标签下 \(s_R\) 的极限依赖 \(y\) 相符。增大 logit 空间的 \(\sigma\) 也没有缓解,这与 E3 中常数 \(\sigma\) 的情况不同。一种可能的原因是 logit 策略靠近边界时,概率空间的组内差异随之缩小,这一点未单独检验。

4.4 E3:连续标签与闭式解

问题。 命题 2 的闭式解是否准确?目标是否在中位数和均值之间变化?

设置。 平方误差奖励,\(n=8\),共享标签。对每个分布取 6 个 \(\sigma\),\(\sigma\) 按 \(\max(\lvert\text{均值}\rvert,1)\) 的 0.05 到 5 倍取值,下表列出其中 3 个。闭式解由二分法求解命题 2 的零点。

标签分布 均值 / 中位数 \(\sigma\) 闭式解 除组内 std(模拟) 不除 std
指数分布 1.00 / 0.69 0.2 0.710 0.707 [0.706, 0.708] 1.001
指数分布 1.00 / 0.69 1.0 0.806 0.816 [0.814, 0.819] 1.001
指数分布 1.00 / 0.69 5.0 0.954 0.968 [0.961, 0.976] 1.000
对数正态 1.65 / 1.00 0.33 1.037 1.031 [1.030, 1.033] 1.648
对数正态 1.65 / 1.00 1.649 1.213 1.232 [1.226, 1.236] 1.648
对数正态 1.65 / 1.00 8.244 1.492 1.520 [1.499, 1.530] 1.647
Gamma(2,1) 2.00 / 1.68 0.4 1.701 1.699 [1.697, 1.701] 2.001
Gamma(2,1) 2.00 / 1.68 2.0 1.820 1.836 [1.834, 1.838] 2.000
Gamma(2,1) 2.00 / 1.68 10.0 1.970 1.979 [1.966, 1.991] 1.997
两点 \(\{0,10\}\) 4.00 / 0.00 0.8 0.504 0.514 [0.509, 0.520] 4.001
两点 \(\{0,10\}\) 4.00 / 0.00 4.0 2.271 2.426 [2.402, 2.447] 4.000
两点 \(\{0,10\}\) 4.00 / 0.00 20.0 3.882 3.928 [3.905, 3.956] 3.991

结果。 模拟值随 \(\sigma\) 增大从中位数附近移向均值,并与闭式解吻合。\(\sigma\) 较大时的差距来自有限组:指数分布 \(\sigma=2\) 时闭式解为 0.877,\(n=8,64,256\) 的模拟值分别为 0.895、0.880、0.877。两点分布 \(\sigma=0.2\) 时模拟值为 0.129,与注中的近似 \(0.632\sigma\approx0.126\) 一致。不除 std 时,所有非对称分布配置都收敛到均值,最大偏差为 0.009。正态、均匀和常数标签作为对照,除不除 std 都收敛到正确位置,最大偏差为 0.003。

4.5 E4:独立标签与自归一化

问题。 共享标签是否是偏差的必要条件?独立标签的有限组偏差是否来自回答自身对 \(s_R\) 的贡献?

设置。 指数分布标签(均值 1.00,中位数 0.693),平方误差,\(\sigma=0.2\)。分母分别取普通组内 std,以及排除回答自身的 leave-one-out(LOO)std,后者由其余 \(n-1\) 条回答计算。

\(n\) 独立,普通 std 独立,LOO std 共享,普通 std 共享,LOO std
4 0.553 [0.550, 0.557] 1.316 [0.256, 4.722] 0.705 [0.702, 0.707] 0.648 [0.566, 0.705]
8 0.660 [0.658, 0.663] 1.003 [0.992, 1.011] 0.707 [0.706, 0.708] 0.689 [0.686, 0.691]
16 0.768 [0.766, 0.770] 0.997 [0.992, 1.001] 0.708 [0.705, 0.711] 0.699 [0.696, 0.702]
64 0.917 [0.916, 0.920] 1.000 [0.999, 1.003] 0.710 [0.706, 0.713] 0.707 [0.704, 0.710]

结果。

  1. 共享标签不是必要条件。 独立标签且用普通 std 时,\(n=8\) 的结果是 0.660,比共享标签的 0.707 偏离均值更多,也低于中位数。因此小组独立标签的目标并不等于中位数。
  2. 独立标签的偏差随 \(n\) 减小, 与命题 3 一致;共享标签基本不变。
  3. LOO 消除了独立标签的偏差。 \(n\ge8\) 时,结果回到均值,最大偏差为 0.003,支持第 3.3 节的自归一化机制。
  4. LOO 对共享标签无效, 因为其他回答携带相同的 \(y\),分母仍依赖标签。
  5. \(n=4\) 时 LOO 不稳定。 只用 3 个样本估计 std,重复实验之间差异很大(独立标签为 [0.256, 4.722]),因此这一组不作为证据。

LOO 在这里仅作为检验机制的工具,并不是修复方案,因为它对共享标签无效。

4.6 E5:分位数目标

问题。 除组内 std 是否也会影响非中位数的分位数目标?

设置。 指数分布标签,共享标签,pinball 奖励 \(-\rho_\tau(y-x)\),其中 \(\rho_\tau(u)=\max(\tau u,(\tau-1)u)\),\(\sigma=0.2\),\(n=8\)。中位数约为 0.693。

\(\tau\) 真实分位数 不除 std 除组内 std
0.1 0.105 0.061 [0.060, 0.062] 0.522 [0.520, 0.523]
0.5 0.693 0.714 [0.713, 0.715] 0.703 [0.702, 0.705]
0.9 2.303 2.326 [2.320, 2.337] 0.889 [0.888, 0.891]

结果。 不除 std 时收敛值接近目标分位数。\(\tau=0.1\) 时的偏差相对较大,可能来自 \(\sigma\) 的平滑。除 std 时,\(\tau=0.1\) 和 \(\tau=0.9\) 都被明显拉向中位数,但没有到达,因为符号近似要求全组都落在标签同一侧,这一条件在此并不总成立。

5. LLM judge 奖励

5.1 Rubric RL

许多任务没有可自动核对的答案。Rubric RL 为每道题编写评分细则(rubric),由语言模型作为 judge 逐条判断回答是否满足,加权后作为奖励。G12 G14

这与概率预测有本质区别。模型不报概率,也没有“预测值到带噪标签的距离”,因此命题 1 和命题 2 不能直接套用。更合适的奖励模型是:

\[\begin{aligned} R_i=f(o_i)+\varepsilon_i, \end{aligned}\]

其中 \(f(o)\) 是回答 \(o\) 的真实质量,\(\varepsilon_i\) 是 judge 噪声。噪声通常按回答独立,因此相关的是第 3.3 节的自归一化机制,而不是共享标签的符号化机制。

5.2 Judge 的一致性

研究 设置 重复判分的一致性 与人的一致性
Norman 等 G9 21 个 judge,约 54.1 万次判断,温度 0,成对比较 Krippendorff’s α:MT-Bench 0.888–0.992;JudgeBench 0.840–0.978 Cohen’s κ:MT-Bench 0.376–0.511;JudgeBench 0.271–0.875
Raghavendra 等 G10 每个生成模型 100 个 rubric 条目,GPT-5 各判 5 次 2% 和 9% 的条目判定不一致 未测
Arora 等 G11 HealthBench,34 条共识标准,超过 6 万个判断样例 未报告 GPT-4.1 的 macro F1 为 0.709;在 7 个主题中有 5 个超过医生平均

α 和 κ 都是扣除偶然一致后的系数,1 表示完全一致,0 表示相当于偶然水平。

有两点值得注意。一致不等于正确:G9 中 Qwen 3 8B 的 α 为 0.992,但其位置偏差 \(\lvert P(A)-0.5\rvert\) 为 0.192。此外,这些统计大多不是在训练环路内测量的:G9 全部使用温度 0,而 G12 在训练中使用温度 0.1 的 judge,并且明确没有测量可靠性。G12 还给出,等权且噪声独立时,总噪声方差约为 \(\tau^2/M\),其中 \(M\) 是条目数;相关或系统性的错误则不会被平均掉。

5.3 E6:判别噪声下的动作选择

问题。 独立奖励噪声是否会使除 std 选错动作?

设置。 两动作 bandit,动作 B 的平均奖励始终更高,初始 \(\pi(B)=0.5\)。表中报告最后 25% 步数上 \(\pi(B)\) 的平均值,\(\theta\) 的截断使其上限约为 0.998。

奖励(A vs B) 不除 std(\(n=8\)) 除 std,\(n=4\) 除 std,\(n=8\) 除 std,\(n=64\)
二元通过,0.60 vs 0.65 0.998 0.994 [0.993, 0.995] 0.995 [0.995, 0.996] 0.996 [0.996, 0.996]
相同高斯噪声(sd 0.2),0.60 vs 0.65 0.998 0.998 [0.997, 0.998] 0.998 [0.998, 0.998] 0.998 [0.998, 0.998]
B 噪声更大,0.60 sd 0.02 vs 0.65 sd 0.3 0.998 0.997 [0.997, 0.997] 0.998 [0.997, 0.998] 0.997 [0.997, 0.997]
B 双峰,0.60 固定 vs 等概率 1 或 0.3 0.998 0.995 [0.994, 0.995] 0.997 [0.997, 0.997] 0.997 [0.997, 0.997]
B 罕见大收益,0.10 固定 vs 15% 概率得 1 0.998 0.002 [0.002, 0.002] 0.002 [0.002, 0.002] 0.997 [0.997, 0.997]
同组共享严格度(乘 0.5–1.5),0.60 vs 0.65 0.998 0.998 [0.998, 0.998] 0.998 [0.998, 0.998] 0.998 [0.998, 0.998]

结果。 对称噪声、动作相关的噪声方差和同组共享的乘性严格度都没有改变选择。唯一翻转的场景是罕见大收益:B 的平均分 0.15 高于 A 的 0.10,但 \(n=4,8\) 时除 std 选择 A,\(n=64\) 时恢复为 B。这与自归一化压制离群值的机制一致,但本实验未单独排除其他解释。

因此,rubric 分数接近对称时,目标偏移的风险较低。系统性偏差与归一化无关,去掉 std 无法解决。DARLING 报告的噪声放大是另一种独立的风险。G13

5.4 Fallback:judge API 失败的理论分析

实际训练中,judge 调用可能失败,常见做法是填入一个 fallback 分数(如 0)。这种奖励与回答质量无关。设失败率为 \(\rho(o)\),fallback 值为 \(c\),则:

\[\begin{aligned} \mathbb E[R\mid o]=\big(1-\rho(o)\big)f(o)+\rho(o)\,c. \end{aligned}\]

分两种情况讨论:

  • 失败率与回答无关(\(\rho(o)\equiv\rho\))。 这是 \(f\) 的正仿射变换,回答的排序不变。因此不除 std 的梯度方向在期望上不受影响,fallback 只增加方差。
  • 失败率与回答有关。 排序可能改变。比如失败率高的回答,其观测均值可能低于质量较差但不易失败的回答。

固定回答 \(o\) 时,若 \(\rho(o)<0.5\) 且 judge 噪声很小,则 \(R\mid o\) 的中位数和众数都近似等于 \(f(o)\),均值却会被 fallback 拉低。在这个意义上,中位数更接近要优化的量。但需要注意,GRPO 除 std 后的基线仍然是均值,并没有计算中位数。两者的联系来自第 3.3 节的自归一化:小组内离群回答的影响被压制,而这一效果依赖 \(n\)。

5.5 E7:Fallback 实验

设置。 动作 A 和 B 的质量分别为 0.60 和 0.65,judge 噪声标准差为 \(\tau\)。失败时奖励为 0。比较五种优势:

记号 定义
只减均值 \(R_i-\bar R\)
均值 + std \((R_i-\bar R)/s_R\)
中位数 + MAD \((R_i-\mathrm{med})/\mathrm{MAD}\)
剔除失败 失败回答不参与均值计算和损失,其余只减均值
剔除失败 + std 同上,再除以有效回答的 std

实验 A:信噪比。 失败率与动作无关。固定 \(\pi(B)=0.5\),每个配置抽取 4000 个 batch,计算 \(\theta\) 的 batch 梯度的均值与标准差之比。该指标不受优势尺度影响,越大越好。下表 \(n=8\)。

\(\tau\) \(\rho\) 只减均值 均值 + std 中位数 + MAD 剔除失败 剔除失败 + std
0.02 0.0 15.96 25.23 12.99 15.96 25.23
0.02 0.02 4.00 11.44 3.43 15.54 23.99
0.02 0.05 2.53 7.29 0.01 14.96 22.30
0.02 0.1 1.77 4.59 0.01 13.92 19.84
0.02 0.2 1.24 2.43 0.06 12.04 16.09
0.2 0.0 1.89 1.84 1.60 1.89 1.84
0.2 0.02 1.71 1.72 1.47 1.86 1.82
0.2 0.05 1.51 1.56 -0.01 1.83 1.78
0.2 0.1 1.28 1.34 -0.00 1.77 1.72
0.2 0.2 1.01 1.04 0.06 1.63 1.57

实验 B:动作选择。 只有 B 会失败,\(\rho_B=0.1\),\(\tau=0.02\)。此时 B 的观测均值为 0.585,低于 A 的 0.60,但 B 的真实质量更高。表中报告 \(\pi(B)\)。只减均值和剔除失败的学习率为 0.5,其余为 0.1。

\(n\) 只减均值 均值 + std 中位数 + MAD 剔除失败 剔除失败 + std
4 0.007 [0.007, 0.008] 0.998 [0.998, 0.998] 0.003 [0.003, 0.003] 0.998 [0.998, 0.998] 0.998 [0.998, 0.998]
8 0.006 [0.006, 0.006] 0.998 [0.998, 0.998] 0.003 [0.003, 0.003] 0.998 [0.998, 0.998] 0.998 [0.998, 0.998]
64 0.005 [0.005, 0.005] 0.448 [0.442, 0.451] 0.002 [0.002, 0.002] 0.998 [0.998, 0.998] 0.998 [0.998, 0.998]

结果。

  1. Fallback 确实严重损害只减均值的信噪比。 \(\tau=0.02\) 时,2% 的失败率就使它从 15.96 降到 4.00。
  2. 除 std 有缓解作用,但没有免疫。 同样条件下,均值 + std 从 25.23 降到 11.44,仍高于只减均值。这部分支持“fallback 下除 std 更稳健”的直觉。\(\tau=0.2\) 时,判别噪声已经很大,两者接近(\(\rho=0.02\) 时分别为 1.71 和 1.72)。
  3. 把失败作为缺失数据效果最好。 剔除失败在 \(\rho=0.02\) 时只从 15.96 降到 15.54。无论 \(\tau\) 取何值,它都不差于同样是否除 std 的未剔除版本。
  4. 动作相关的失败会改变选择。 只减均值忠实地优化观测均值,因而选择 A。除 std 在 \(n=4,8\) 时选择 B,但 \(n=64\) 时降到 0.448,所以这种抵抗依赖组大小,并不可靠。剔除失败在所有 \(n\) 下都选择 B。
  5. 本实验中的“中位数 + MAD”并不稳健。 信噪比接近 0,动作选择也错误。中位数基线虽然不受离群值影响,但 MAD 不限制离群回答自身的优势:\(\tau=0.02\) 时,MAD 约为 0.025,失败回答的优势约为 \(-25\)。这个结果只针对本实验的简单组合和失败场景,不是对 MC-GRPO 在其目标任务上的评价。

5.6 同一机制的两面

E6 和 E7 可以用同一个机制解释:小组内的自归一化压制罕见的离群奖励,至于这是好是坏,取决于离群值是否携带信号。

离群类型 是否携带信号 小组除 std 的效果
罕见高分(E6) 是 有害,可能选错动作
API 失败的罕见低分(E7) 否 有益,缓解噪声
预测任务的共享标签(E1–E3) 是,但被符号化 有害,且不随组变大而消失

归一化本身无法区分这几种情况,这也是不宜依赖它处理 fallback 的原因。

6. 讨论

6.1 可能受影响的场景

判断标准是:固定回答后奖励是否仍然随机,这种随机性是否偏态或含离群值。难题上成功率低,但随机性来自策略采样,回答一旦确定分数也随之确定,因此不属于此类。

场景 可能的机制 证据
随机结果的概率预测 共享标签的符号化 实验 G1
奖励模型、Bradley–Terry 奖励 噪声放大 实验 G13
稠密的预测改进奖励 小奖励被放大 实验(单种子)G8
非中位数的分位数预测 目标被拉向中位数 玩具实验 E5
带罕见高收益的任务 自归一化压制信号 玩具实验 E6
置信度估计、拒答判断 本质也是概率预测 推断
期望收益与风险决策 共享市场结果,收益常偏态 推断
点击、转化等稀有反馈 罕见高收益 推断
用户模拟器、人类偏好、随机游戏 相同回答可能得到不同结果 推断

6.2 实践建议

  1. 概率预测和期望值目标:只减均值,不除 std。 RLOO 也可以,不除 std 的 GRPO 优势只差常数因子 \((n-1)/n\)。G1 去掉 std 后优势可能明显变小,应重新检查学习率和梯度裁剪。
  2. 同时评估校准和准确率。 G1 中各算法的阈值准确率几乎相同,单看准确率无法发现校准问题。
  3. judge 失败是缺失数据,不是分数。 优先重试;无法恢复时从组内统计和损失中剔除,不填充 fallback 分数。同时记录失败率与回答长度等特征的关系,因为与回答相关的失败可能也是真实成本(如过长的回答触发超时),应该单独决定是否惩罚。
  4. 使用 judge 前先做测量。 用与训练相同的温度对同一批回答重复判分,估计噪声方差并与组内奖励方差比较;检查奖励是否偏态;并通过交换位置、改写和加长回答检验系统性偏差。

6.3 局限

  • 模型简化。 所有实验都是单参数或两动作玩具模型,没有语言模型,也没有搜索或推理行为。真实策略既不是高斯分布,组内差异也随题目变化。
  • 理论条件。 命题 1 是 \(s\to0\) 的近似;命题 2 依赖高斯策略、二次奖励和 \(n\to\infty\);第 3.3 节的自归一化是定性分析,由 E4 间接支持。
  • 参数设定。 E6 和 E7 的质量差距、噪声和失败率都是人为设定的,只能说明方向,不能预测真实训练中的幅度。
  • 不确定性报告。 方括号是 8 个重复的范围,未做正式的显著性检验。
  • 真实模型上的证据 来自引用的文献,不来自本文的实验。带搜索工具的预测智能体上开关 std 的消融实验,本文也未能在检索范围内找到。

6.4 开放问题

  • 在真实语言模型的训练中,\(\sigma\) 与标签误差的比值落在哪个区间?命题 2 的直觉是否适用?
  • 训练环路内的 judge 噪声有多大?模型学会迎合 judge 后,噪声和偏差如何变化?
  • 分步奖励是否会放大这些问题?Dark Room 在 ALFWorld 上报告,带 std 时预测改进奖励使任务成功率降到 0%,去掉 std 后为 51.6%,与无信号对照的 52.6% 接近,该结果为单种子。G8

7. 结论

除以组内标准差不只是改变尺度。标签有噪声时,它可能改变优化目标。共享标签下,目标从均值偏向中位数,且增大组不能解决;独立噪声下,小组会压制离群奖励,这既可能丢失罕见的真实信号,也可能缓解 API 失败造成的噪声。因此,是否除 std 应取决于奖励的噪声结构,而 fallback 这样的基础设施故障应该在进入奖励之前处理。

复现

代码和结果见 docs/grpo-std-noisy-labels-20261105。只依赖 NumPy,固定随机种子。sim.py 和 theory.py 对应 E1–E3、E5 和闭式解,loo_std.py 对应 E4,judge_sim.py 对应 E6,fallback_sim.py 对应 E7。

参考文献

年份指 arXiv 首发年,发表时间可能更晚。

  1. G1 Uncalibrated Reasoning: GRPO Induces Overconfidence for Stochastic Outcomes
    Michael Bereket, Jure Leskovec · 2025 · arXiv(年份为首发)
  2. G2 Understanding R1-Zero-Like Training: A Critical Perspective
    Zichen Liu, Changyu Chen, Wenjun Li et al. · 2025 · arXiv(年份为首发)
  3. G3 Outcome-based Reinforcement Learning to Predict the Future
    Benjamin Turtel, Danny Franklin, Kris Skotheim et al. · 2025 · arXiv(年份为首发)
  4. G4 Why GRPO Needs Normalization: A Local-Curvature Perspective on Adaptive Gradients
    Cheng Ge, Caitlyn Heqi Yin, Hao Liang, Jiawei Zhang · 2026 · arXiv(年份为首发)
  5. G5 Noise-corrected GRPO: From Noisy Rewards to Unbiased Gradients
    Omar El Mansouri, Fathinah Asma Izzati, Mohamed El Amine Seddik, Salem Lahlou · 2025 · arXiv(年份为首发)
  6. G6 MC-GRPO: Median-Centered Group Relative Policy Optimization for Small-Rollout Reinforcement Learning
    Youngeun Kim · 2026 · arXiv(年份为首发)
  7. G7 Verifiable Rewards for Calibrated Probabilistic Forecasting
    Sadanand Singh, Allam Reddy, Manan Chopra · 2026 · arXiv(年份为首发)
  8. G8 The Dark Room in the Reward Channel: Dense Prediction Rewards Collapse GRPO-Trained LLM Agents
    Yu Wang · 2026 · arXiv(年份为首发)
  9. G9 Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias
    Justin D. Norman, Michael U. Rivera, D. Alex Hughes · 2026 · arXiv(年份为首发)
  10. G10 Agentic Rubrics as Contextual Verifiers for SWE Agents
    Mohit Raghavendra, Anisha Gunjal, Bing Liu, Yunzhong He · 2026 · arXiv(年份为首发)
  11. G11 HealthBench: Evaluating Large Language Models Towards Improved Human Health
    Rahul K. Arora, Jason Wei, Rebecca Soskin Hicks et al. · 2025 · arXiv(年份为首发)
  12. G12 Rubric-Grounded RL: Structured Judge Rewards for Generalizable Reasoning
    Manish Bhattarai, Ismael Boureima, Nishath Rajiv Ranasinghe, Scott Pakin, Dan O'Malley · 2026 · arXiv(年份为首发)
  13. G13 Jointly Reinforcing Diversity and Quality in Language Model Generations
    Tianjian Li, Yiming Zhang, Ping Yu et al. · 2025 · arXiv(年份为首发)
  14. G14 Step-wise Rubric Rewards for LLM Reasoning
    Weichu Xie, Haozhe Zhao, Wenpu Liu et al. · 2026 · arXiv(年份为首发)