GRPO 的形式以及解决的问题

在开始推导之前，仍然先把我们考虑的核心目标列出：

J(\theta) = \mathbb{E}_{q\sim D,o\sim \pi}[R(q,o)]

这里的 $q$ 代表的是我们的 Prompt，而这里的 $o$ 则代表模型对于这个 Prompt 的输出序列： $(o_1,o_2,\dots,o_T)$ ，这里我们的奖励 $R$ 则代表了最后回答的奖励以及 KL 散度约束。

根据策略梯度的原理，我们可以写出最基本的梯度估计：

\nabla_\theta J(\theta)=\mathbb{E}\left[ R(q,o)\sum_1^T \nabla_\theta \log \pi_\theta(o_t|q,o_{<t}) \right]

在我们实际的训练中，由于单纯使用 $R$ 会遇到方差难以控制的问题，所以现有的方法都会减去一个 Baseline：

\nabla_\theta J(\theta)=\mathbb{E}\left[ \left(R(q,o)-b\right)\sum_1^T \nabla_\theta \log \pi_\theta(o_t|q,o_{<t}) \right]

而 PPO 和 GRPO 的核心区别就是当前减去的 Baseline 或优势函数是如何计算出来的。

PPO 往往通过 GAE 的计算方法来得到优势函数：

\delta_t = r_t+\gamma V_\psi(s_{t+1})-V_\psi(s_t)

\hat A_t^{\mathrm{GAE}} = \sum_{l=0}^{T-t} (\gamma\lambda)^l\delta_{t+l}

而一般 PPO 的优化目标是：

J_{\mathrm{PPO}}(\theta) = \mathbb E \left[ \frac{1}{T} \sum_{t=1}^{T} \min \left( \rho_t\hat A_t,\, \operatorname{clip} (\rho_t,1-\varepsilon,1+\varepsilon) \hat A_t \right) \right]

其中， $\rho$ 代表的是当前策略和更新前 Old 策略的概率比：

\rho_t = \frac{\pi_\theta(o_t|q,o_{<t})}{\pi_{old}(o_t|q,o_{<t})}

但是在 PPO 的训练中我们需要同步训练一个 Value Model 用于随时计算优势，这会带来额外的不稳定性以及开销。

GRPO 不训练价值模型，对于同一个问题 $q$ ，我们可以 Rollout 多条回答：

o_1,o_2,\dots,o_G \sim \pi_{old}

并分别计算出他们各自的奖励 $r_i = R(q,o_i)$ ，这样可以得到一组奖励 $r = (r_1,r_2,\dots,r_G)$ 。而我们就可以计算组内的平均值和标准差：

\mu_r = \frac{1}{G} \sum_i^G r_i,\ \sigma_r = \sqrt{\frac{1}{G}\sum_i^G(r_i - \mu_r)^2}

我们就可以把一个回答的优势表示为：

\hat{A}_i = \frac{r_i - \mu_r}{\sigma_r}

在实际的操作中，我们会给标准差加上一个微小的值来防止除零。

实际的 GRPO 目标函数和 PPO 几乎一致，可以完整的写成：

J_{GRPO}(\theta) = \mathbb{E}\left[ \frac{1}{G}\sum_{i=1}^G \frac{1}{T_i} \sum_{t=1}^{T_i} \left( \min \left[ \rho_{i,t}(\theta) ,\text{clip}(\rho_{i,t},1-\epsilon,1+\epsilon) \right] \cdot\hat{A}_{i,t} -\beta D_{KL}(\pi_\theta||\pi_{\text{ref}})_{i,t} \right) \right]

其实除了加入了组（ $G$ ）这个维度，以及将优势函数的计算替换掉，其余部分和 PPO 没有本质的区别。需要关注的是，在计算 KL 散度的时候，传统的 PPO 往往会让逐 Token 的 KL 散度融合到每一个 Token 的奖励里，但是在 GRPO 中往往 KL 散度作为一个单独的项进行计算。

在实际的 DSM 的论文中，他们使用了过程奖励模型，也就是不仅仅在一个 Rollout 的末尾 Token 才给奖励，而是在中间分多个阶段进行奖励，这样可以让整体的奖励变得更加密集。

我们可以把一次 Rollout 中的一个回答 $o_i = (a_1,a_2,\dots,a_T)$ 分为 $K$ 个阶段，每一个阶段就给一个奖励：

r_i^{\operatorname{index}(1)}, r_i^{\operatorname{index}(2)}, \ldots, r_i^{\operatorname{index}(K_i)}.

接下来就可以对每一个步骤的奖励进行组内的归一化：

\widetilde r_i^{\operatorname{index}(j)} = \frac{ r_i^{\operatorname{index}(j)} -\operatorname{mean}(\mathbf R) }{ \operatorname{std}(\mathbf R) }.

接下来就可以通过 $\gamma =1$ 的设置，来把阶段性的奖励扩散到前面的时间步去：

\hat A_{i,t} = \sum_{\operatorname{index}(j)\ge t} \widetilde r_i^{\operatorname{index}(j)}

这样就得到了每一个位置的优势分数，而不必再进行像 PPO 那样的复杂计算。