你好，我是 Palind，这里是我的博客~ 你可以看看我的简介。

我正在学习 LLM 和 agent。

我最近的一些文章：BPO 与 Score Centering 笔记 TML OPD 的 γ 在哪里

---

🔗 一些博客的友情链接

今天用 verl 试一下 PPO+SC 这个 recipe。然而模型输出一直乱码。🤔 我模型都还没开始训练呢，所以和梯度什么的都无关，不是训崩了。我赶紧关了 SC，情况还是一样的。

🥲 于是，我烧了 20% Codex 额度去 debug，修好后才展开训练。但是，Codex 后来去翻了翻 verl 的 PR，发现这个 bug 5 天前就已经被修好了。要是能早知道就不用烧这么多额度了，这是我的疏忽。

虽说实验确实要固定 verl 版本，不能实时 git pull，但是如果能提前检查一下 PR，也不会烧那么多 token 去检查日志。吃到教训了。

我调查了 verl 与 miles（即 modal 进行大规模异构 RL 使用的框架），发现他们做 SC 时不能开启 PPO clip。

最近的 Score Centering 居然有整整五种解释方法🫠🫠🫠每一个角度都很有趣！

本文详细整理了五个解释 Score Centering（SC）的角度，而且每个都附上了出处链接。本文就是：「五等分的 Score Centering」。😉

TL;DR:

最后两个其实很接近 🤔 它们在变化靠近更新零点 $\delta=0$ 时是一样的。不过出发点不同，而且它们都特别精彩！所以我分为两点记录了。

另外，本文会记录一些关于社区的实现的笔记，如果你想快速浏览五种视角，可以直接跳过。

每一点，都能独立推出 SC，这真是异曲同工。接下来我来详细讲他们的核心。

Score Centering 的局部分布族解释与 STE 解释是一致哒。🫠

一言以蔽之，「STE 指定的代理梯度，可以由一个普通分布族在起点处的真实导数实现」。

Score Centering（SC）到底在优化什么？🧐 Score Centering 其实优化了采样器策略。

这里以局部分布族的视角，解释 SC。

我看到 verl 最近的 PR 加入了 score centering 的实现，正在尝试复现。🫡

我的配置仓库在 GitHub 上，我的各指标/日志在 SwanLab 上。

这里是我之前关于 SC 的笔记：BPO 与 Score Centering 笔记

记录 10 月的论文与趣闻。😄

还真是！《score-centering的前世今生》 与 《OPENAI的神秘RL算法只是个STE的近似吗？解密OAI的RL 后训练算法》 都是这么解释的。☺️

我学习了以上文章，做了阅读笔记。

记号

固定状态 token prefix：$s$，考虑 action distribution mismatch，假设各方法使用同一个 $Q(s,a)$。

定义：

$$z(a)=\nabla_\theta\log p_\theta(a\mid s), \qquad g^\star=\mathbb E_p[Qz]=\operatorname{Cov}_p(Q,z).$$ $$V^q(s)=\mathbb E_q[Q\mid s], \qquad m_q(s)=\mathbb E_q[z\mid s].$$

对于重要性采样，再定义：

$$r(a\mid s)=\frac{p(a\mid s)}{q(a\mid s)}, \qquad w(a\mid s)=f(r(a\mid s)),$$

定义 weighted mean score：

$$m_w(s)=\mathbb E_q[wz\mid s].$$

使用以上记号，给出下表。