你好，我是 Palind，这里是我的博客~ 你可以看看我的简介。

我正在学习 LLM 和 agent。

我最近的一些文章：BPO 与 Score Centering 笔记 TML OPD 的 γ 在哪里

---

🔗 一些博客的友情链接

最近的 Score Centering 居然有整整五种解释方法🫠🫠🫠每一个角度都很有趣！

本文详细整理了五个解释 Score Centering（SC）的角度，而且每个都附上了出处链接。本文就是：「五等分的 Score Centering」。😉

TL;DR:

最后两个其实很接近 🤔 它们在变化靠近更新零点 $\delta=0$ 时是一样的。不过出发点不同，而且它们都特别精彩！所以我分为两点记录了。

另外，本文会记录一些关于社区的实现的笔记，如果你想快速浏览五种视角，可以直接跳过。

每一点，都能独立推出 SC，这真是异曲同工。接下来我来详细讲他们的核心。

Score Centering 的局部分布族解释与 STE 解释是一致哒。🫠

一言以蔽之，「STE 指定的代理梯度，可以由一个普通分布族在起点处的真实导数实现」。

Score Centering（SC）到底在优化什么？🧐 Score Centering 其实优化了采样器策略。

这里以局部分布族的视角，解释 SC。

我看到 verl 最近的 PR 加入了 score centering 的实现，正在尝试复现。🫡

我的配置仓库在 GitHub 上，我的各指标/日志在 SwanLab 上。

这里是我之前关于 SC 的笔记：BPO 与 Score Centering 笔记

记录 10 月的论文与趣闻。😄

还真是！《score-centering的前世今生》 与 《OPENAI的神秘RL算法只是个STE的近似吗？解密OAI的RL 后训练算法》 都是这么解释的。☺️

我学习了以上文章，做了阅读笔记。

记号

固定状态 token prefix：$s$，考虑 action distribution mismatch，假设各方法使用同一个 $Q(s,a)$。

定义：

$$z(a)=\nabla_\theta\log p_\theta(a\mid s), \qquad g^\star=\mathbb E_p[Qz]=\operatorname{Cov}_p(Q,z).$$ $$V^q(s)=\mathbb E_q[Q\mid s], \qquad m_q(s)=\mathbb E_q[z\mid s].$$

对于重要性采样，再定义：

$$r(a\mid s)=\frac{p(a\mid s)}{q(a\mid s)}, \qquad w(a\mid s)=f(r(a\mid s)),$$

定义 weighted mean score：

$$m_w(s)=\mathbb E_q[wz\mid s].$$

使用以上记号，给出下表。

同策略的 RLVR，例如 GRPO 等，对 inference compute 有很高的要求。

这是阅读的出发点，但是也记录了别的工作。有点杂，仅方便我个人回顾。

此文章已经在知乎上收获了 105 + 的赞同和 144 + 的收藏，欢迎来知乎上点点赞同 🌹

最近的 BPO 与 Score Centering 两个工作热度很高，BPO 的作者也在知乎上分享对比了两个方法。😉

• Score Centering：解释 training–inference mismatch（TIM）为何制造 drift，并消除它。
• BPO（Bellman Policy Optimization）：从 Policy Mirror Descent（PMD）出发，利用 Bellman 方程消去中间价值，推导无 critic 的轨迹目标，再近似成 token loss。