Palind's Blog

BPO 与 Score Centering 笔记

发表于 2026-09-20 更新于 2026-09-30 分类于 notes Disqus：
本文字数： 2.3k 阅读时长 ≈ 2 分钟

此文章已经在知乎上收获了 105 + 的赞同和 144 + 的收藏，欢迎来知乎上点点赞同 🌹

最近的 BPO 与 Score Centering 两个工作热度很高，BPO 的作者也在知乎上分享对比了两个方法。😉

Score Centering：解释 training–inference mismatch（TIM）为何制造 drift，并消除它。
BPO（Bellman Policy Optimization）：从 Policy Mirror Descent（PMD）出发，利用 Bellman 方程消去中间价值，推导无 critic 的轨迹目标，再近似成 token loss。

发表于 2026-09-16 更新于 2026-09-17 分类于 notes Disqus：
本文字数： 4.9k 阅读时长 ≈ 4 分钟

TML OPD 博客的 $\gamma$ 在哪里？他们的原文写的是：

「折扣因子」是什么？它不在公式里。作为初学者我很困惑 🤔。

发表于 2026-08-16 更新于 2026-08-20 分类于 notes Disqus：
本文字数： 2.1k 阅读时长 ≈ 2 分钟

暑假里做了一些趣味的阅读:D

包括网上刷到的博客、奇闻、论文、研究等。

（未写完）

发表于 2026-07-26 分类于 agent Disqus：
本文字数： 12k 阅读时长 ≈ 11 分钟

这一次主要围绕多 agent 的机制。

主要内容：

再看 Claude Code 之前泄露的源码，学习 subagent 与 agent 间交流机制。学习 agent team 机制以及实现。见多 Agent。
顺手搓了一个可视化反代，这样方便实验、方便直接观察 LLM 具体流量，看收到的请求与相应内容。反代的仓库放在 Palind-Rome/agent-wirelens: 反向网关实验台。
通过反代实验台，截图记录了真实请求，见多 agent 实验与截图记录。
我很好奇：这种流量与请求如何利用起来？真实的 agent 训练得到多 agent 能力是什么样的？从 hf 上看看 agent 数据集与训练方法。见真实数据集情况。