记录 10 月的论文与趣闻。😄
信用分配 credit assignment
TreeRL,高不确定性的中间步骤探索不同分支。
EVPO,选择可靠的收益评估基准、减少训练噪声。
PACT,1. critic 的平方误差换成交叉熵;2. 用新旧模型概率比让 critic 跟上更新后的生成模型。
Pivot
关键决策步骤。
离策略
DPPO,ICML 2026。
长思维链
训推不一致(TIM)与 SC
分数中心化是你所需要的一切,modal 让 A100、H100、B200 等不同 GPU、不同精度可以一起生成数据,训练仍然稳定,效果接近统一使用 B200,采样成本约低了15%。原文。能看出来工业界对于 LLM 的异步/off-policy RL 算法正在进一步完善,例如 Beam 博客中的 figure 4。
放个网址,之前没记录过:IcePop/MIS 的原论文
Prime Intellect 推出了 prime-rl 0.10.0,发明了 IPO,是一种比 IcePop 更有效的 Token Masking 方案。
许老师优化了 SC 的全词表系统效率,他在《全词表 Score-Centering Is All You Need》中说明,SC 的全词表精确计算不一定那么昂贵。只要有合理的系统设计,我们可能不需要为了节省一点计算而承担额外的统计估计误差。
Martin Marek 认为 TML 的 StableReinforce 目标是 Reinforce + Score Centering。
TTT
在 critic 上 is
其他阅读
multi-harness-rl Hugging Face 认为,模型对单一智能体框架会过拟合。所以构建了多 harness 联合训练。
CLM 博客。CLM 是「上下文语言模型」,让语言模型原生地管理自己的 context。arXiv。论文是Context Language Models。
AC2 提出了 Actor-Critic with Action Chunking。
Finetuning with Sampling: SFT Learns Better Than You Think 认为,SFT 的泛化能力之所以不如 RL,是因为数据是离策略的,而不是因为 SFT 目标不行。他们让模型重写专家解答,然后拿整理好的文本做 SFT,而这些文本也要筛选,是模型自己高概率能生成的。
The Teacher Is a Direction, Not a Destination 提出在 OPD 中外推 RL 引发的表征残差。作者认为,RL 的进步方向可以进一步「外推」。对于「外推」,如果直接在输出概率上外推,会受到输出层对部分信号的削弱,以及采样噪声放大的影响。因此作者提出 RIDE,在内部隐藏状态上外推。学生从老师做 RL 之前的基础模型初始化;学生先生成回答,再让冻结的基础模型和老师读取相同上下文。对每层、每个受监督位置,做:
这里 $h_B,h_T,h_S$ 分别是基础模型、老师、学生的隐藏向量,$h^\star$ 是学生要拟合的目标,$|\cdot|_2^2$ 是各维度差值的平方和;$\lambda$ 控制外推幅度:$1$ 表示模仿老师,论文使用的 $1.25$ 表示沿“基础模型→老师”的方向,再多走原距离的 25%。
其创新点是隐藏状态的外推。
以往的工作有:参数空间或 logit 空间中外推:RISE。加个 $λ$ 放大老师相比参考模型的偏好对应的隐式奖励(等价于相对减弱学生与参考模型的反向 KL 约束):ExOPD。
其中,这个 RISE,我个人感觉很能映衬 SSD 的反直觉观点:语言模型是分布。我们要优化的是分布。
Sharpening Tax in Post-Training 提出了锐化税。后训练提高了模型一次做对的能力,但测试时扩展能力损失。作者提出 PTGS:训练时用贝叶斯方法估计每道题的难度,难题提高采样温度以探索,易题降低温度以巩固成功。
SFT 能达到 MOPD 的效果,正好对应了前两天的 Finetuning with Sampling: SFT Learns Better Than You Think。
漫士等人曾经写过《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》,他还发了一期 B 站讲解,主要观点是质疑 LLM 通过 RL 学习到了什么。邵如琳 等人还做过一个更好玩的工作,就是直接在 RLVR 中胡乱给 Qwen2.5-Math-7B 奖励,也让模型效果提升。这都表面,LLM 在预训练期间已经掌握了足够的推理知识,接下来需要 RL 激发这种内在能力。Base Models Can Reason By Taking a Cue From Training Data 希望用更简单、低成本的方法激发模型的推理,找到有效的 Cue 开头。他们发现把“Okay”换成“Chicken”,就能让“Chicken”引出推理。
最近一个研究认为 MiMo 的训练过程中存在奖励黑客,具体来说它 RL 时从 git 记录中搞到了答案。环境不干净,有 2/3 的题目答案会被 MiMo 偷看。主要强调了 agent 环境的重要性。
如果 OPSD 能 work,其概念确实非常吸引人。但是,其实它可能会引起 LLM 退化或崩溃:Rethinking On-Policy Self-Distillation for Thinking Models 和 Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs? 的实验结果观察到了自蒸馏的崩溃。此外还有
最近对于 SFT 的调整有很多工作,包括上面讲的几个外推等。Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning 也是 SFT 相关的工作,它首先发现
效果不错,其中 $\lambda<1$。于是他们提出了嫁接(grafting),在供体上用新数据做 SFT,提取参数差值:
把这个差值缩放后,加到最终的推理模型上:
Seed 团队在 Periodic Weak Spots 中发现了 DeepSeek 的性能漂移,解释了为什么 DeepSeek 4 的注意力机制(特别是 CSA)存在缺陷,酱紫君 在知乎写了一份简洁易懂的分析。
为什么把 LLM 的温度设为 0,并输入完全一致的 prompt 时,仍然没有办法得到完全一致的答案?TML 的 Defeating Nondeterminism in LLM Inference 以及里面引用的文章给出了回答。
其实,Defeating Nondeterminism in LLM Inference 和 Your Efficient RL Framework Secretly Brings You Off-Policy RL Training 都是很好的 off policy 学习材料。
LLM 在后训练时,有效更新集中在少数参数上。仅更新训练前 Fisher 较高的少量参数,就能保留大部分训练收益。原论文。