Skip to content
verl source atlas
verl source atlas从一条 rollout 开始读懂 LLM 训练闭环
这个站把 PPO、GRPO、DAPO、OPD 和 rollout correction 放回 verl 的真实源码数据流里讲： 先建立直觉，再看公式，最后追到 RayPPOTrainer.fit()、DataProto、worker、rollout 与 reward。
RayPPOTrainer.fit()
01DataProtobatch + non_tensor_batch + meta_info
02RolloutvLLM / SGLang generate_sequences
03Rewardrule score / model score / reward loop
04AdvantageGAE / GRPO / RLOO / ReMax
05Updateactor loss + critic loss + weight sync
learning routes
先选一条路，不用一开始就啃完整仓库
training flow
一次样本在 verl 里怎样完成训练闭环
source anchors
源码阅读锚点
algorithm map
核心算法怎么在 verl 里各司其职
PPOclip、GAE、KL、dual-clip，理解 RLHF/RLVR 的基准训练环。GRPO / Dr.GRPO按 uid + rollout.n 分组，把 outcome reward 变成相对优势。DAPO-styleoverlong penalty、动态采样、非对称 clip 与 recipe 级训练细节。REINFORCE 家族REINFORCE++、RLOO、ReMax，去掉 critic 后怎样控制方差。OPDon-policy distillation 如何把 teacher 的 token-level 信号接进训练。Rollout Correction当 rollout policy 和 train policy 不一致时，如何修正训练信号。
practice