从经典PPO到PPO-RLHF(二) InstructGPT RLHF trl代码
东川路第一可爱猫猫虫2025.12.1721 分钟5,981 播放6 弹幕
编辑手记 · 大模型读完弹幕后的判断
有公式推导与代码对照，引用原始论文，体系完整可复现，适合深入RLHF
从PPO原理推导到InstructGPT的RLHF流程，结合trl代码讲解实现细节
- 适合谁
- 做大模型对齐/RLHF的算法工程师
- 前置
- PPO基础、Transformer与PyTorch
- 难度
- 偏硬 · ●●●●○
- 时效
- 有时效 · 部分工具已变
- 类型
- 教程
