【后训练面试】为什么 RL 比 SFT 更不容易遗忘？陈丹琦组消融：关键是 on-policy 数据而不是 KL

编辑手记 · 大模型读完弹幕后的判断

有论文依据、有分布视角推导和消融结论，看完能理解并复现迭代SFT思路

用陈丹琦组消融讲清RL比SFT更少遗忘的机制：关键在于on-policy数据而非KL正则

适合谁

做后训练/准备面试的算法同学

前置

了解SFT、RLHF、KL散度基础

难度

中等 · ●●●○○

时效

常青 · 现在看仍然成立

类型

教程