面试官：SFT之后做RL，模型为啥先变差再变好？

编辑手记 · 大模型读完弹幕后的判断

短小聚焦，讲清RLHF训练动态的核心机制，面试与实操都有用。

解释SFT后做RL时模型性能先降后升的原因，涉及KL散度与偏好数据质量。

适合谁

做大模型对齐/RLHF的开发者

前置

了解SFT与RLHF基本流程

难度

中等 · ●●●○○

时效

常青 · 现在看仍然成立

类型

教程