[知识蒸馏][01] 耗时两天半，完全从零开始实现大模型知识蒸馏（Qwen2.5系列模型），从原理讲解、代码实现到效果测试，绝对让你搞懂模型蒸馏
偷星九月3332025.01.1728 分钟18.7 万 播放143 弹幕
编辑手记 · 大模型读完弹幕后的判断
原理推导与代码实操完整，多方案对照实验可复现，适合动手学习蒸馏
从零实现Qwen2.5知识蒸馏，对比KL散度变体与微调组合并测试效果
- 适合谁
- 想上手模型蒸馏的算法工程师
- 前置
- PyTorch、Transformer微调基础
- 难度
- 中等 · ●●●○○
- 时效
- 有时效 · 部分工具已变
- 类型
- 实战
