【精读AI论文】知识蒸馏
同济子豪兄2022.02.221 小时 4 分27.5 万 播放1,514 弹幕
编辑手记 · 大模型读完弹幕后的判断
体系完整，从论文推导到代码实操再到前沿工具链，可复用性强，值得系统学习
精读知识蒸馏开山论文，讲透核心算法机理，并用PyTorch实现MNIST蒸馏实战
- 适合谁
- AI算法工程师、模型压缩方向学习者
- 前置
- 深度学习基础、PyTorch
- 难度
- 中等 · ●●●○○
- 时效
- 有时效 · 部分工具已变
- 类型
- 教程
同一主题 · 知识蒸馏
19:01教程Function Calling
小模型如何强化工具调用(Function Calling)能力？SFT/DPO/GKD蒸馏对比
有体系有对比，覆盖三种主流路线，适合建立方法论认知，但偏课程汇报深度有限
28:14实战知识蒸馏
[知识蒸馏][01] 耗时两天半，完全从零开始实现大模型知识蒸馏（Qwen2.5系列模型），从原理讲解、代码实现到效果测试，绝对让你搞懂模型蒸馏
原理推导与代码实操完整，多方案对照实验可复现，适合动手学习蒸馏
22:58教程知识蒸馏
上海人工智能实验室新论文讲解——如何更好地蒸馏推理模型？让教师模型和学生模型合作生成SFT数据
论文精读有推导，收藏率高说明可复用，适合跟进蒸馏前沿