练习两天半，完全从零开始训练混合专家模型（MoE），从预训练到SFT全流程代码实现，搭配实例讲解MoE前向传播，绝对让你搞懂混合专家模型
偷星九月3332025.01.0448 分钟5.8 万 播放105 弹幕
编辑手记 · 大模型读完弹幕后的判断
有完整代码链路和原理推导，可复现可复用，适合动手学MoE
从零实现小型MoE模型，含前向传播实例讲解与预训练到SFT全流程代码
- 适合谁
- 有LLM基础想学MoE的开发者
- 前置
- 大模型训练基础、PyTorch
- 难度
- 偏硬 · ●●●●○
- 时效
- 有时效 · 部分工具已变
- 类型
- 教程