完全从零手写MOE大模型，复现 DeepSeek MOE 算法，彻底 MOE 算法进化之路，build a nano MOE LLM from scratch
袁朝发2025.01.281 小时 8 分13.6 万 播放235 弹幕
编辑手记 · 大模型读完弹幕后的判断
有完整代码与文字稿可复现，但部分实现细节讲解偏浅，需自行调试理解
从零手写三种MOE实现，含基础版、SparseMoE与DeepSeek共享专家版
- 适合谁
- 想动手实现MOE的LLM学习者
- 前置
- PyTorch基础、Transformer与注意力机制
- 难度
- 偏硬 · ●●●●○
- 时效
- 有时效 · 部分工具已变
- 类型
- 教程