练习不到两天半,完全从零开始训练大模型,从训练tokenizer到预训练再到SFT全流程,让你完全搞懂大语言模型
偷星九月3332024.12.0631 分钟10.7 万 播放111 弹幕
编辑手记 · 大模型读完弹幕后的判断
全流程代码实操,可复现可复用,但模型规模小、部分实现细节存疑
从零手写tokenizer、预训练到SFT,训练30M小模型的完整流程
- 适合谁
- 想入门LLM训练全流程的开发者
- 前置
- PyTorch与Transformers基础
- 难度
- 中等 · ●●●○○
- 时效
- 有时效 · 部分工具已变
- 类型
- 教程


