精选/计算机技术

练习不到两天半,完全从零开始训练大模型,从训练tokenizer到预训练再到SFT全流程,让你完全搞懂大语言模型

偷星九月3332024.12.0631 分钟10.7 万 播放111 弹幕

编辑手记 · 大模型读完弹幕后的判断

全流程代码实操,可复现可复用,但模型规模小、部分实现细节存疑

从零手写tokenizer、预训练到SFT,训练30M小模型的完整流程

适合谁
想入门LLM训练全流程的开发者
前置
PyTorch与Transformers基础
难度
中等 · ●●●○○
时效
有时效 · 部分工具已变
类型
教程

关于这份清单

让每一次观看,
都更有收获。

01

先筛选,再推荐

从 3,652 条候选中,经过相关性与质量规则筛选。

02

看见内容价值

结合互动信号、简介与弹幕,生成内容判断和观看理由。

03

找到适合你的

了解适合人群与前置知识,再决定从哪一课开始。