【喂饭教程】使用Qwen2.5-0.5B从预训练到SFT完整流程，从零开始训练多模态大模型，简单易懂，包你
写代码的阿咪2024.12.3025 分钟9,808 播放177 弹幕
编辑手记 · 大模型读完弹幕后的判断
流程完整可复现，小模型适合练手，但多模态部分可能偏浅
用Qwen2.5-0.5B演示预训练到SFT全流程，含多模态入门
- 适合谁
- 想入门大模型微调的开发者
- 前置
- Python与PyTorch基础
- 难度
- 中等 · ●●●○○
- 时效
- 有时效 · 部分工具已变
- 类型
- 教程
同一主题 · Qwen2.5
28:14实战知识蒸馏
[知识蒸馏][01] 耗时两天半，完全从零开始实现大模型知识蒸馏（Qwen2.5系列模型），从原理讲解、代码实现到效果测试，绝对让你搞懂模型蒸馏
原理推导与代码实操完整，多方案对照实验可复现，适合动手学习蒸馏
27:12实战多模态大模型
练习两周半，使用Qwen2.5-0.5B和SigLIP从零开始训练多模态大模型，从预训练到SFT完整流程，让你真正搞懂多模态大模型
代码全用transformers实现，流程完整可复现，适合动手学多模态对齐
15:20实战RAG
基于 Qwen2.5-14b + Elasticsearch RAG 的大数据知识库智能问答系统
有完整技术栈和落地思路，但简介偏引流，深度需自行判断