马嘉祺 Bug 背后:MiniMax 拆解大模型后训练阶段的“独立 Token 遗忘症”(Qwen 2.5 跨模型复现/全词表扫描)
圣徒城的小诺2026.05.1312 分钟7.3 万 播放36 弹幕
编辑手记 · 大模型读完弹幕后的判断
有论文依据、跨模型复现和全词表扫描实操,方法可迁移到自己的SFT排查
复现MiniMax报告的SFT独立Token退化,Qwen2.5全词表扫描定位并纠偏
- 适合谁
- 做大模型SFT与数据清洗的开发者
- 前置
- 了解BPE分词与LoRA/SFT基础
- 难度
- 中等 · ●●●○○
- 时效
- 有时效 · 部分工具已变
- 类型
- 实战