全新混合架构，显卡需求超低！教你轻松部署DeepSeek-R1全参数Q4量化，这就是Ktransformers
春日野穹b2025.02.1210 分钟12.3 万 播放129 弹幕
编辑手记 · 大模型读完弹幕后的判断
硬件清单与速度实测具体，FFN卸载CPU思路可复用，但部署步骤偏简略
用Ktransformers混合架构在双路Xeon+4090上跑DeepSeek-R1 671B Q4，实测6-8 token/s
- 适合谁
- 想本地跑大模型的进阶玩家
- 前置
- Linux、conda、量化推理基础
- 难度
- 偏硬 · ●●●●○
- 时效
- 有时效 · 部分工具已变
- 类型
- 实战
