3600元跑Qwen27B 256k上下文竟能到100tok/s,老显卡焕发新生!
源点PI2026.06.193 分钟2.4 万 播放9 弹幕
编辑手记 · 大模型读完弹幕后的判断
信息密度尚可但仅215秒概述README,缺实测与部署细节,弹幕已指出MTP等疑点
介绍双2080Ti 22G+NVLink跑Qwen 27B 256K上下文的vLLM项目与性价比
- 适合谁
- 关注本地部署与二手显卡性价比的玩家
- 前置
- 了解vLLM与张量并行基础
- 难度
- 中等 · ●●●○○
- 时效
- 有时效 · 部分工具已变
- 类型
- 新闻


