峰值 >100+tokens/s 2080Ti 跑 Qwen3.6-27B vLLM 推理加速插件最新版教程
玩科技的舒2026.06.0616 分钟1.2 万 播放1 弹幕
编辑手记 · 大模型读完弹幕后的判断
有具体硬件、具体版本和实测吞吐，参考项目齐全，可照着复现；但 2080Ti 属老卡，部分优化未必通用
2080Ti 上部署 Qwen3.6-27B，用 vLLM 加 FlashQLA、FlashInfer 插件加速，实测超 100 tokens/s
- 适合谁
- 想低成本本地部署大模型的人
- 前置
- Linux、CUDA、vLLM 基础
- 难度
- 中等 · ●●●○○
- 时效
- 有时效 · 部分工具已变
- 类型
- 实战
