大显存才是王道？vLLM 吞吐实测 2080Ti22、3080-20、4060Ti

编辑手记 · 大模型读完弹幕后的判断

有实测数据但参数未调优、方法粗糙，弹幕也质疑数据，参考价值有限

对比2080Ti 22G、3080 20G、4060Ti跑vLLM的吞吐，显存容量影响明显

适合谁

想低成本本地跑大模型的玩家

前置

了解vLLM与量化基础

难度

轻量 · ●●○○○

时效

有时效 · 部分工具已变

类型

测评