vLLM 张量并行到底有多强？V100 跑 Qwen3.5 35B 实测

编辑手记 · 大模型读完弹幕后的判断

有实测图表和框架对比，但仅330秒且数据来自他人，深度有限

对比V100上vLLM张量并行与llama.cpp跑Qwen3.5 35B的推理性能

适合谁

关注本地部署与推理性能的玩家

前置

了解vLLM、张量并行与量化推理

难度

中等 · ●●●○○

时效

有时效 · 部分工具已变

类型

测评