ollama vs vllm - 开启并发之后的 ollama 和 vllm 相比怎么样？

编辑手记 · 大模型读完弹幕后的判断

有真实硬件实测数据和并发场景对比，结论可直接用于选型参考

单卡4090实测ollama开启并发后与vllm的推理性能对比

适合谁

本地部署LLM的开发者

前置

了解ollama与vllm基本用法

难度

轻量 · ●●○○○

时效

有时效 · 部分工具已变

类型

测评