手搓性能压测工具实测Ollama与vLLM，性能差距吓死人！

编辑手记 · 大模型读完弹幕后的判断

有实测数据和自研工具，但测试配置未交代清楚，对比公平性存疑

自建压测工具对比Ollama与vLLM的速度、并发、稳定性与安全

适合谁

想选型本地推理框架的开发者

前置

了解LLM推理与并发基础

难度

中等 · ●●●○○

时效

有时效 · 部分工具已变

类型

测评