只需 24G 显存，用 vllm 跑起来 Yi-34B 中英双语大模型
漆妮妮2023.12.2811 分钟2.5 万 播放9 弹幕
编辑手记 · 大模型读完弹幕后的判断
步骤可复现、有配套文档，但仅到启动和调通 API，缺压测与调优
用 vllm 部署 Yi-34B GPTQ 量化版并暴露 OpenAI 兼容 API 的实操演示
- 适合谁
- 想本地部署大模型的后端/算法工程师
- 前置
- Linux、Python、GPU 环境与量化基础
- 难度
- 中等 · ●●●○○
- 时效
- 有时效 · 部分工具已变
- 类型
- 实战
