设置Max+395突破96G显存限制并使用VLLM运行医疗大模型

编辑手记 · 大模型读完弹幕后的判断

有具体操作路径和显存扩展思路，但时长偏短，性能影响与细节未充分展开

演示用Max+395与SSD虚拟内存突破96G显存限制，并用VLLM运行医疗大模型

适合谁

想本地跑大模型的AI爱好者

前置

VLLM、Linux、显存与虚拟内存基础

难度

中等 · ●●●○○

时效

有时效 · 部分工具已变

类型

实战