大语言模型推理加速

编辑手记 · 大模型读完弹幕后的判断

有工程实操与代码级细节，量化与调度部分可复用，适合落地参考

商汤团队讲解大模型推理加速，涵盖量化、KV Cache、批处理调度与PPL.LLM框架实现细节

适合谁

大模型推理部署与性能优化工程师

前置

Transformer基础、CUDA与量化常识

难度

偏硬 · ●●●●○

时效

有时效 · 部分工具已变

类型

教程