[LLMs 实践] 20 llama2 源码分析 cache KV（keys、values cache）加速推理
五道口纳什2023.10.2114 分钟1.2 万 播放4 弹幕
编辑手记 · 大模型读完弹幕后的判断
有源码、有图示、有配套代码，能真正理解KV cache加速推理的机制。
结合llama2源码逐行讲解KV cache原理与实现，含对比图示与可运行notebook。
- 适合谁
- 想深入理解LLM推理优化的开发者
- 前置
- Transformer基础、Python与PyTorch
- 难度
- 中等 · ●●●○○
- 时效
- 有时效 · 部分工具已变
- 类型
- 教程
