【研1基本功 （真的很简单）注意力机制】手写多头注意力机制
happy魇2024.03.2011 分钟16.5 万 播放144 弹幕
编辑手记 · 大模型读完弹幕后的判断
有实操推导但BGM过大、字幕配色差，严重影响观看体验
手写多头注意力机制代码，含张量维度讲解与下三角掩码实现
- 适合谁
- 有PyTorch基础的AI初学者
- 前置
- PyTorch基础、Transformer概念
- 难度
- 中等 · ●●●○○
- 时效
- 常青 · 现在看仍然成立
- 类型
- 教程
同一主题 · 多头注意力
11:16教程Transformer
Transformer是什么？2017年那篇“无人问津”的论文，为何成了今天AI爆炸的起点？10分钟速通AI论文天花板《Attention is all you
概念覆盖完整、节奏紧凑，适合建立整体框架；细节推导略快，需配合论文或课程
19:44教程自注意力
GPU是如何一步步计算Transformer中的自注意力机制的？
体系清晰、按步骤推导，能理解GPU实际计算映射，适合入门到进阶
1:50:37教程Transformer
19、Transformer模型Encoder原理精讲及其PyTorch逐行实现
体系完整、代码逐行推导，弹幕提问也被解答，可复现可复用，适合系统学习