先回到 RNN 的两个硬伤

上一模块看到，RNN 必须一个词一个词串行算，无法并行；句首信息要经过很多步才能传到句尾，沿途衰减。注意力机制换了个根本思路：处理某个词时，让它直接「看」句子里所有其他词，按相关程度聚合信息，任意两词之间的路径长度都是 1。

用「检索」理解 Q、K、V

自注意力最容易被符号吓住，其实它就是一次软检索。每个词会被投影成三个向量：

当前词拿自己的 Query，去和所有词（包括自己）的 Key 算相似度，相似度越高说明越该关注；把相似度归一化成权重，再对所有词的 Value 做加权平均，就得到当前词融合了全局上下文的新表示。

举个具体例子感受一下：句子「它把苹果切成块」里，「苹果」这个词的 Query 大概率会和「切」「块」的 Key 高度匹配，而和「公司股价」这类词匹配度低——于是它聚合到的 Value 偏「水果」这一侧，多义词就此消歧。注意这个过程里权重是「软」的：不是只挑一个最相关的词，而是对所有词都给一点权重，按相关度分配。这跟人读句子时的注意力很像——你理解某个词时会不自觉地回头扫一遍相关上下文，而不是死盯它旁边那个词。Q、K、V 之所以要从同一个输入线性投影出来，是因为原始词向量未必天然适合「当查询」或「当索引」，让网络自己学出三套投影，才知道该用什么角度去匹配、取什么内容。

缩放点积注意力四步

自注意力「自」在哪里

一般注意力可以发生在两个序列之间（如查询来自解码器、键值来自编码器，即交叉注意力）；自注意力（Self-Attention）的 Q、K、V 来自同一个序列，也就是一句话内部的词彼此打量、互相融合。经过一层自注意力，每个词的向量都已经混入了与其相关的上下文，多义词由此能根据语境确定含义——比如「苹果」到底是水果还是公司，取决于它关注了哪些词。

一层自注意力够不够？通常不够。单头一次的全局混合还比较粗糙，所以 Transformer 把「注意力+FFN」这个 Block 反复叠几十层：每叠一层，词与词之间的信息就交换、消化得更深一层。低层可能在关注局部搭配，高层才捕捉到整段的指代与逻辑。这也是为什么加深有用——它不是简单重复同一运算，而是让信息在越来越抽象的层次上反复重组。

天下没有免费的午餐，自注意力的代价是计算量随序列长度平方增长。因为要让任意两个词两两打分，一句话有 n 个词，注意力矩阵就是 n×n 个元素——从 n=1000 涨到 n=8000，开销不是 8 倍而是几十倍。这就是为什么「上下文窗口从 8K 扩到 128K」听着只是数字变大，背后却是显存和算力的陡增，也是后来各种「稀疏注意力、滑动窗口、长上下文优化」持续被研究的原因。理解这个 O(n²) 代价，就理解了大模型为什么不能无限免费地「读长文」。