为什么不能直接用 X？#

你可能会问：既然都是从 $X$ 来的，为什么不直接用 $XX^T$ 来计算相关性呢？

答案是：如果直接用 $XX^T$，会陷入”自恋”状态。

• 任何一个 Token 和自己的相似度一定是最大的（ $X_1 \cdot X_1^T$ 最大）
• 模型会过度关注自己，忽略上下文
• Attention 会退化成”什么都不看”

Q / K / V 的角色#

有了这三个不同的表示，它们分别扮演什么角色呢？看着是不是很像查哈希表：

• Q（Query）：代表”我想找什么”，即当前 Token 的诉求
• K（Key）：代表”我有什么”，即每个 Token 能提供的标签
• V（Value）：代表”我的具体内容是什么”，即每个 Token 携带的实际语义

第一步：计算相关性 $QK^T$#

我们先以单个 Token 的视角来看： $Q_1 \cdot K_k^T$

假设我们 Embedding 的维度为 $d_k$，那么：

• $X_1$ 的 shape 为 $(1, d_k)$
• $W_q = W_k = (d_k, d_k)$
• 最终 $Q_1$ 的 shape 为 $(1, d_k)$， $K_k$ 的 shape 为 $(1, d_k)$

$Q_1 \cdot K_k^T$ 代表的就是当前 Token 想要寻找的信息与其他 Token 可提供信息的相关性。

为什么用内积？

向量内积如果值越大，说明两个向量的空间距离就越小。根据我们上一节 Embedding 学习到的知识，这其实也就说明两个 Token 的语义越接近。

第二步：归一化为权重#

现在我们有了相关性分数，但这些分数的数值范围不确定，需要转换为”注意力权重”。

为什么要除以 $\sqrt{d_k}$？

因为内积的数值会随着维度增大而增大，而 $softmax$ 对数值尺度非常敏感。如果不缩放，容易出现非 0 即 1 的极端情况。

除以 $\sqrt{d_k}$ 可以让内积保持在合理范围内。

softmax 做了什么？

$softmax$ 将相关性分数归一化到 0-1 之间，且所有权重之和为 1，形成一个概率分布。

经过 $softmax$ 后， $Q_1$ 对每个 $K_k$ 的分数就代表着 $Token_1$ 对 $Token_k$ 的注意力权重。

第三步：加权求和#

最后，用注意力权重对每个 Token 的实际信息（ $V$）进行加权求和。

每个 Token 最终得到的表示 = 根据注意力权重，从所有 Token 的 $V$ 中汇总信息。