Skip to content
kefan.life
Go back

重新理解 MLA:缓存 X 而非 KV

Updated:

很多文章在介绍 MLA(Multi-head Latent Attention)时,会说它是把 K,VK,V 压缩到一个低维空间,需要时再还原回去。这个说法概括了缓存形式,但没有抓住要点。如果低秩投影就是核心思想,那 GQA 早就在做了:减少 K,VK,V 头数后,只要 K,VK,V 的总维度小于输入维度,从输入到 K,VK,V 的映射本身就是降维。为什么还需要 MLA?

苏神在他的解析文章1中给出了一个 insight:MLA 的本质改进不是低秩投影,而是用可学习投影替代 GQA 的分割和复制,让每个头从同一个低维 latent 向量中提取出不同的 K,VK,V,在低缓存开销下达到接近 MHA 的多头表达能力。

本文从一个思想实验出发2:如果我们不缓存 K,VK,V,而是缓存更小的输入 XX 会怎样?这个过程会自然地引出矩阵吸收和降维的思路。

如果你对 Attention 的基本原理还不熟悉,建议先阅读《为什么 KV 缓存没有 Q》。

出发点:KV Cache 太大了

KV Cache 的本质是用空间换时间。在自回归生成的 Decode 阶段,每生成一个新 token,都需要用当前的 qq 去和历史所有位置的 k,vk, v 做注意力计算。不缓存就要把每一层的历史 token 全部重算一遍;缓存则要把每一层、每一个头、每一个历史 token 的 k,vk, v 向量全部存下来。注意,缓存节省的不仅仅是 Attention 的计算量,还包括 FFN 在内的整个 layer。

问题在于,缓存省下了重复计算,却增加了显存占用和读取量,Decode 往往受限于显存容量和带宽:

  1. 显存容量瓶颈:KV Cache 的总量随 batch size 和序列长度线性增长,很快超过模型参数本身的存储占用。
  2. 带宽瓶颈:Decode 阶段每步只算一个 token,算术强度极低,GPU 的计算单元大量空转在等待数据搬运。
  3. 互相制约:为了提高算力利用率想增大 batch size,又会进一步加剧显存压力。

模型参数在整个 batch 间共享,加大 batch 可以有效摊薄参数读取的带宽成本。但 KV Cache 是每个请求独立的:batch 翻倍,KV Cache 的总读取量也翻倍。对于使用 BF16 的常规 MHA,长序列 Decode 的 Attention 算术强度(arithmetic intensity)约为 1 FLOP/Byte3,通常受显存带宽限制。减小 KV Cache,既能容纳更多请求,也能减少每步生成的读取量。

MQA 和 GQA 试图通过让多个 QQ 头共享同一组 K,VK,V 来缓解这个问题。它们确实有效,但都是在”保留 KV Cache”这一范式内做优化。MLA 则换了一个思路:不缓存 K,VK,V。

思想实验:缓存 X 而非 KV

在进入 MLA 的实际设计之前,我们先做一个思想实验。它不等同于 MLA,但展示了 MLA 背后的核心思路:可以不缓存 K,VK,V,而是缓存更小的东西。

一个等价变换

设输入 XX 的长度为 NN,输入维度为 dd,头数为 nhn_h,单头维度为 dhd_h。在标准的 MHA 中(暂不考虑位置编码,省略 scaling factor 和 mask,只看单个头),Q=XWQQ=XW_Q、K=XWKK=XW_K、V=XWVV=XW_V,经过输出投影后的结果为:

H=softmax(QK⊤)VWOH = \text{softmax}\left(Q K^\top\right) V W_O

X∈RN×dX\in\mathbb{R}^{N\times d} 的行对应 token 位置,列对应特征。Attention 涉及两个轴:位置选择和特征映射。位置轴上,QK⊤∈RN×NQK^\top\in\mathbb{R}^{N\times N} 描述 token 之间的匹配关系,决定每个位置从哪些历史读取信息。特征轴上,WV∈Rd×dhW_V\in\mathbb{R}^{d\times d_h}、WO∈Rdh×dW_O\in\mathbb{R}^{d_h\times d} 共同决定读取哪些特征信息,以及如何映射为对残差流的更新4。

代入后:

H=softmax(XWQ(XWK)⊤)⋅XWVWOH = \text{softmax}\left(X W_Q (X W_K)^\top\right) \cdot X W_V W_O

转置 (XWK)⊤=WK⊤X⊤(XW_K)^\top = W_K^\top X^\top。应用矩阵乘法的结合律,得到:

H=softmax(XWQWK⊤⏟可合并X⊤)⋅XWVWO⏟可合并H = \text{softmax}\left(X \underbrace{W_Q W_K^\top}_{\text{可合并}} X^\top\right) \cdot X \underbrace{W_V W_O}_{\text{可合并}}

这些权重既可以预先合并,也可以保留为独立矩阵,按吸收后的顺序分步计算。对于 KK,原来先用 WKW_K 把 XX 投影成 KK,再与 QQ 做内积。吸收后,先让 QQ 乘 WK⊤W_K^\top,再与 XX 做内积。

对于 VV,两种顺序使用相同的注意力权重。位置轴上的线性组合与特征轴上的线性投影可以交换顺序,因此可以让 softmax 的结果先乘 XX,再执行 WV,WOW_V,W_O,无需先生成 VV。

这样就无需先生成 KK 和 VV 两个中间矩阵,计算结果保持不变。由此,只需要缓存每一层的输入 XX,所有头共用这一份输入,替代各头展开后的 KK 和 VV。

两种等价的计算路径,不同的计算量

这个等价变换给出了两种计算路径:从 XX 显式生成 K,VK,V 后计算 Attention,或通过矩阵吸收直接使用 XX 计算。前者需要对整段 XX 做 K,VK,V 投影,后者将这些投影改为作用于本次 QQ 和输出。两条路径得到相同的结果,计算量却可能不同。

以只缓存 XX 的单步 Decode 为例,用 xx 表示当前 token 的输入,q=xWQq=xW_Q,ss 表示它对可见序列的注意力权重。以下按完整矩阵乘法统计单头 FLOPs,忽略 softmax 等运算。

显式生成 K,VK,V:计算 qq,从整段 XX 生成 K,VK,V,再计算 qK⊤qK^\top、sVsV 和输出投影:

2×1×d×dh⏟xWQ+2×N×d×dh⏟XWK+2×N×d×dh⏟XWV+2×1×dh×N⏟qK⊤+2×1×N×dh⏟sV+2×1×dh×d⏟WO=4Nddh+4ddh+4Ndh\begin{aligned} &\underbrace{2\times1\times d\times d_h}_{xW_Q} +\underbrace{2\times N\times d\times d_h}_{XW_K} +\underbrace{2\times N\times d\times d_h}_{XW_V}\\ &\quad+\underbrace{2\times1\times d_h\times N}_{qK^\top} +\underbrace{2\times1\times N\times d_h}_{sV} +\underbrace{2\times1\times d_h\times d}_{W_O}\\ &=4Ndd_h+4dd_h+4Nd_h \end{aligned}

矩阵吸收:计算 qq 和 q′=qWK⊤q'=qW_K^\top,再计算 q′X⊤q'X^\top、sXsX,最后执行 WVW_V 和 WOW_O:

2×1×d×dh⏟xWQ+2×1×dh×d⏟qWK⊤+2×1×d×N⏟q′X⊤+2×1×N×d⏟sX+2×1×d×dh⏟(sX)WV+2×1×dh×d⏟WO=8ddh+4Nd\begin{aligned} &\underbrace{2 \times 1 \times d \times d_h}_{xW_Q} +\underbrace{2 \times 1 \times d_h \times d}_{qW_K^\top} +\underbrace{2 \times 1 \times d \times N}_{q'X^\top}\\ &\quad+\underbrace{2 \times 1 \times N \times d}_{sX} +\underbrace{2 \times 1 \times d \times d_h}_{(sX)W_V} +\underbrace{2 \times 1 \times d_h \times d}_{W_O}\\ &=8dd_h+4Nd \end{aligned}

吸收后,K,VK,V 相关的投影只处理 qq 和它对应的输出,开销由 4Nddh4Ndd_h 降为 4ddh4dd_h。Attention 计算量则由 4Ndh4Nd_h 增至 4Nd4Nd(通常有 d>dhd>d_h)。因此序列较长时,矩阵吸收的收益更明显。而在无前缀缓存的整段 Prefill 中,两种顺序的投影都处理 NN 个位置,就没有上述投影开销的节省,但 Attention 计算量仍然增长。总的来说,矩阵吸收的计算收益,取决于本次 QQ 的数量与可见 K,VK,V 长度的关系。

缓存收益与计算代价

自回归生成会反复使用历史位置的 K,VK,V。常规 MHA 将它们存入 KV Cache,后续步骤直接读取,可以省去重复的投影计算。缓存 XX 则保留投影前的输入,通过矩阵吸收完成计算。两种方案在单步 Decode 中的开销分别为:

MHA(缓存 K,VK,V):只计算当前 token 的 q,k,vq,k,v,历史 K,VK,V 从 KV Cache 读取:

3×2×1×d×dh⏟当前 q,k,v+2×1×dh×N⏟qK⊤+2×1×N×dh⏟sV+2×1×dh×d⏟WO=8ddh+4Ndh\begin{aligned} &\underbrace{3 \times 2 \times 1 \times d \times d_h}_{\text{当前}\ q,k,v} +\underbrace{2 \times 1 \times d_h \times N}_{qK^\top} +\underbrace{2 \times 1 \times N \times d_h}_{sV} +\underbrace{2 \times 1 \times d_h \times d}_{W_O}\\ &=8dd_h+4Nd_h \end{aligned}

矩阵吸收(缓存 XX):计算当前 qq,直接使用缓存的 XX 完成 Attention 和后续投影:

8ddh⏟投影+4Nd⏟Attention\underbrace{8dd_h}_{\text{投影}}+\underbrace{4Nd}_{\text{Attention}}

两种方案的投影部分计算量相同,Attention 的单头维度从 dhd_h 变为 dd。整段 Prefill 中也有同样的差别:投影开销均为 8Nddh8Ndd_h,Attention 开销分别为 4N2dh4N^2d_h 和 4N2d4N^2d。由于通常 d>dhd>d_h,吸收形式需要更多计算。

以 DeepSeek-V3(d=7168d = 7168,nh=128n_h = 128,dh=128d_h = 128)为例,与常规 MHA 相比:

缓存压缩 4.57 倍,吸收形式的 Attention 计算量却变为 56 倍。这是以额外计算换取更少的缓存读取量,但即使只在 Decode 使用吸收形式,这个交换仍不够理想。

对 X 降维

缓存大小和吸收后的 Attention 计算量都取决于 dd。如果能降低参与计算的向量维度,就能同时改善这两项代价。

比如用矩阵 WcW_c 把 XX 的特征维度降到 dcd_c:

C=XWc∈RN×dc,Wc∈Rd×dc,dc≪min⁡(d,nhdh)C = XW_c\in\mathbb{R}^{N\times d_c}, \quad W_c \in \mathbb{R}^{d \times d_c}, \quad d_c \ll \min(d,n_hd_h)

KK 和 VV 改为从 CC 生成。各头有自己的 WK,WV∈Rdc×dhW_K,W_V\in\mathbb{R}^{d_c\times d_h},共享降维矩阵 WcW_c。将两步连起来就是 K=XWcWKK=XW_cW_K、V=XWcWVV=XW_cW_V。这种分解使所有头的 K,VK,V 联合投影形成低秩参数化,各投影通过训练共同学习5。

代入 Attention 并应用矩阵吸收:

H=softmax⁡(Q(CWK)⊤)(CWV)WO=softmax⁡(QWK⊤⏟Q′ ∈ RN×dcC⊤)CWVWO\begin{aligned} H&=\operatorname{softmax}\bigl(Q(CW_K)^\top\bigr)(CW_V)W_O\\ &=\operatorname{softmax}\bigl(\underbrace{QW_K^\top}_{Q'\,\in\,\mathbb{R}^{N\times d_c}}C^\top\bigr)CW_VW_O \end{aligned}

吸收前,每个头的 Q,K,VQ,K,V 仍是 dhd_h 维。吸收后,Q′Q' 与 CC 都是 dcd_c 维。因此,相比直接使用 XX,每个头的 Attention 计算维度从 dd 降到了 dcd_c。每个 token 只需经 WcW_c 投影一次,生成的 CC 由所有头共享。后续生成也只需缓存这份 CC,每个 token 占 dcd_c 维。

以 DeepSeek-V3 的设置(dc=512d_c = 512):

缓存压缩 64 倍,吸收形式的 Attention 计算量只变为 4 倍。 相比直接缓存 XX,这个取舍改善了很多。

共享 latent 与各头独立投影的组合,已经对应了 MLA 不带 RoPE 的计算结构。接下来把这套推导与论文中的符号和完整设计对齐。

从思想实验到实际 MLA

先把符号对齐

从这里开始,沿用 DeepSeek-V2 论文的符号和列向量约定:hth_t 表示当前层第 tt 个 token 的输入。对应前面思想实验的 xtx_t(行向量),则 ht=xt⊤h_t=x_t^\top,对应的投影矩阵也是原来的转置。

论文将投影名称写成上标,例如 WDQW^{DQ}、WUQW^{UQ}。D 表示 down-projection,U 表示 up-projection,QQ、KVKV 等标明投影对应的对象。下标 ii 表示注意力头。WiUQ,WiUK,WiUVW_i^{UQ},W_i^{UK},W_i^{UV} 分别是整体投影中属于第 ii 个头的行块,WiOW_i^O 是输出投影 WOW^O 对应该头的列块。

上标 CC 表示不带 RoPE 的内容部分,先按下不表。

思想实验(单头、行向量)实际 MLA(列向量)对应关系
ct=xtWcc_t=x_tW_cctKV=WDKVhtc_t^{KV}=W^{DKV}h_tWDKV=Wc⊤W^{DKV}=W_c^\top,K,VK,V 共享 latent 向量
kt=ctWKk_t=c_tW_Kkt,iC=WiUKctKVk_{t,i}^C=W_i^{UK}c_t^{KV}WiUKW_i^{UK} 对应实验中该头的 WK⊤W_K^\top
vt=ctWVv_t=c_tW_Vvt,iC=WiUVctKVv_{t,i}^C=W_i^{UV}c_t^{KV}WiUVW_i^{UV} 对应实验中该头的 WV⊤W_V^\top
qt=xtWQq_t=x_tW_QctQ=WDQht, qt,iC=WiUQctQc_t^Q=W^{DQ}h_t,\ q_{t,i}^C=W_i^{UQ}c_t^QQQ 也通过降维、升维两步生成

这里,hth_t 经两组独立的投影分别生成 ctQc_t^Q 和 ctKVc_t^{KV},两者各自跨头共享。K,VK,V 的压缩用于缩减 KV Cache,QQ 的压缩用于减少训练时的激活显存5。

可学习投影替代分割和复制

GQA 通过减少 K,VK,V 的组数来缩减缓存:每组缓存一份 K,VK,V,组内各 QQ 头直接共用。将各组缓存拼在一起看,各头按组取用的方式就相当于分割和复制,同组 QQ 头只能使用相同的 K,VK,V。

思想实验展示了另一种做法:缓存共享的 latent,再通过各头独立的投影生成不同的 K,VK,V。MLA 中的 WiUK,WiUVW_i^{UK},W_i^{UV} 就承担这个作用,以可学习投影替代分割和复制,让各头的 K,VK,V 由各自的参数决定。

MLA 与常规 MHA 的计算路径对比如下6:

计算路径MHAMLA(暂不含 RoPE)
QQqt,i=WiQhtq_{t,i}=W_i^Qh_tctQ=WDQhtc_t^Q=W^{DQ}h_t,qt,iC=WiUQctQq_{t,i}^C=W_i^{UQ}c_t^Q
KKkt,i=WiKhtk_{t,i}=W_i^Kh_tctKV=WDKVhtc_t^{KV}=W^{DKV}h_t,kt,iC=WiUKctKVk_{t,i}^C=W_i^{UK}c_t^{KV}
VVvt,i=WiVhtv_{t,i}=W_i^Vh_t复用同一个 ctKVc_t^{KV},vt,iC=WiUVctKVv_{t,i}^C=W_i^{UV}c_t^{KV}
Decode 缓存各头的 kt,i,vt,ik_{t,i},v_{t,i}所有头共享的 ctKVc_t^{KV}

MLA 与 MHA、GQA、MQA 的结构对比(来自 DeepSeek-V2 技术报告)

以 DeepSeek-V3 参数为例7,d=7168d=7168,nh=128n_h=128,dh=128d_h=128,K,VK,V 压缩维度 dc=512d_c=512,QQ 压缩维度 dc′=1536d_c'=1536:

WDKV∈R512×7168,WUK,WUV∈R16384×512,WDQ∈R1536×7168,WUQ∈R16384×1536\begin{aligned} W^{DKV}&\in\mathbb{R}^{512\times7168}, & W^{UK},W^{UV}&\in\mathbb{R}^{16384\times512},\\ W^{DQ}&\in\mathbb{R}^{1536\times7168}, & W^{UQ}&\in\mathbb{R}^{16384\times1536} \end{aligned}

上式中的 16384=128 个头×128 维/头16384=128\text{ 个头}\times128\text{ 维/头},是所有头的总维度。WUKW^{UK} 和 WUVW^{UV} 将 512 维的 latent 向量升到这个总维度,再按头拆分为 128 份,每份 128 维。

注:单层 MLA 中参数量最大的矩阵是输出投影 WO∈R7168×16384W^O\in\mathbb{R}^{7168\times16384},约 1.17 亿。它将所有头拼接后的结果映射回 hidden size dd8。

矩阵吸收:MLA 的两种计算顺序

上面的计算先从 latent 向量生成各头的 Q,K,VQ,K,V,再执行 Attention。应用思想实验中的矩阵吸收,可以调整这些投影的执行顺序。DeepSeek-V2 附录 C 写道5:

Fortunately, due to the associative law of matrix multiplication, we can absorb WUKW^{UK} into WUQW^{UQ}, and WUVW^{UV} into WOW^O.

将各 token 的列向量并排组成矩阵,用 CQ,CKVC^Q,C^{KV} 表示跨头共享的 latent,QiC,KiC,ViCQ_i^C,K_i^C,V_i^C 表示第 ii 个头的内容。两种形式均使用 QiC=WiUQCQQ_i^C=W_i^{UQ}C^Q。以下省略缩放与 mask,softmax 沿可见的 KK 位置计算。

非吸收形式先展开该头的 K,VK,V:

KiC=WiUKCKV,ViC=WiUVCKVSi=softmax⁡((QiC)⊤KiC)Hi=WiO(ViCSi⊤)\begin{aligned} K_i^C&=W_i^{UK}C^{KV},\qquad V_i^C=W_i^{UV}C^{KV}\\ S_i&=\operatorname{softmax}\big((Q_i^C)^\top K_i^C\big)\\ H_i&=W_i^O(V_i^CS_i^\top) \end{aligned}

吸收形式调整投影顺序,直接使用 CKVC^{KV}:

Q~i=(WiUK)⊤QiCSi=softmax⁡(Q~i⊤CKV)Hi=WiO(WiUV(CKVSi⊤))\begin{aligned} \widetilde Q_i&=(W_i^{UK})^\top Q_i^C\\ S_i&=\operatorname{softmax}\big(\widetilde Q_i^\top C^{KV}\big)\\ H_i&=W_i^O\bigl(W_i^{UV}(C^{KV}S_i^\top)\bigr) \end{aligned}

对于 KK,原来对 CKVC^{KV} 做投影以生成 KiCK_i^C,现在对 QiCQ_i^C 做投影,得到 Q~i\widetilde Q_i 后直接与 CKVC^{KV} 计算 Attention。对于 VV,原来先生成 ViCV_i^C,现在先计算 CKVSi⊤C^{KV}S_i^\top,再执行 WiUVW_i^{UV} 和 WiOW_i^O。

各头用自己的 SiS_i 组合共享的 CKVC^{KV},再经 WiUV,WiOW_i^{UV},W_i^O 生成各自对残差流的更新。各头的贡献 HiH_i 相加得到 HH,虽然共享同一份缓存,但各头仍有自己的位置选择和特征映射。。

DeepSeek-V3.2 附录 A 将非吸收形式称为 MHA mode:Attention 使用各头独立的 K,VK,V,换取较低维的 Attention。吸收形式称为 MQA mode:多个 QQ 头直接使用共享的 CKVC^{KV},直接在 latent 上计算,Attention 的 K,VK,V head 只有一份9。

MHA mode 与 MQA mode 是同一个 MLA 的两种等价执行形式,不是两种表达能力不同的模型。 它们使用同一组权重,得到相同的 Si,HiS_i,H_i,改变的只是中间表示与计算量。

MLA 的 MHA mode 与 MQA mode(DeepSeek-V3.2 论文附录 A,Figure 7)

蓝色、橙色箭头分别标出 WiUKW_i^{UK}、WiUVW_i^{UV} 在两种计算顺序中的位置。图中 qt,iAq_{t,i}^A 对应本文 Q~i\widetilde Q_i 的第 tt 列。右图蓝色箭头未标出转置,按列向量约定应为 (WiUK)⊤qt,iC(W_i^{UK})^\top q_{t,i}^C。RoPE 部分在后文展开。

上图表述:DeepSeek-V3.1-Terminus 在训练和 Prefill 时使用 MHA mode,在 Decode 时使用 MQA mode9。两种模式仍可保留相同的 latent 缓存,MHA mode 展开的 K,VK,V 只用于本次 Attention 计算。

内容MHA modeMQA mode
QQQiCQ_i^C,128 维Q~i\widetilde Q_i,512 维
K,VK,V各头独立的 KiC,ViCK_i^C,V_i^C,各 128 维共享 CKVC^{KV},512 维
Attention 输出ViCSi⊤V_i^CS_i^\top,每头 128 维CKVSi⊤C^{KV}S_i^\top,每头 512 维
后续投影WiOW_i^OWiUVW_i^{UV}、WiOW_i^O

设本次 QQ 长度为 mm,可见 K,VK,V 长度为 NN。沿用思想实验的单头 FLOPs 口径,两种模式均从 latent 计算,省略相同的投影与 softmax 等运算:

MHA mode:

FMHA mode=4Ndcdh⏟展开 K,V+4mNdh⏟AttentionF_{\text{MHA mode}}=\underbrace{4Nd_cd_h}_{\text{展开 }K,V} +\underbrace{4mNd_h}_{\text{Attention}}

MQA mode:

FMQA mode=4mdcdh⏟作用于 Q 和输出的投影+4mNdc⏟AttentionF_{\text{MQA mode}}=\underbrace{4md_cd_h}_{\text{作用于 }Q\text{ 和输出的投影}} +\underbrace{4mNd_c}_{\text{Attention}}

将两式相减,就能看出切换到 MQA mode 时省下的投影与增加的 Attention 计算量:

FMHA mode−FMQA mode=4(N−m)dcdh⏟省下的投影−4mN(dc−dh)⏟增加的 AttentionF_{\text{MHA mode}}-F_{\text{MQA mode}} =\underbrace{4(N-m)d_cd_h}_{\text{省下的投影}} -\underbrace{4mN(d_c-d_h)}_{\text{增加的 Attention}}

投影只处理本次 mm 个位置,省下了已有缓存中 N−mN-m 个位置的投影。Attention 仍处理 m×Nm\times N 个位置对,但计算维度从 dhd_h 增至 dcd_c。前者超过后者时,差值为正,MQA mode 的总计算量更少。

无前缀缓存的整段 Prefill 中,m=Nm=N,没有投影收益,MHA mode 在 dh<dcd_h<d_c 时更省计算。单步 Decode 中,m=1m=1,序列较长时投影收益超过 Attention 代价,因而 MQA mode 更省计算。

带前缀缓存或分块 Prefill 时,前缀越长并不一定越适合 MQA mode。代入 DeepSeek-V3 的参数,按已有缓存长度 N−mN-m 整理差值:

FMHA mode−FMQA mode=(262144−1536m)(N−m)−1536m2F_{\text{MHA mode}}-F_{\text{MQA mode}} =(262144-1536m)(N-m)-1536m^2

固定本次输入长度 mm,当 m<171m<171 时,增加前缀长度能提高吸收收益,但前缀足够长才会使差值为正。当 m≥171m\ge171 时,N−mN-m 的系数为负,无论前缀多长,MHA mode 都更省计算。

在执行吸收形式时,DeepSeek-V3 官方参考实现保留独立权重,分步完成投影。输出计算中,各头经 WiUVW_i^{UV} 投影后拼接,再执行整体 WOW^O8。相比预先合并成稠密矩阵,保留小矩阵更节省权重存储和投影计算。

压缩限制了什么

普通 MHA 的每个头通过 WiV∈Rdh×dW_i^V\in\mathbb{R}^{d_h\times d} 提取 dhd_h 维特征。即使经 WiO∈Rd×dhW_i^O\in\mathbb{R}^{d\times d_h} 映射回 dd 维,乘积矩阵 WiOWiVW_i^OW_i^V 的秩仍不超过 dhd_h10:

WiOWiV∈Rd×d,rank⁡(WiOWiV)≤dhW_i^OW_i^V\in\mathbb{R}^{d\times d},\qquad \operatorname{rank}(W_i^OW_i^V)\le d_h

以 DeepSeek-V3 为例,虽然单个头最多只能表达 128 个独立方向,但 WiOW_i^O 可以学习这 128 个方向在 7168 维输出空间中的具体取向。各头不仅能写入不同的子空间,还能使用不同的注意力权重,因此 Attention 整体的表达能力不受限于单头的秩。

MLA 额外增加了来自 latent 压缩的约束。K,VK,V 的整体投影经过共享的 dcd_c 维表示,QQ 则经过 dc′d_c' 维表示:

rank⁡(WUKWDKV)≤dc,rank⁡(WUVWDKV)≤dc,rank⁡(WUQWDQ)≤dc′\operatorname{rank}(W^{UK}W^{DKV})\le d_c,\qquad \operatorname{rank}(W^{UV}W^{DKV})\le d_c,\qquad \operatorname{rank}(W^{UQ}W^{DQ})\le d_c'

相对的,常规 MHA 的整体 K,VK,V 投影秩上限为 min⁡(nhdh,d)\min(n_hd_h,d)。沿用 DeepSeek-V3 的参数,MLA 的 K,VK,V 秩上限为 512,QQ 为 1536,而 MHA 的秩上限为 7168。

由于 dc=512>dh=128d_c=512 > d_h=128,latent 压缩不会进一步降低单头 K,VK,V 投影的秩上限,却降低了所有头合起来的整体投影秩上限。各头的 K,VK,V 都只能从同一个 512 维子空间中提取信息,独立投影无法取回 latent 压缩过程中丢失的信息。

矩阵吸收只重排已有投影,不改变这些约束。以吸收后的等效 QQ 投影为例,它的秩仍受单头 QiCQ_i^C 的 dhd_h 维限制:

W~iQ=(WiUK)⊤WiUQ∈Rdc×dc′,rank⁡(W~iQ)≤dh\widetilde W_i^Q=(W_i^{UK})^\top W_i^{UQ} \in\mathbb{R}^{d_c\times d_c'},\qquad \operatorname{rank}(\widetilde W_i^Q)\le d_h

因此,Q~i\widetilde Q_i 虽然有 512 维,却仍处于至多 128 维的子空间中。输出投影同理,吸收前后的秩上限均由单头维度决定。

输入方向的减少是否影响任务效果,要看 latent 保留了什么信息。MLA 的降维和升维投影共同训练,让有限的 latent 维度用于任务所需的信息。下图的两种规模 MoE 对照实验中,MLA 总体优于 MHA5,说明低秩参数化可以形成有效的模型架构。论文尚未明确这一优势的来源,判断压缩是否合算仍需比较任务效果与缓存、计算代价,不能只比较秩上限。

MLA 与 MHA 在两种规模 MoE 上的对照实验(DeepSeek-V2 附录 D,Table 9)

为什么让 K,VK,V 共享 latent

MLA 的 latent 不仅跨头共享,还必须同时满足生成 K,VK,V 的需要。如果分别使用两个 dcd_c 维 latent,两个投影可以选择不同的输入方向,各自的秩不超过 dcd_c,联合秩却可能达到 2dc2d_c。共享 latent 则要求两者合起来也只能使用 dcd_c 个独立输入方向。将 WUKW^{UK} 与 WUVW^{UV} 按行拼接,可得:

rank⁡([WUKWUV]WDKV)≤dc\operatorname{rank}\left(\begin{bmatrix}W^{UK}\\W^{UV}\end{bmatrix}W^{DKV}\right)\le d_c

以 DeepSeek-V3 的维度为例,假如 latent 不是 KV 共享,两个独立的 512 维 latent 允许联合秩达到 1024,共享后的上限则固定为 512,同时 latent 缓存减半。但共享还带来了通信收益:在 MQA mode 中,加载到片上的 CKVC^{KV} 可以供多个头复用,并同时用于 K,VK,V,减少重复的显存读取11。

这些收益需要付出多少效果代价,可以参考直接共享 K,VK,V 投影的实验。将两者绑定为同一矩阵后,缓存减半,测试集 PPL 仅从 60.7 升至 61.212。另一组对照中,约 300M 和 1.2B 规模模型的验证集 PPL 分别增加 3.1% 和 2.48%13。这些实验为共享的合理性提供了支持:在所测设置下,取消独立表示带来的效果损失较小。

Gemma 4 也在部分全局 Attention 层复用 KK 投影作为 VV,采用了类似的共享思路14。不过区别是 MLA 是通过共享降维投影 WDKVW^{DKV},保留独立的 WUK,WUVW^{UK},W^{UV} 来保留灵活度,不要求 K=VK=V。但两者的思路都是让同一份信息通过不同映射参与 Attention,在减少存储的同时保留两种表示的差异。

RoPE 兼容性:一个精巧的折中

前面的推导暂未考虑位置编码。加入 RoPE15 后,QQ 和 KK 的计算会随位置变化,矩阵吸收也因此受到限制。

矩阵吸收的前提是:(WiUK)⊤WiUQ(W_i^{UK})^\top W_i^{UQ} 可以合并为一个与位置无关的固定矩阵。但如果 RoPE 对位置 tt 的 QQ 和位置 jj 的 KK 分别施加旋转矩阵 Rt,RjR_t,R_j,就会得到:

(RtWiUQctQ)⊤(RjWiUKcjKV)=(ctQ)⊤(WiUQ)⊤Rt⊤Rj⏟依赖相对位置 j−tWiUKcjKV(R_tW_i^{UQ}c_t^Q)^\top(R_jW_i^{UK}c_j^{KV}) =(c_t^Q)^\top(W_i^{UQ})^\top \underbrace{R_t^\top R_j}_{\text{依赖相对位置 }j-t} W_i^{UK}c_j^{KV}

中间插入了一个与相对位置 j−tj-t 相关的旋转,两个投影无法再被合并为固定矩阵。如果只缓存 CKVC^{KV},沿用显式恢复 KK 的路径,就必须对所有历史位置重新计算带 RoPE 的 KK,失去了矩阵吸收省下的计算收益。

DeepSeek 的解法是一种混合方案:每个头的 QQ、KK 被拆成两部分拼接,一部分不加 RoPE(走矩阵吸收路线),另一部分加 RoPE。位置编码部分用上标 RR 表示,特征维度为 dhR=64d_h^R=64。将层输入按列排列为 Hin=[h1,…,hN]H_{\mathrm{in}}=[h_1,\ldots,h_N],用 [;][;] 表示沿特征维拼接,RoPE 对各列按其位置旋转:

QiR=RoPE⁡(WiQRCQ),KR=RoPE⁡(WKRHin),Qi=[QiC;QiR],Ki=[KiC;KR]\begin{aligned} Q_i^R&=\operatorname{RoPE}(W_i^{QR}C^Q), & K^R&=\operatorname{RoPE}(W^{KR}H_{\mathrm{in}}),\\ Q_i&=[Q_i^C;Q_i^R], & K_i&=[K_i^C;K^R] \end{aligned}

KRK^R 从层输入生成,所有头共享;QiRQ_i^R 从 CQC^Q 经各头独立投影生成,各头不同。

MLA 的 RoPE 计算路径与缓存对象(来自 DeepSeek-V2 技术报告)

图中为未吸收形式。斜线标记的 latent KV 与 RoPE KK 需要缓存,RoPE QQ 由当前输入生成。

RoPE 部分保持上述计算方式,内容部分应用矩阵吸收,注意力权重为:

Si=softmax⁡(Q~i⊤CKV+(QiR)⊤KRdh+dhR)S_i=\operatorname{softmax}\left( \frac{\widetilde Q_i^{\top}C^{KV}+(Q_i^R)^\top K^R} {\sqrt{d_h+d_h^R}}\right)

最终缓存 CKVC^{KV} 和 KRK^R,每层每 token 合计 dc+dhR=512+64=576d_c+d_h^R=512+64=576 个元素,BF16 下为 1152 Bytes。固定这两个维度后,增加头数不会增加这份逻辑缓存。

MLA 与其他方法的 KV Cache 大小及模型效果对比(来自 DeepSeek-V2 技术报告)

设 GQA 有 gg 组,令其缓存量 2gdh=5762gd_h=576,得到 g=2.25g=2.25:MLA 的逻辑缓存相当于 2.25 组 GQA。值得指出的是,TP 并行开启的情况下各 rank 通常会冗余存储 latent KV 和 RoPE KK8。

结语

回到开头的问题:MLA 到底做了什么?

MLA 重新定义了”该缓存什么”。 MQA 和 GQA 在 KV Cache 内部做取舍,减少 K,VK,V 头数,用表达能力换存储。MLA 则换了个思路:缓存所有头共享的 latent 向量 cKVc^{KV},通过各头可学习的投影生成不同的 K,VK,V。矩阵吸收又将这些投影改为作用于 QQ 和输出,使模型可以直接使用 latent 计算,省去历史 K,VK,V 的重建。DeepSeek-V2 的消融实验表明,这种设计在减少缓存的同时,仍能取得接近 MHA、在部分基准上优于 MHA 的效果。

整个设计用到的数学工具都是线性代数的基本操作:结合律、低秩投影、恒等变换。真正的巧妙在于把这些简单组件组合成了一个系统,在计算能力和显存带宽间的 trade-off 里找到了一个此前不存在的平衡点。

如果希望进一步了解工程实现、源码级细节,推荐阅读16。

附录:为什么说 GQA 是”分割和复制”

正文中提到”GQA 采用的是分割和复制”,这是苏神提出的一个视角,把 GQA 和 MLA 放进同一个”压缩→恢复”的统一框架中比较。

常规的理解是:GQA 减少 K,VK,V 头数,nhn_h 个 QQ 头分成 gg 组,每组复用同一份 K,VK,V。但苏神指出,如果把 GQA 所有组的 K,VK,V 拼成一个向量:

ctGQA=[kt,1⋮kt,gvt,1⋮vt,g]=[W1K⋮WgKW1V⋮WgV]htc_t^{\mathrm{GQA}}= \begin{bmatrix}k_{t,1}\\\vdots\\k_{t,g}\\v_{t,1}\\\vdots\\v_{t,g}\end{bmatrix} =\begin{bmatrix}W_1^K\\\vdots\\W_g^K\\W_1^V\\\vdots\\W_g^V\end{bmatrix}h_t

这个 ctGQAc_t^{\mathrm{GQA}} 的维度是 2gdh2gd_h(KK 和 VV 的维度均取 dhd_h)。当 2gdh<d2gd_h<d 时,ht→ctGQAh_t\to c_t^{\mathrm{GQA}} 本身就是一个低秩投影,只不过投影矩阵恰好是各组投影的拼接。

接下来,GQA 从 ctGQAc_t^{\mathrm{GQA}} 恢复每个头的 K,VK,V 的方式是:分割(按组切片取出对应的 KK、VV)+ 复制(同组内的 nh/gn_h/g 个 QQ 头共用这份 K,VK,V)。

而 MLA 把这一步换成了每个头独立的可学习投影 WiUK,WiUVW_i^{UK},W_i^{UV},自由度高得多。从这个视角看,GQA 和 MLA 的区别不在于是否做低秩投影,而在于从低维向量中恢复 per-head K,VK,V 的机制:分割复制 vs 可学习投影。

参考资料

  1. 苏剑林, 缓存与效果的极限拉扯:从MHA、MQA、GQA到MLA, 2024. kexue.fm/archives/10091 ↩

  2. 我是那谁, 带你从头发明MLA, 2025. 知乎专栏 ↩

  3. Sholto Douglas, Anselm Levskaya et al., Scaling Book: Inference, 2025. jax-ml.github.io/scaling-book/inference ↩

  4. Nelson Elhage et al., A Mathematical Framework for Transformer Circuits, 2021. Attention Heads are Independent and Additive、Attention Heads as Information Movement。 ↩

  5. DeepSeek-AI, DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model, 2024. arXiv:2405.04434 ↩ ↩2 ↩3 ↩4

  6. kaiyuan, 超细图解MLA计算流&吸收矩阵对比分析。参考其并排展示结构与执行流程的方式,以及按 Query 长度、缓存长度比较计算量的方法。 ↩

  7. DeepSeek-AI, DeepSeek-V3 Technical Report, §2.1、§4.2. arXiv:2412.19437。本文沿用 V2 的 MLA 符号,以 V3 的维度参数举例。 ↩

  8. DeepSeek-AI, DeepSeek-V3 官方推理实现:MLA 类。naive 与 absorb 两种实现展示了不同的执行顺序。absorb 在每个 TP rank 上保存完整的 latent 与 RoPE KK。 ↩ ↩2 ↩3

  9. DeepSeek-AI, DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models, 2025. arXiv:2512.02556。附录 A 的 Figure 7 对比 MLA 的 MHA / MQA mode,并说明 DeepSeek-V3.1-Terminus 在训练、Prefill 和 Decode 中的模式选择。 ↩ ↩2

  10. 五道口纳什,MHA 的 QKVO 四重投影,为什么少不了 W_O?,Bilibili 视频。 ↩

  11. Ted Zadouri, Hubert Strauss, Tri Dao, Hardware-Efficient Attention for Fast Decoding, 2025. §3.2 分析 MLA 如何通过跨头复用 latent,以及让 K,VK,V 共用同一份数据,提高算术强度。 ↩

  12. Kazuki Irie et al., How Much Self-Attention Do We Need? Trading Attention for Feed-Forward Layers, ICASSP 2020. §5.2、Table 4。正文引用 TED-LIUM 2 上的 32 层语言模型实验,对照保持层数与 FFN 配置一致,共享后参数量随之减少。 ↩

  13. Ali Kayyam et al., Do Transformers Need Three Projections? Systematic Study of QKV Variants, 2026,预印本。§4.3、Tables 4、9。模型从头训练,使用 10B tokens。该实验比较独立投影与直接共享投影,并非 MLA 共享 latent 与独立 latent 的对照。 ↩

  14. Gemma Team, Gemma 4 Technical Report, 2026. §2。除 E2B、E4B 外的模型在全局 Attention 层复用 KK 作为 VV,并配合 p-RoPE。 ↩

  15. 苏剑林, Transformer升级之路:2、博采众长的旋转式位置编码, 2021. kexue.fm/archives/8265 ↩

  16. 罗西的思考, 探秘Transformer系列之(28)--- DeepSeek MLA, 2025. 博客园——覆盖了矩阵吸收、RoPE 解耦、源码实现和 MHA。 ↩


Share this post on:

Previous Post
让 Agent 学会优化算子:如何构建有效的 Loop
Next Post
GQA 比例与推理成本