Tag: 推理优化

All the articles with the tag "推理优化".

• PagedAttention 详解：缓存的存储结构

  14 Jun, 2026

  GPU 时代的系统设计，从 CPU 时代继承了什么。

• 为什么KV缓存没有Q

  20 May, 2026

  从感性认知和数学公式两个角度，解释为什么自回归推理只缓存 KV 而不缓存 Q，以及 GQA 背后的设计哲学。