Tag: 推理优化
All the articles with the tag "推理优化".
-
KV Cache 的多级缓存
Updated:重算,还是搬运,这是个问题。
-
重新理解 MLA:缓存 X 而非 KV
Updated:思考:如果不缓存 KV,而是缓存输入 X,可行吗?
-
GQA 比例与推理成本
KV Cache 更小,推理就会更快吗?
-
Prefix Cache 路由:概率调度与平滑切流
总把请求发给当前最优项,既会制造热点,也会让新部署难以建立 cache。一个分数该如何变成采样概率?