Tag: 推理优化
All the articles with the tag "推理优化".
-
现代大模型推理并行策略总览
TP、PP、DP、CP、EP 的切分方式、适用场景与主流框架支持。
-
Prefix Cache 路由:状态感知与决策要素
同一个请求交给集群中的任何实例都能正确执行,响应时间却可能完全不同。原因是每个实例保存的 Prefix Cache 不一样。
-
FlashAttention 详解(V1 & V2)
Fast and Memory-Efficient Exact Attention with IO-Awareness.
-
无损投机采样的概率论视角
如何从概率分布的角度证明无损投机采样真的无损?