notes on code, thoughts, and life.
这是我的博客
欢迎随便看看
Featured
-
《语言学的邀请》——符号与地图
“我们需要对「符号」与「事实」之间的距离有足够的认识。”
-
心理回顾（1）——认识发生论：主体与客体的分界
“人的成长就是“我”的部分越来越少，越来越多东西从主体剥落成为客体。”
Recent Posts
-
GQA 比例与推理成本
KV Cache 更小，推理就会更快吗？
-
Prefix Cache 路由：概率调度与平滑切流
总把请求发给当前最优项，既会制造热点，也会让新部署难以建立 cache。一个分数该如何变成采样概率？
-
KV Cache 的多级缓存
重算，还是搬运，这是个问题。
-
现代大模型推理并行策略总览
TP、PP、DP、CP、EP 的切分方式、适用场景与主流框架支持。