notes on code, thoughts, and life.
这是我的博客
欢迎随便看看
Featured
-
《语言学的邀请》——符号与地图
“我们需要对「符号」与「事实」之间的距离有足够的认识。”
-
心理回顾(1)——认识发生论:主体与客体的分界
“人的成长就是“我”的部分越来越少,越来越多东西从主体剥落成为客体。”
Recent Posts
-
KV Cache 的多级缓存
Updated:重算,还是搬运,这是个问题。
-
让 Agent 学会优化算子:如何构建有效的 Loop
给 Agent 更多轮尝试,算子就会更快吗?从 Atrex-Bench 到 AKA,探索什么样的任务、环境与反馈,才能让反复修改积累成有效优化。
-
重新理解 MLA:缓存 X 而非 KV
Updated:思考:如果不缓存 KV,而是缓存输入 X,可行吗?
-
GQA 比例与推理成本
KV Cache 更小,推理就会更快吗?