Tag: Prefix Cache
All the articles with the tag "Prefix Cache".
-
Prefix Cache 路由：概率调度与平滑切流
总把请求发给当前最优项，既会制造热点，也会让新部署难以建立 cache。一个分数该如何变成采样概率？
-
Prefix Cache 路由：状态感知与决策要素
同一个请求交给集群中的任何实例都能正确执行，响应时间却可能完全不同。原因是每个实例保存的 Prefix Cache 不一样。
All the articles with the tag "Prefix Cache".
总把请求发给当前最优项，既会制造热点，也会让新部署难以建立 cache。一个分数该如何变成采样概率？
同一个请求交给集群中的任何实例都能正确执行，响应时间却可能完全不同。原因是每个实例保存的 Prefix Cache 不一样。