發生什麼事
AWS 機器學習部落格發文,介紹這項新的 KV cache 感知路由(Amazon SageMaker AI real-time endpoints now support KV cache aware routing)。它會把每個請求導向,持有該提示詞最長快取匹配的執行個體。文章說明運作方式、與 prefix-aware routing 的使用時機比較,以及啟用方式。
01參考來源
證據:🗣 官方自述,本站未實測。
- Amazon SageMaker AI real-time endpoints now support KV cache aware routing:發布單位為 AWS(AWS Machine Learning Blog),2026/11/17 發布。