發生什麼事
AWS 机器学习博客介绍了这项新路由(Amazon SageMaker AI real-time endpoints now support KV cache aware routing)。它会将每个请求发往持有该提示词最长缓存匹配的实例。文章还介绍了它的工作原理、与 prefix-aware routing 的适用场景比较,以及启用方法。
01参考来源
证据:🗣 官方自述,本站未实测。
- Amazon SageMaker AI real-time endpoints now support KV cache aware routing:发布方为 AWS(AWS Machine Learning Blog),于 2026/11/17 发布。