快讯 · 台北时间

SageMaker AI 实时端点支持 KV cache 感知路由

一句重點:SageMaker AI 实时端点新增 KV cache 感知路由,可按提示词的缓存匹配长度选择接收请求的实例。

發生什麼事

AWS 机器学习博客介绍了这项新路由(Amazon SageMaker AI real-time endpoints now support KV cache aware routing)。它会将每个请求发往持有该提示词最长缓存匹配的实例。文章还介绍了它的工作原理、与 prefix-aware routing 的适用场景比较,以及启用方法。

01参考来源

证据:🗣 官方自述,本站未实测。