快訊 · 台北時間

SageMaker AI 即時端點支援 KV cache 感知路由

一句重點:SageMaker AI 即時端點的新路由,會依提示詞的快取匹配長度,挑選接收請求的執行個體。

發生什麼事

AWS 機器學習部落格發文,介紹這項新的 KV cache 感知路由(Amazon SageMaker AI real-time endpoints now support KV cache aware routing)。它會把每個請求導向,持有該提示詞最長快取匹配的執行個體。文章說明運作方式、與 prefix-aware routing 的使用時機比較,以及啟用方式。

01參考來源

證據:🗣 官方自述,本站未實測。