發生什麼事
AWS Machine Learning Blogによると、新しいKVキャッシュ対応ルーティングは、各リクエストを対象プロンプトとのキャッシュ一致が最長のインスタンスに送る。記事では仕組みのほか、prefix-aware routingとの使い分けや有効化の方法を紹介している。
01出典
証拠:🗣 公式発表、当サイトでは未実測。
- Amazon SageMaker AI real-time endpoints now support KV cache aware routing:AWS Machine Learning Blog、2026/11/17公開。