速報 · 台北時間

SageMaker AIのリアルタイムエンドポイント、KVキャッシュ対応ルーティングをサポート

一句重點:SageMaker AIのリアルタイムエンドポイントが、プロンプトとのキャッシュ一致が最も長いインスタンスへリクエストを振り分ける方式に対応した。

發生什麼事

AWS Machine Learning Blogによると、新しいKVキャッシュ対応ルーティングは、各リクエストを対象プロンプトとのキャッシュ一致が最長のインスタンスに送る。記事では仕組みのほか、prefix-aware routingとの使い分けや有効化の方法を紹介している。

01出典

証拠:🗣 公式発表、当サイトでは未実測。