速報 · 台北時間

Amazon SageMaker HyperPod InferenceがNVIDIA Dynamoに対応、大規模モデルを複数ノードで推論

一句重點:大規模モデルの分散推論を、AWSのマネージドサービス上で利用できるようになりました。

發生什麼事

AWSによると、SageMaker HyperPod InferenceがNVIDIA Dynamoに対応しました。推論を複数ノードに分散でき、KV cacheの状態に応じたリクエストの振り分けや、障害発生時の自動復旧にも対応します(Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference)。

01出典

証拠:🗣 公式発表、当サイトでは未検証。