發生什麼事
AWSによると、SageMaker HyperPod InferenceがNVIDIA Dynamoに対応しました。推論を複数ノードに分散でき、KV cacheの状態に応じたリクエストの振り分けや、障害発生時の自動復旧にも対応します(Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference)。
01出典
証拠:🗣 公式発表、当サイトでは未検証。
- Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference:発表元 AWS(Amazon Web Services)、AWS Machine Learning Blog公式記事。2026年11月17日 23:33 UTC(台北時間11月18日 07:33)公開。