發生什麼事
AWS 表示,SageMaker HyperPod Inference 已支援 NVIDIA Dynamo。推論可以跨多個節點進行,請求會依 KV cache 的狀態分派,故障時系統也會自動復原(Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference)。
01參考來源
證據:🗣 官方自述,本站未實測。
- Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference:發布單位 AWS(Amazon Web Services),AWS Machine Learning Blog 官方文章,2026-11-17 23:33 UTC(台北 2026-11-18 07:33)發布。