發生什麼事
AWS 表示,SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo。推理任务可在多个节点间运行,系统会根据 KV cache 状态分配请求,遇到故障时也能自动恢复(Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference)。
01参考来源
证据:🗣 官方自述,本站未实测。
- Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference:发布单位 AWS(Amazon Web Services),AWS Machine Learning Blog 官方文章,2026-11-17 23:33 UTC(台北 2026-11-18 07:33)发布。