快讯 · 台北时间

Amazon SageMaker HyperPod Inference 支持 NVIDIA Dynamo,大模型可跨节点推理

一句重點:AWS 将大模型分布式推理纳入 SageMaker 托管服务。

發生什麼事

AWS 表示,SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo。推理任务可在多个节点间运行,系统会根据 KV cache 状态分配请求,遇到故障时也能自动恢复(Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference)。

01参考来源

证据:🗣 官方自述,本站未实测。