快訊 · 台北時間

Amazon SageMaker HyperPod Inference 支援 NVIDIA Dynamo,大模型可跨節點推論

一句重點:大模型的分散式推論,AWS 這次直接放進 SageMaker 的託管服務裡。

發生什麼事

AWS 表示,SageMaker HyperPod Inference 已支援 NVIDIA Dynamo。推論可以跨多個節點進行,請求會依 KV cache 的狀態分派,故障時系統也會自動復原(Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference)。

01參考來源

證據:🗣 官方自述,本站未實測。