Amazon SageMaker HyperPod

AWS 為 SageMaker HyperPod 加入模型快取，並為 SageMaker Inference 加入前綴感知路由，以追求更快的擴展與更低的 LLM 延遲。

Hugging Face 與 AWS 新增一鍵轉接 SageMaker Studio 與新的 HyperPod 推論功能，降低企業 AI 部署的設定摩擦。