Amazon SageMaker HyperPod

AWS добавляет кэширование моделей в SageMaker HyperPod и маршрутизацию с учетом префикса в SageMaker Inference, нацеленную на более быстрое масштабирование и меньшую задержку LLM.

Hugging Face и AWS добавили передачу в SageMaker Studio в один клик и новые функции инференса HyperPod, снизив трение при настройке для корпоративного ИИ-развертывания.