«Кластер — доступ, среда — в пару кликов»: AWS вынесла управление SageMaker HyperPod Spaces прямо в консоль SageMaker Studio

Зачем это нужно

Amazon SageMaker HyperPod, напоминает AWS, — это инфраструктура, специально предназначенная для обучения и вывода больших моделей в масштабе. Вместе с оркестрацией через Amazon EKS она позволяет распределять обучение по сотням ускорителей со встроенной отказоустойчивостью и автоматическим восстановлением после сбоев, а также обслуживать вывод с низкой задержкой для моделей с миллиардами и десятками миллиардов параметров.

Ранее в этом году AWS представила SageMaker Spaces для HyperPod — дополнение, позволяющее создавать интерактивные среды разработки прямо на кластерах HyperPod с EKS. Идея в том, чтобы максимально использовать вложения в GPU, запуская интерактивные рабочие нагрузки рядом с обучением и развёртыванием, в том числе с дробным выделением ускорителей. Однако до сих пор создание и управление такими средами опирались на HyperPod CLI или kubectl, а новая возможность в Studio предназначена для тех, кто предпочитает визуальный интерфейс.

Что появилось в Studio

На странице сведений о кластере HyperPod появилась вкладка IDE and Notebooks: из неё можно создавать, настраивать, запускать, останавливать и открывать Spaces, а для повседневных операций больше не нужна командная строка. При создании среды открывается пошаговая форма, где задаются вычислительные ресурсы, пространства имён, хранилище, параметры HyperPod Task Governance для управления квотами вычислений и настройки образа.

Все среды собираются в одну таблицу с поиском, где видны имя, тип приложения, статус, тип доступа, хранилище, число GPU и vCPU. Запуск и остановка выполняются одним выбором, а открыть Space можно как прямо в браузере — в JupyterLab или Code Editor, — так и в удалённой среде IDE. AWS описывает два сценария работы: администраторы готовят кластер, а специалисты по данным создают среды и открывают их.

Что нужно подготовить администратору

Чтобы интерфейс заработал, администратору нужно установить дополнение SageMaker Spaces: при быстрой установке веб-интерфейс не включается, поэтому требуется выборочная настройка. Затем задаются пространства имён, создаются шаблоны сред и настраивается доступ через EKS access entries. AWS перечисляет три управляемые политики, которые нужно прикрепить: AmazonSagemakerHyperpodSpacePolicy, AmazonSagemakerHyperpodUserClusterPolicy и AmazonSagemakerHyperpodSpaceTemplatePolicy.

Отдельный шаг — включить проброс идентичности отдельных пользователей в домене Studio: параметр ExecutionRoleSessionNameMode переводится в значение USER_IDENTITY командой aws sagemaker update-domain, а результат проверяется через describe-domain. Уже запущенные приложения при этом не затрагиваются, а новые настройки подхватываются при следующем входе пользователя. Проброс идентичности привязывает действия каждого пользователя Studio к его профилю в EKS access entries и CloudTrail и задаёт строгую принадлежность сред: система отслеживает, кто создал среду, и определяет, приватная она или общая.

Опыт специалиста по данным

Специалисту по данным достаточно перейти в раздел Compute, открыть HyperPod и вкладку IDE and Notebooks, чтобы создать Space из шаблона, выбрать приложение и запустить его. На «холодном» кластере статус Running обычно наступает за несколько минут, а при настроенном упреждающем резервировании — примерно за 30–40 секунд.

Среда JupyterLab даёт блокноты Python 3, консоли Glue PySpark и Glue Spark, ядра SparkMagic, терминал, файловый менеджер с постоянным хранилищем и встроенный чат с контекстной справкой; результаты работы сохраняются на EBS. Code Editor повторяет Visual Studio Code: подсветка синтаксиса, IntelliSense, встроенный терминал, поддержка расширений, интеграция с Git и доступ к файловой системе кластера и томам FSx. Открыть среду можно и в локальном VS Code через туннель SSH поверх AWS Systems Manager — без SSH-ключей и без открытия порта 22. Расширение AWS Toolkit для VS Code также показывает Spaces в разделе SageMaker AI → HyperPod и позволяет запускать их и подключаться к ним прямо из панели.

Необязательные возможности и цена

AWS перечисляет набор необязательных и комбинируемых возможностей: доступ из браузера через Application Load Balancer и свой DNS в Route 53, шаблоны сред, HyperPod Task Governance с квотами и очередями на базе Kueue, автомасштабирование Karpenter, постоянные тома EFS и FSx, собственные образы из Amazon ECR, автоматическое выключение простаивающих сред и дробное выделение GPU через NVIDIA MIG.

Отдельно описан приём с упреждающим резервированием узлов: на кластерах со масштабированием до нуля первое создание Space упирается в холодный старт в 5–7 минут из-за запуска инстанса, регистрации узла в Kubernetes и загрузки образа. Держа пул прогретых узлов с уже загруженным образом, старт удаётся сократить примерно до 30–40 секунд; на инстансе ml.m5.12xlarge AWS приводит замеры порядка 14 секунд при размещении рядом с плейсхолдером, около 35 секунд при вытеснении плейсхолдера и те же 5–7 минут без прогретого пула. Плата за само дополнение не взимается — оплачиваются вычисления HyperPod, потреблённые средами, и почасовая плата за инстанс AWS Systems Manager Advanced On-Premises для удалённого подключения, а прогретые узлы добавляют стоимость. Как заключает AWS, управление HyperPod Spaces из Studio сокращает разрыв между специалистами по данным и высокопроизводительной инфраструктурой, позволяя давать самообслуживаемый доступ к общим кластерам, сохраняя контроль над затратами и справедливость распределения ресурсов.