Earthmover и Hugging Face убрали инфраструктурные барьеры для открытых моделей прогноза погоды

Зачем понадобился отдельный разбор

Открытые модели прогноза погоды уже дополняют физические модели: они считают быстрее и требуют на порядок меньше ресурсов, а веса публикуются прямо на Hugging Face — ECMWF выложила модели AIFS, Microsoft опубликовала Aurora, а Google DeepMind открыла исходный код WeatherNext 2. Разбор написан совместно Earthmover и Hugging Face Science и посвящён обратной стороне этой открытости: опубликованные веса ещё не означают, что модель легко запустить.

Авторы перечисляют три узких места, которые возникают ещё до самого инференса. Вычисления: многие модели, включая AIFS, зависят от flash attention, а он работает только на определённых архитектурах GPU. Хранение: скачать данные для одного прогноза реально, но для полноценной оценки или обучения это не масштабируется — бэктест модели за целый год требует около 360 ГБ диска ещё до сохранения результатов. Пропускная способность: получение начальных условий обычно становится первым узким местом, потому что типичный прогон требует примерно 1 ГБ начальных условий, а сама модель считает за секунды, так что GPU большую часть времени ждёт данные, а не вычисляет.

Демо: прогноз в один клик

Второй и третий барьеры авторы снимают данными Earthmover, а вопрос вычислений решают запуском в Hugging Face jobs. Демо-пространство позволяет выбрать модель и набор данных, задать время старта и длину прогноза: начальные условия читаются напрямую из Earthmover Arraylake, модель считается на GPU в Hugging Face, а результат складывается в бакет Hugging Face и в репозиторий Arraylake.

Сквозной показатель заявлен конкретно: 24-часовой прогноз от загрузки начальных условий до построения графика занимает меньше примерно 30 секунд, а время каждого шага видно отдельно. В списке моделей — ECMWF AIFS Single 1.0 и 1.1, Microsoft Aurora 0.25 Pretrained и NVIDIA Atlas; AIFS ENS 1.0 и Google WeatherNext 2 помечены как «soon». Начальные условия берутся из ECMWF HRES и ECMWF ERA5.

Как устроен сам прогноз

Модели прогноза погоды — это нейросети, обученные предсказывать будущее состояние атмосферы так же, как языковые модели предсказывают следующее слово. Разница в том, что предсказывается не следующая лексема, а следующий снимок атмосферы: трёхмерная сетка температуры, ветра, влажности и других переменных в точках по широте и долготе, причём большинство моделей использует сетку 0,25°.

Чтобы прогноз уходил дальше, модель подаёт собственный вывод обратно на вход — та же авторегрессия, что и в LLM, только каждый шаг здесь это полное глобальное состояние атмосферы, а не слово. Внутри Aurora, AIFS и FourCastNet используются обычные блоки глубокого обучения, адаптированные к сеткам вместо текста; у Aurora это трёхмерный Swin Transformer с кодировщиками и декодировщиками Perceiver.

Локальный запуск Aurora поверх ERA5

Туториал описывает четырёхшаговый прогноз на 24 часа на модели Aurora с инициализацией из ERA5 и последующим сравнением с тем же ERA5. Веса Aurora опубликованы под лицензией MIT, используется чекпойнт aurora-0.25-pretrained, который работает на входных данных формата ERA5 с шагом 0,25° и предсказывает один шестичасовой шаг за прямой проход.

Нужны только бесплатные аккаунты Hugging Face и Earthmover; GPU не обязателен — прогноз считается 2–3 минуты на шаг на CPU и секунды на GPU, при этом MPS не поддерживается. Начальные условия читаются клиентом Arraylake из репозитория earthmover-public/era5, а статические переменные, включая тип почвы, которого нет в архиве ERA5, скачиваются с Hugging Face Hub: они должны точно совпадать с теми, на которых Aurora обучалась.

Для оценки прогноз сравнивается с состоянием ERA5 на тот же срок, а по разнице считается взвешенный по широте RMSE. Полный скрипт разворачивает 28 шагов по 6 часов, то есть семь суток, и запускается как задание Hugging Face на инстансе a100-large.

Почему Earthmover быстрее обычного скачивания

Платформа Earthmover построена на двух открытых технологиях, которые позволяют забирать нужные данные, а не целые файлы. Zarr хранит многомерные массивы мелкими независимо читаемыми блоками, а Icechunk добавляет транзакционный слой с версионированием, безопасной параллельной записью и согласованными снимками — примерно то же, что Git даёт коду.

Благодаря этому данные из Marketplace можно стримить со скоростью порядка гигабайта в секунду, не храня их локально, и именно поэтому Marketplace удобен для получения начальных условий. Всего в нём больше 60 ПБ готовых к анализу данных о погоде, климате и Земле. Для инициализации и проверки доступны два открытых набора: ERA5 с почасовыми данными начиная с 1940 года, где бесплатный тариф отстаёт от реального времени на 3–6 месяцев, а платный сокращает отставание до 6 дней, и оперативные начальные условия ECMWF IFS в виде скользящего архива за последние 15 дней.

Что дальше

Готовых моделей на Hub много: ECMWF AIFS, Microsoft Aurora, NVIDIA Atlas, NVIDIA FourCastNet и Prithvi от IBM и NASA. Часть из них требует конкретного железа, поэтому авторы ссылаются на предыдущий разбор о запуске AIFS Single 2.0 на других GPU или через Hugging Face jobs.

Прогнозы можно складывать обратно в Arraylake в том же формате Icechunk — в бакет Hugging Face со 100 ГБ бесплатного тарифа, в AWS S3, Cloudflare R2 или GCS. Авторы просят присылать отзывы о демо через комментарии к посту, обсуждения в пространстве или почтой.