Mistral выпустила Timestral — семейство моделей прогноза временных рядов на 5–209 млн параметров

Что именно вышло

Mistral называет Timestral своим первым семейством моделей-фундаментов для временных рядов и описывает четыре размера: 5, 28, 123 и 209 млн параметров. Это не четыре разные модели, а одно семейство с общей архитектурой и общим рецептом обучения — различаются только размер и вытекающий из него компромисс между точностью и скоростью.

Главное заявление касается места в сравнениях. По словам компании, старшая модель на 209 млн параметров занимает первое место на всех трёх основных публичных бенчмарках поля — GIFT-Eval, TIME и fev-bench — и обходит прежний state of the art, имея лишь две трети его параметров. Среди предобученных zero-shot моделей Mistral сообщает о первом месте по всем пяти метрикам, причём результат получен с одного чекпойнта, без ансамблирования. Масштаб сравнения в посте указан прямо: GIFT-Eval — десять лучших из 83 сопоставимых предобученных и zero-shot участников, TIME — десять лучших из 35, fev-bench — десять лучших из 37 по метрике skill score.

Здесь важна оговорка, которую делает сама Mistral: результаты отправлены на лидерборды GIFT-Eval и TIME, а технический отчёт с полными данными обещан позже. То есть место в лидербордах и приведённые метрики пока заявлены производителем и независимо не воспроизведены — в тексте поста это единственный источник цифр.

Что модель принимает и что отдаёт, тоже перечислено в таблице: вход — многомерные целевые ряды и ковариаты двух видов, известные только в прошлом и известные на будущее; выход — вероятностный прогноз по 21 квантилю; контекст — 32 768 шагов; лицензия — Modified MIT; развёртывание — on-prem, в VPC заказчика или в изолированной среде без сети.

Почему для прогноза временных рядов это отдельный класс моделей

Временные ряды — один из самых распространённых типов корпоративных данных: от телеметрии датчиков до метрик наблюдаемости, и прогнозы на их основе определяют планирование мощностей, энергетику, цепочки поставок, управление риском и обслуживанием оборудования.

Классические инструменты вроде ARIMA и линейной регрессии остаются рабочими, но настраиваются на один ряд и учатся только на его собственной истории; глубокие модели вроде PatchTST добавляют способность находить нелинейные закономерности по множеству связанных рядов, однако их по-прежнему обучают с нуля на каждом наборе данных, поэтому выученное не переносится в новые домены. Модель-фундамент приносит сюда предобучение: обученная на большом и разнообразном корпусе, она переносит закономерности между рядами и прогнозирует zero-shot на данных, которых не видела, в том числе там, где своих данных мало.

Пример в посте — завод с тысячами датчиков. Связанные ряды (вибрация, температура и давление насоса) модель обрабатывает совместно, а не по одному; вместо одного предсказанного значения отдаёт набор квантилей, чтобы видеть ширину неопределённости и ставить пороги оповещения с её учётом; категориальные признаки вроде дня недели или состояния станка принимает как категории, а не как числа; а известные заранее драйверы — производственный график, плановые остановки, прогноз погоды — использует как условие, чтобы плановый рост нагрузки не выглядел аномалией.

Из чего складывается результат

Первая деталь — Decoupled Horizon Forecasting, DHF. У причинных декодеров с маскированием непрерывных патчей (как в Toto 2.0 и TimesFM-3) замаскированные значения теряются сразу в двух ролях: они и цель прогноза, и контекст для более поздних шагов. DHF разделяет эти роли: полная история остаётся в последовательности, а обученные токены прогноза читают историю перед собой, поэтому каждое наблюдённое значение служит и целью, и контекстом, настоящие пропуски остаются помеченными как пропуски, а длина горизонта при обучении и аугментация пропусков настраиваются независимо.

Вторая — covariate-aware attention: каждой входной серии назначается роль — целевая переменная, ковариата только из прошлого или ковариата, известная в будущем. Известные на будущее ковариаты видны на всём окне, тогда как цели остаются причинными, и информация течёт только от ковариат к целям; так календарь праздников или прогноз погоды попадают в прогноз без того, чтобы будущее самой цели просочилось в её же предсказание.

Третья — ставка на синтетику: большую часть обучающих данных сгенерировали. Сначала создали одномерные процессы с согласованной временной динамикой — трендами, сезонностью и разными типами шума, — а затем многомерный синтезатор построил многомерные ряды, вводя нелинейные зависимости между этими процессами.

Обучение двухэтапное: сначала предобучение на чистой синтетике с размером контекста 8192, затем постобучение на смеси реальных и синтетических данных с контекстом вчетверо длиннее; целевая функция — pinball loss по 21 квантилю, дискретная аппроксимация CRPS.

Сколько это стоит по вычислениям

Инференс не требует GPU. На стандартном серверном процессоре с восемью потоками прогноз на сутки вперёд по трёхнедельной истории с 15-минутным шагом занимает 10 мс на модели 5M и 140 мс на модели 209M.

Внутри семейства компромисс описан числами: модель 28M работает в пять раз быстрее 209M, а модель 123M отстаёт от 209M всего на 0,2% по оценке при трёх четвертях её задержки. Сравнения с конкурентами Mistral приводит такие: 28M обходит Chronos-2, который примерно вчетверо больше, на GIFT-Eval и TIME, а 209M обходит TimesFM-3 и Falcon-2.0, имея меньше параметров. По утверждению компании, каждый размер лежит на границе Парето «точность против размера»: для каждого размера ни одна публичная модель не прогнозирует лучше.

Как адаптировать и где запускать

Помимо zero-shot режима Mistral предлагает адаптацию через Mistral Forge — тот же конвейер обучения, что и для её языковых моделей. Он поддерживает архитектурные расширения, например доменные ковариаты; дообучение на собственных данных с сохранением общей работоспособности; и контроль над обучающей смесью, включая переигрывание предобучающих данных и генерацию синтетических примеров под целевой домен. Весь конвейер, по заявлению компании, можно развернуть на железе заказчика, включая изолированные среды без сети.

Код открыт: Mistral опубликовала репозиторий на GitHub, где модель можно запустить на своих данных, и коллекцию моделей на Hugging Face; технический отчёт обещан отдельно. Лицензия — Modified MIT, развёртывание — on-prem, в VPC или в изолированной среде, контекст — 32 768 шагов, выход — вероятностный прогноз по 21 квантилю.

Практический вывод для тех, кто прогнозирует ряды: семейство покрывает весь диапазон от 5 до 209 млн параметров при одном рецепте обучения и без GPU на инференсе, поэтому выбор сводится к требуемой задержке, а не к доступному железу. Ограничение тоже названо прямо — пока это заявленные результаты: лидерборды ждут проверки, а технический отчёт, в котором будут описаны все четыре идеи, ещё не вышел.