NVIDIA выпустила Kumo Tabular: табличная foundation-модель предсказывает метки за один проход, без обучения и настройки и обучена только на искусственных таблицах

Что выпустила NVIDIA

Kumo Tabular — не одиночная модель, а часть коллекции NVIDIA Kumo Structured, и её веса лежат на Hugging Face рядом с карточкой модели. Задача у неё узкая и массовая одновременно: таблица с размеченными строками подаётся как контекст, а модель возвращает вероятности классов или числовой прогноз для строк без меток — тем же способом, каким языковые модели решают новую задачу по нескольким примерам в промпте, не обновляя ни одного веса. NVIDIA описывает это как in-context learning для таблиц: модель, предобученная на миллионах таблиц, читает размеченную таблицу как свой контекст и предсказывает метки новых строк напрямую.

Мотив авторы формулируют через состояние самой области: таблицы — хребет корпоративного машинного обучения (записи клиентов, транзакции, логи датчиков, страховые случаи, заказы), а два десятилетия эту работу делают градиентно-бустинговые деревья, и жизненный цикл вокруг них почти не менялся — под каждый новый вопрос нужно собирать метки, конструировать признаки, искать гиперпараметры, валидировать и разворачивать модель, которая ничего не знает о таблицах вообще и учится каждой задаче с нуля. Kumo Tabular обещает снять именно этот цикл: обучение, дообучение и конструирование признаков для нового набора не нужны.

Выпуск практический, а не только исследовательский: три размера от 28 до 215 млн параметров, лицензия OpenMDW License Agreement версии 1.1, разрешающая коммерческое использование, веса на Hugging Face, код — в открытом репозитории NVIDIA/structured-data-models под Apache-2.0. Работа идёт через новую GPU-native библиотеку для структурных данных с официальной документацией. Под постом подписаны тринадцать авторов с пометкой nvidia, среди них Jure Leskovec и Matthias Fey; в благодарностях авторы отдельно отмечают David Holzmüller за существенные идеи и ablations и Vignesh Kothapalli за помощь во время стажировки.

Как устроена модель

Архитектурно это Transformer, построенный вокруг структуры таблицы: он использует внимание по колонкам, внимание по строкам и внимание по контексту — подход, введённый в TabICL и TabPFN. Чтобы выдать метку, модель решает три задачи: понять, что означает конкретное значение внутри своей колонки, понять, как колонки одной строки взаимодействуют между собой, и связать размеченные контекстные строки со строками запроса, метки которых неизвестны.

Технически это выглядит так. Группа ячеек собирается в один токен: числовые и категориальные значения проходят через Fourier-признаки — синусы и косинусы обучаемых частот — со своими весами для каждого типа, а пропуски не требуют импутации и обрабатываются специально; каждая строка контекста получает ещё и эмбеддинг метки. Затем строка сжимается чередованием двух видов внимания: внимание по колонке смотрит вниз по одному столбцу и выясняет, типично ли значение для распределения этого столбца (его стоимость линейна по числу строк), внимание по строке смотрит поперёк токенов одной строки и учит взаимодействия признаков, а различить колонки помогают rotary-позиции; четыре обучаемых токена [CLS] в каждой строке служат итоговым чтением, и после такого сжатия стоимость финальной стадии уже не зависит от числа колонок.

Финальный Transformer работает на эмбеддингах строк: контекстные строки внимают друг другу, запросные — только контексту, поэтому прогноз каждой строки зависит от контекста и от самой строки, но не от того, какие ещё строки оцениваются рядом; ключи и значения контекста считаются один раз и переиспользуются для последующих предсказаний, а Test-GQA сокращает кэш, который читает каждый прогноз. Выходная голова превращает строку запроса в вероятности классов для классификации и в 999 квантилей для регрессии, из которых следуют точечный прогноз и оценка неопределённости. Отдельная деталь — length-aware attention temperature: с ростом числа ключей softmax-внимание размывается, поэтому модель масштабирует каждый запрос температурой, растущей как логарифм числа ключей, с коэффициентом, обучаемым отдельно для каждой головы, — внимание остаётся резким на длинных и широких таблицах.

Как её обучали: только искусственные таблицы

Kumo Tabular не видела ни одной реальной таблицы: она предобучена целиком на искусственных данных, которые сэмплируются из структурной причинной модели (Structural Causal Model). Сначала для всей таблицы разыгрывается конфигурация — размер, задача, механизмы, характер пропусков; затем случайный причинный граф связывает скрытые переменные, которые вычисляются от корня к листьям случайно выбранными функциями (линейные отображения, небольшие нейронные сети, деревья, гауссовские процессы); часть узлов становится числовыми или категориальными колонками, один — целевой, остальные остаются скрытыми, как неизмеренные причины за реальными данными; постобработка коррелирует группы колонок, обрезает выбросы и вносит пропуски, а быстрая проверка ансамблем деревьев отбрасывает таблицы без обучаемого сигнала. Поскольку генератор процедурный, а не обученный, таблицы не кончаются: у каждой — новый граф и новые механизмы.

В генератор намеренно заложены дефекты реальных данных: пропуски в нескольких паттернах, огрубление части признаков (из-за чего дублирующиеся строки могут расходиться в метке), категориальные колонки с большим числом уровней и тяжёлые хвосты у регрессионных целей — модель, увидевшая миллионы таких таблиц, учится работать с этими несовершенствами без чистки данных.

Схема обучения — та же in-context-постановка: на каждой таблице большая часть строк с метками идёт в контекст, и модель учится предсказывать метки остальных, с кросс-энтропией для классификации и квантильной потерей для регрессии; классификация и регрессия обучаются как отдельные модели. Как и в TabICLv2, обучение идёт в три стадии: первая и самая длинная использует таблицы в 1 024 строки и до 100 колонок и учит модель тому, как выглядят таблицы вообще; вторая варьирует контекст от 400 до 10 240 строк; третья расширяет его до 60 000 строк всё с теми же 100 колонками. Всего Kumo Tabular-Small, Medium и Large увидели примерно 35, 71 и 137 млн искусственных таблиц соответственно. Рецепт обучения и генераторы данных NVIDIA обещает опубликовать вскоре.

Что показали измерения

Все три размера прогнали с настройками по умолчанию против полного лидерборда TabArena, где собраны тюнингованные градиентно-бустинговые деревья, AutoGluon и свежие табличные foundation-модели. Kumo Tabular занял первое место с ELO 1950, а в единой конфигурации с одной RTX 6000 Pro обошёл LimiX-2 и по скорости — в тексте поста этот выигрыш записан как «running 17 faster». NVIDIA утверждает, что все три размера задают новый state-of-the-art на Парето-фронте точности и эффективности.

На BeyondArena модель набрала ELO 1418 при Improvability score 7,78% и вышла на первое место. На TALENT у неё лучшее общее место сразу по точности классификации, логарифмической потере и RMSE для регрессии — со средними рангами 6,67, 3,98 и 4,22. На ScoringBench, бенчмарке предсказательных распределений, Kumo Tabular-Large и Medium заняли первое и второе места по среднему рангу.

Границы и как начать

Ограничения авторы перечисляют сами: модель работает только с числовыми и категориальными колонками, а текст, изображения и временные метки нужно превращать в признаки встроенными рецептами предобработки; один прямой проход покрывает до 10 классов, и уже библиотека расширяет это до любого числа классов через error-correcting output codes. Точность может падать на таблицах далеко за пределами обучающих диапазонов и когда строки запроса приходят из другого распределения, чем контекст, — поэтому, как и для любой предсказательной модели, NVIDIA советует проверять точность и калибровку на собственных отложенных данных.

Запустить модель можно через библиотеку structured-data-models: она ставится как pip-пакет, веса скачиваются с Hub при первом использовании, а библиотека даёт препроцессинг, ансамблирование и обработку многих классов. Пример в блоге сводится к таблице pandas и нескольким строкам: таблицу тензоризуют через sdm.TableTensor.from_pandas, разделяют строки на контекст и запрос, после чего sdm.models.KumoTabular возвращает прогноз; в карточке модели тот же вызов показан с num_estimators=8, а документация описывает библиотеку как GPU-native набор foundation-моделей, тензорных подклассов и обработчиков для структурных данных, где KumoTabular стоит рядом с TabICLv2 и TabFM.

Лицензия весов — OpenMDW 1.1, разрешающая коммерческое использование; NVIDIA отдельно напоминает про свою политику доверенного ИИ и просит сообщать о проблемах качества, рисках и уязвимостях через форму обратной связи, а код библиотеки лежит под Apache-2.0.