«Неожиданная эффективность»: ViDiHand восстановила движение рук по эгоцентричному видео, приспособив видеодиффузионную модель

Что произошло

Группа исследователей представила ViDiHand — по их утверждению, первый метод, который использует предобученную видеодиффузионную модель для восстановления 4D-движения двух рук по эгоцентричному видео.

Задача важна для embodied AI: эгоцентричное видео даёт естественный и масштабируемый источник данных для обучения роботов, а траектории кистей и запястий служат ключевым сигналом для имитационного обучения и обучения политик; поэтому качество восстановленного движения рук напрямую определяет, чему политика сможет научиться.

ViDiHand работает прямо по полным кадрам видео — без вышестоящего детектора рук, без инфиллера движения и без оптимизации на этапе инференса — и, по словам авторов, устанавливает новое состояние искусства на ARCTIC, HOT3D и HOI4D.

Три проблемы прежнего рецепта

Существующие методы восстановления рук делят один рецепт: найти руку, вырезать её и предсказать меш по кропу; насыщенное взаимодействиями эгоцентричное видео с частыми перекрытиями ломает этот рецепт сразу в трёх местах.

Перекрытие: в эгоцентричных сценах руки часто закрыты объектами, которыми они манипулируют, или друг другом, а детекторы вроде YOLO и ViTPose не срабатывают без визуальных свидетельств руки, так что неудачное обнаружение напрямую ведёт к неудачной реконструкции.

Трекинг: покадровые методы не могут удержать руку, как только она скрыта, а временные методы интерполируют между видимыми кадрами с помощью приора движения, выученного только на 3D-траекториях рук и оторванного от сцены и происходящего взаимодействия; визуальные подсказки остального видео простаивают.

Гладкость: покадровые методы дают заметный дрожащий шум, а временные гасят его выученным приором или оптимизацией на инференсе — но обоим нужен надёжный трек, которого под перекрытием нет.

Что уже заложено в видеодиффузионной модели

Такие представления уже есть в крупномасштабных генеративных видеомоделях: обучаясь синтезировать временно и геометрически согласованное видео в интернет-масштабе, видеодиффузионная модель неявно решает те же структурные задачи, что и 4D-реконструкция рук, — пространственно-временную согласованность, 3D-геометрию из 2D-наблюдений и достраивание скрытого содержимого.

Чтобы сгенерировать правдоподобный клип, ей приходится синтезировать содержимое через перекрытие, удерживать идентичность и пространственное положение между кадрами и выдавать плавное движение — ровно те приоры, которые восстановление рук долго делегировало внешним модулям.

Внутренние признаки генеративных моделей уже показывали себя в трекинге точек, плотном предсказании и понимании 3D-сцен, но до этой работы их не использовали для 4D-восстановления рук: предобученная модель уже несёт в себе большую часть сигнала, а адаптация лишь заостряет его на руках — особенно на скрытых суставах.

Как устроен ViDiHand: адаптировать, прочитать, декодировать

Адаптация: Wan2.1-VACE обучают рисовать полупрозрачную накладку руки поверх входного видео — сначала скелеты суставов на EgoDex, затем полные меши MANO на ARCTIC и HOT3D; обучается только ветвь VACE, а базовый DiT остаётся замороженным, чтобы сохранить видео-приор.

Чтение: признаки снимаются в одной точке модели — на 15-м слое DiT из 30 при шаге денойзинга τ ≈ 0.7; слой 15 сохраняет достаточно пространственного разрешения для локализации суставов и достаточно абстракции для артикулированной позы, а при τ ≈ 0.7 латент ещё не «сцепился» с видом нарисованной накладки — оба параметра выбрали перебором слоёв и шагов.

Декодирование: двухветочный декодер читает параметры MANO из этого признака — ветвь hand-token с одним выученным запросом на руку отвечает за артикулированную позу как целое, а ветвь карт суставов локализует каждый сустав на изображении; взаимное cross-attention связывает их, а голова со смешанной проекцией регрессирует глубину и решает внутриплоскостной сдвиг в замкнутой форме. Декодер обучают на закэшированных признаках — без обратного распространения через диффузионную модель.

Результаты

Метод оценивали на трёх эгоцентричных бенчмарках — ARCTIC, HOT3D и HOI4D — против восьми базовых линий, и он оказался первым на 26 из 27 метрик.

На ARCTIC точность по кадрам выросла с 0.919 до 0.997, сократив частоту ошибок на кадр в 27 раз; ошибка 2D-конечных точек упала с 50.5 px до 12.4 px, а дрожание — с 12.8 до 3.2, вчетверо ниже самого гладкого из прежних методов.

На HOT3D метрика MPJPE-p улучшилась с 31.0 мм до 21.5 мм, а на отложенном HOI4D ViDiHand занял первое место на восьми из девяти метрик.

В качественных примерах под перекрытием базовые линии WiLoR и OmniHands восстанавливают только видимую руку или промахиваются, тогда как ViDiHand возвращает обе руки — и когда левая рука уходит под крышку коробки на ARCTIC, и когда миксер прячет почти обе руки у края кадра, и когда на HOT3D одну руку полностью закрывает чаша.

Что дальше: от рендерера к энкодеру

ViDiHand закладывает приор, но и платит за него: чтение активации в середине денойзинга требует прохода сэмплирования, поэтому метод работает на 5.5 fps на четырёх GPU A100, а рука, полностью вышедшая из кадра, ему всё ещё недоступна.

Продолжение ACE-Ego-Hand от части тех же авторов сохраняет приор и убирает сэмплирование: оно трактует видеодиффузионную модель как энкодер, а не рендерер — один детерминированный проход по чистому латенту вместо многошагового сэмплирования, адаптация всей сети через LoRA прямо в цикле обучения, двунаправленный пространственно-временной декодер по всему клипу и опциональный лучевой решатель камеры, которому не нужны внутренние параметры камеры на инференсе.

На пяти эгоцентричных бенчмарках ACE-Ego-Hand лидирует на 27 из 29 метрик: относительно ViDiHand он снижает MPJPE-p на 30% на ARCTIC (21.7 → 15.3 мм), на 40% на HOT3D (21.5 → 12.9 мм) и на 23% на zero-shot HOI4D, а когда в оценку попадают руки вне поля зрения, снижение достигает 46–61%.

Скорость следует из одного прохода: на одной A100 это 63.1 fps сквозной пропускной способности клипов против 1.91 fps у ViDiHand в конфигурации точности — разрыв в 33 раза на том же GPU; при этом оба инструмента остаются офлайн-решениями для превращения записанного человеческого видео в обучающие данные.

Авторы и код

Статья опубликована 6 октября 2026 года в блоге Hugging Face как Community Article; среди авторов — Yuxi Wang, Chengkai Jin, Yufei Liu, Wenqi Ouyang, Tianyi Wei, Zhiwei Zeng, Siyuan Huang, Zhiqi Shen и Xingang Pan, а цитирование ссылается на arXiv 2606.30308.

К материалу приложены ссылки на статью, страницу проекта и репозиторий на GitHub, а также на продолжение ACE-Ego-Hand с его собственным arXiv-идентификатором.