«Любое изображение оживает в реальном времени»: Meta представила Muse Realtime Avatar — говорящие аватары поверх Muse Realtime Voice

Что представила Meta

23 сентября 2026 года Meta AI Research представила Muse Realtime Avatar — технологию воплощения (embodiment), которая превращает Muse Realtime Voice в выразительных интерактивных аватаров. Работая по референсному медиа, система вводит любого персонажа в живой разговор: фотографический портрет отвечает тонкой мимикой, полноростовой рисунок жестикулирует и меняет позу, пока говорит, а животные и обычные предметы становятся выразительными, не теряя того, что делает их узнаваемыми.

Покадрово внешность и манеры аватара остаются согласованными от одной реплики диалога к следующей. Продолжается линия Muse — персонального AI-агента Meta, который компания описывает как агента, не просто отвечающего на вопросы, а выполняющего работу.

Что именно показали

Meta выводит результат за пределы «говорящих голов»: по её описанию, Muse Realtime Avatar оживляет любое изображение в реальном времени, добавляя выразительную мимику, движения рук и всего тела. В примерах блога компания отдельно оговаривает границы демонстрации: они иллюстрируют возможности модели и не все отражают аватары, доступные в приложении Muse, которое предназначено для пользователей 18 лет и старше.

Один поток токенов на речь и изображение

Muse Realtime Voice и Muse Realtime Avatar образуют единую стриминговую систему, связывающую интеллект, голос и воплощение. Голосовой компонент отвечает за разговорный интеллект и порождает поток речевых токенов (VQs), несущих одновременно и то, что сказано, и то, как это произнесено. Аудиодекодер превращает эти токены в речь, а Muse Realtime Avatar потребляет тот же самый поток и генерирует соответствующую визуальную игру; общий поток токенов удерживает голос, движение губ и мимику синхронными.

Технически Muse Realtime Avatar — это управляемый аудио Diffusion Transformer, обусловленный потоком речевых токенов, референсным медиа и скользящим окном недавних видеолатентов. Видео генерируется короткими причинными чанками: латенты каждого завершённого чанка становятся контекстом движения для следующего, перенося внешность и манеры аватара вперёд, а вычисления при этом остаются ограниченными — поэтому генерация может продолжаться столько, сколько идёт разговор.

Как в Meta боролись с накоплением ошибок

Живой стриминг должен решать две задачи одновременно: генерировать видео достаточно быстро для интерактивного взаимодействия и оставаться визуально согласованным на протяжении всего разговора, не накапливая ошибки. Meta начинает с качественного двунаправленного «учителя» и через self-forcing и дистилляцию с сопоставлением распределений получает причинного «ученика» с KV-кэшем фиксированной длины. Self-forcing позволяет ученику тренироваться на собственном сгенерированном контексте и учит его сопротивляться дрейфу по мере накопления мелких ошибок, то есть воспроизводит условия, с которыми он столкнётся при инференсе.

Цена такого качества у «учителя» измеряется прямо: 40 шагов диффузии с трёхсторонним classifier-free guidance (CFG), три прохода модели на каждый шаг — в сумме 120 вычислений модели на один чанк. Выверенный рецепт Meta совместно дистиллирует и сам процесс диффузии, и эффект CFG в необусловленного двухшагового ученика. В результате ученик воспроизводит за два необусловленных вычисления то, что учитель последовательно уточняет за 120 обусловленных, — сокращение в 60 раз при близком сохранении качества учителя.

График из блога показывает и цену компромисса: предпочтение людей растёт с 45% до 55%, а ученик использует в 60 раз меньше вычислений нейросети.

Сравнение с коммерческими аватарами

Чтобы понять, как система ведёт себя в живом разговоре, Meta сравнила её с Runway Characters и HeyGen LiveAvatar — двумя ведущими коммерческими аватарными системами — в нативном режиме живого звонка каждого продукта. Оценщики проводили двух-трёхминутные разговоры с каждой системой на согласованных личностях аватаров и затем сравнивали полученный опыт по визуальному качеству, синхронизации, согласованности персонажа и манерам.

По данным самой Meta, Muse Realtime Avatar предпочли Runway Characters в соотношении 78% против 22%, а HeyGen LiveAvatar — 88% против 12%. Оценщики предпочитали систему в целом и по каждому оцениваемому измерению, однако сравнение манер с Runway Characters статистически не отличалось от паритета.

Субсекундная задержка и масштаб Meta

Аватар непрерывно генерирует видео по ходу живого разговора, и доставить такое переживание в масштабе Meta требует одновременно интерактивной задержки и высокой конкурентности. Для этого в компании переработали стек инференса реального времени и связали его с собственным движком, построенным под сильно оптимизированную потоковую генерацию и обслуживание видео.

Постоянные KV-кэши с позиционными кодировками, учитывающими память, позволяют повторно использовать контекст между чанками при декодировании, маршрутизация с учётом кэша и динамическая батчевая обработка с учётом задержки распределяют одновременные сессии, а обучение с учётом 4-битного квантования сохраняет качество при меньшей стоимости инференса. Дополнительно применены объединённые ядра и захват NVIDIA CUDA Graph, снижающие трафик памяти и накладные расходы планирования; часть оптимизаций модели сделана совместно с NVIDIA.

Замеры опубликованы конкретные: Muse Realtime Avatar передаёт портретное видео 448x768 с частотой 25 кадров в секунду и задержкой около 870 мс — от окончания реплики пользователя до получения первого байта синхронизированного голосового и видеответа. В одной сессии на GB200 каждый шаг генерации производит восемь кадров, что соответствует 320 мс воспроизведения, за 20 мс, то есть эффективно 2,5 мс модельного времени на кадр. Перечисленные оптимизации вместе с оркестрацией голоса и видео увеличивают пропускную способность обслуживания в 8 раз относительно двухшагового базового варианта в BF16 и позволяют вести 12 одновременных сессий реального времени на одном GB200.

Водяной знак и ограничения

Meta заявляет, что на всём протяжении работы с аватарами действуют строгие требования безопасности, снижающие риск злоупотреблений. Чтобы сгенерированное медиа оставалось прослеживаемым, Muse Realtime Avatar использует Meta Video Seal, встраивая долговечный невидимый водяной знак по всему генерируемому видео и не добавляя задержки в реальном времени.

Video Seal — собственная модель Meta для нанесения видеоводяных знаков. В компании обещают продолжать усиливать эти защиты по мере развития воплощённого ИИ.