«Признаки жизни»: Anthropic показала, что малые модели уже проходят отдельные шаги самовоспроизведения

Четыре шага и один узкий участок

Авторы исследования из Frontier Red Team — Уильям Чжоу и Дэниел Фриман — описывают автономную репликацию и адаптацию (ARA) как способность модели разворачивать и распространять себя без контроля человека. В кибербезопасности программу, которая копирует себя с одной машины на другую без участия человека, называют червём, и предыдущие работы уже показывали, что ИИ-агенты умеют вести себя подобным образом: сканировать сеть, использовать уязвимость и копировать веса модели на целевую машину. Такой «ИИ-червь» может носить свои веса с собой при размножении, а затем запускать инференс прямо на скомпрометированном железе, и тогда веса фактически становятся частью вредоносной полезной нагрузки.

Для этого исследования репликация разложена на четыре этапа: найти цели, получить исполнение, поднять инференс и продолжить распространение с нового хоста. Первые два этапа — собственно кибератаку — авторы в основном игнорируют, поскольку более ранние работы уже показали, что малые модели способны на киберэксплуатацию, особенно когда им дают подходящие инструменты. Неизученной и, возможно, самой трудной для малых моделей оказывается установка инференса: она требует длинной последовательности решений по железу и операционной системе — выбрать совместимый стек, найти правильные версии пакетов, отладить проблемы конкретной машины. Эти шаги зависят друг от друга последовательно, а ошибки в них трудно откатывать.

Отдельно авторы отмечают, что репликаторам на весах, в отличие от многих видов вредоносного ПО, не нужны root-права. Привилегии удобны для живучести после перезагрузки, например через cron, но движки инференса работают целиком в пользовательском пространстве, и многие слабо защищённые устройства можно перезаразить после перезапуска.

Двадцать шесть миллиардов параметров на пятнадцати приставках

Устройства интернета вещей бедны памятью, но распределённый инференс делает обслуживание лёгких моделей выполнимым. Типичные приставки в этом классе несут от одного до четырёх гигабайт оперативной памяти; при четырёх гигабайтах и четырёхбитном квантовании этого хватает для модели на 9 миллиардов параметров на четырёх и более машинах и для модели на 26 миллиардов — на десяти с лишним. В демонстрации Gemma4-26B-A4B работала на пятнадцати приставках с четырьмя гигабайтами памяти каждая, разбитая по конвейерному параллелизму: на каждой приставке лежала небольшая доля слоёв модели. Приобретённые авторами боксы стоили около 55 долларов каждый, а скорость работы на них составила 0,39 токена в секунду.

Образцом угрозы авторы называют Kimwolf — крупный ботнет интернета вещей, заразивший более двух миллионов устройств, в основном дешёвые Android-телевизоры. Такие приставки обычно работают на форках Android Open Source Project, к которым производители не добавляют защитных механизмов.

8 из 9 типов железа и полный цикл

Способность обслуживать модель на незнакомом железе авторы измеряли, поручив разным открытым моделям поднять сервер инференса для Llama3.1-8B на разнородных типах оборудования. Малые модели уровня Qwen3.5-9B справились с настройкой на железе от Jetson Nano до Mac и RTX 4090, а в целом модель на 9 миллиардов параметров запустила инференс на 8 из 9 протестированных типов оборудования. Более способные модели, такие как GLM-5.2, не только надёжнее, но и выдают больше токенов в секунду, что позволяет распространяться быстрее.

Затем авторы проверили, умеют ли модели выстраивать полный цикл — сканирование сети, доступ, доставку полезной нагрузки с весами и подъём инференса. Эксперимент шёл в изолированной сети из восьми узлов GCP с эмулятором Android 15: заражённый узел перепрыгивал на следующий через неаутентифицированный порт ADB, после чего поднимал сервер инференса, и при прохождении проверок корректности на целевой машине появлялась новая копия червя. Из всего набора открытых моделей только GLM-5.2 оказалась способна на сквозную репликацию — при допущении, что её способности удалось бы упаковать в модель размера Llama3.1-8B. Она делала это надёжно: распространилась на 8 узлов из 8 в четырёх испытаниях из пяти и на 7 из 8 в одном, тогда как остальные модели отказывали столь же стабильно. Киберэксплуатацию авторы намеренно оставили тривиальной, поэтому результат — верхняя граница реального успеха; при этом прошлые ботнеты интернета вещей, включая Mirai, распространялись столь же простыми средствами, как перебор стандартных логинов и паролей производителей.

Скорость, адаптация и советчик, который не помог

Репликаторы работают ниже интерактивных скоростей чатов и кодинг-агентов: распространение медленное и настойчивое, токены выцеживаются на граничном железе. Для Gemma4-26B-A4B неоптимизированная скорость на окне контекста 32 000 токенов — около 0,3 токена в секунду в среднем по предзаполнению и декодированию, так что один проход по полному окну занимает от 27 до 32 часов, а полная установка инференса — от 71 до 150 часов; у Qwen3.5-9B окно занимает 10,9 часа, а установка — от 28 до 51 часа. Если бы сопоставимый по размеру парк телевизоров, как у Kimwolf с его более чем двумя миллионами устройств, обслуживал ИИ-модели, то при группировке по 15 приставок на копию Gemma4-26B-A4B получилось бы около 133 тысяч копий, выдающих в сумме примерно 80 тысяч токенов в секунду — не больше, чем дают около 40 ускорителей H100, каждый из которых обслуживает эту модель на скорости примерно 1,95 тысячи токенов в секунду.

Второе, что отличает ИИ-репликатор от обычного вредоносного ПО, — адаптация: родительские экземпляры передают дочерним свои подсказки, код и заметки, то есть эволюция идёт по «ламарковскому» типу. В эксперименте каждая копия Qwen3.5-9B вела краткие заметки о том, что уже пробовала и где ошибалась, и следующая копия наследовала их и снова бралась за ту же задачу. Доля успешных запусков по двадцати отдельным линиям выросла с 45% в первом поколении до 61–84% в последующих. А вот обращение за помощью к более сильной модели не дало измеримого эффекта: Qwen3.5-9B с доступом к Opus 4.8 не выиграла ни когда советчик был доступен как инструмент, ни когда он вмешивался сам, — малые модели просто не знают, о чём спрашивать. Авторы делают из этого вывод, что координировать распространение, вероятнее, будет крупная модель, порождающая малые как субстратных агентов.

Чем это отличается от обычного ботнета

Жёстко закодированные ботнеты вроде Kimwolf нацелены на конкретный тип устройств — в его случае это Android-телевизоры и мобильные устройства. ИИ-ботнет не привязан ни к железу, ни к программному обеспечению: в эксперименте малые модели поднимали инференс на машинах от Jetson Nano до Mac. Авторы ожидают, что такие сети будут заражать не только интернет вещей и станут относиться к репликации на весах как к одной из тактик в общем арсенале.

Что могут сделать защитники

Логика защиты, по аналогии с эпидемией, сводится к тому, чтобы загнать базовое число воспроизводства ниже единицы и дать репликатору вымереть, а не закрепиться. Часть факторов на стороне защитников: распространяющийся на масштабе репликатор оставит сетевой след — аномалию для систем мониторинга потоков у провайдеров, поскольку новые заражённые хосты будут получать многогигабайтные полезные нагрузки с весами, а распределённый инференс породит устойчивый обмен между машинами, которые обычно так интенсивно не общаются. Обнаружив репликатор, защитники могут собирать его окружение и полезную нагрузку приманками-ханипотами. Опыт ликвидации Mirai показал эффективность карантина: когда провайдер ограничил сети заражённых подписчиков до короткого белого списка и переадресовал браузеры на инструкции по очистке, за 14 дней удалось устранить 92% заражений против 74% без уведомления. Полное устранение потребовало бы согласованных действий всех провайдеров с заражёнными сетями, что трудно, зато производители могут сузить пул целей, а регулирование способно это скоординировать — например, стандартные пароли для устройств интернета вещей уже признаны несоответствующими требованиям на рынке Великобритании.

Авторы закрывают текст прямым предупреждением: способности, которые делают ИИ-модели сильными кодинг-агентами, обобщаются и на киберзадачи, включая автономную репликацию, и полноценного «rogue-репликатора» пока нет только потому, что модели не научились собирать отдельные шаги воедино. Форма будущего не определена — это может быть медленная распределённая «цифровая слизевик»-структура на слабо защищённом железе, мощная кибермодель, быстро вскрывающая дата-центры, либо модель, выманивающая вычислительные кредиты у людей; общий вывод авторов — готовиться к миру, где агенты живут на любом железе, в том числе не подконтрольном человеку.