«Легко забыть, насколько это искусственно»: автор блога Hugging Face разобрал, почему LLM-агенты ещё не дают общества

Тезис: замена агента — не то же самое, что общество

Имель начинает с личного опыта: он работал с симуляциями динамики мнений и заметил, что после долгого наблюдения за эволюцией сети «очень легко забыть, насколько это искусственно». В классической агентной модели он, по собственным словам, точно знает, что породило результат, потому что механизм он задал сам: агент сдвигается к мнению соседа с силой α, отказывается взаимодействовать за порогом уверенности, придаёт больше веса доверенным соседям.

Языковой агент позволяет дать симулированному человеку биографию, прошлые разговоры, отношения, цели и память: вместо числа 0,72 агент получает фразу, интерпретирует её и помнит, кто именно это сказал. Это, по мнению автора, реальное продвижение — но не то же самое, что приближение к настоящему обществу: более сильное утверждение, будто замена простых агентов на языковые сама по себе даёт более правдивую симуляцию социума, он принимает с оговоркой.

Что меняется, когда влияние становится языком

Пример в статье бытовой: кто-то пишет в университетском чате, что завтрашний экзамен, возможно, перенесли. Одно и то же сообщение разные студенты обработают по-разному — один лично знает отправителя и склонен верить, другой замечает отсутствие источника, третий почти не готовился и потому особенно охотно принимает слух, четвёртый помнит, что профессор уже переносил что-то в прошлом семестре.

В числовой модели эта разница исчезает вместе с самой фразой: «друг услышал от ассистента» и «какой-то анонимный аккаунт это написал» становятся эквивалентны, если модель не завела отдельную переменную вручную. Зато в числовой модели видно α на каждой связи, а в генеративной несколько механизмов переплетены: агент мог отреагировать на явное доверие, на извлечённую память, на формулировку сообщения, на инструкцию персоны или просто на поведенческие приоры самой языковой модели.

Generative Agents: значение имеет причинная цепочка

Автор напоминает работу 2023 года о Generative Agents: в небольшом городке жили 25 агентов, которые помнили пережитое, извлекали воспоминания, формировали рефлексии и планировали поведение, и одной инструкции о желании устроить вечеринку хватило, чтобы события пошли дальше.

Интересна здесь, по его мнению, не вечеринка, а цепочка: событие → память → коммуникация → состояние другого агента → коллективный результат. Классические агентные модели всегда интересовались последним переходом — как локальное поведение становится поведением популяции; языковые модели обогащают первые звенья, и ошибка состояла бы в предположении, будто вместе с ними автоматически очеловечился и популяционный процесс.

Правдоподобный агент — не правдоподобное общество

В статье приводится исследование, где агенты соответствовали 1 052 реальным участникам, построенным по двухчасовым качественным интервью, и на отложенных вопросах General Social Survey воспроизводили ответы живых людей. Сам автор называет результат впечатляющим, но уточняет, что это доказательство об индивидуальной симуляции: оно не устанавливает, что соединение таких агентов в социальную сеть даст верную коллективную динамику.

Популяция добавляет механизмы, которых у изолированного агента нет: кто с кем взаимодействует, в каком порядке приходит информация, где узкие места сети, как устроена рекомендательная система. Небольшое систематическое смещение, почти незаметное на одном агенте, на масштабе популяции может усилиться.

Топология против психологического объяснения

Имель ссылается на собственный стенд SocialDynamics Lab: в этой небольшой среде динамики мнений можно оставить локальное правило агента неизменным и поменять только топологию сети — и итоговое поведение популяции заметно изменится.

Это легко забыть, когда в каждом узле стоит языковая модель: если общество LLM-агентов поляризуется, объяснение «агенты стали более убеждёнными и убедили друг друга» звучит психологично и потому кажется естественным, хотя топология, порядок и рекомендации могут объяснять результат не хуже. В пример он ставит другой материал — Statistical Physics of Agents, где авторы не останавливаются на факте сходимости, а разделяют переменные, которые этой сходимостью управляют.

Миллион агентов и что вообще считать проверкой

Проект OASIS создавался для симуляции соцсетевых сред с динамическими сетями, рекомендательными системами и действиями вроде подписок и комментариев; его авторы сообщают о поддержке симуляций до миллиона агентов. На таком масштабе читать разговоры агентов вручную уже не является осмысленной проверкой — остаются агрегатные метрики: кривые распространения, поляризация, кластеризация, распределение активности.

Проблема в том, что разные микроскопические механизмы дают похожие макроскопические картины: воспроизведённая знакомая кривая поляризации ничего не говорит о том, каким механизмом она получена. Автор называет это одной из старейших трудностей моделирования сложных систем и отмечает, что языковые агенты её увеличивают, поскольку в каждом узле теперь обучаемая система со своими скрытыми закономерностями.

Что автор оставил бы вне языковой модели

Возвращаться к чисто числовым агентам он не хочет: если явление связано с качеством аргумента, фреймингом, разговорной памятью, неоднозначностью или убеждением, удаление языка выбросит именно предмет изучения. Привлекательная для него архитектура лежит между классической агентной моделью и полностью генеративным обществом: языковая модель занимается тем, где её выразительность реально нужна — интерпретацией сообщений, извлечением релевантных воспоминаний, рассуждением по семантическому контексту и генерацией реплик, — а явные переменные отвечают за убеждение, неуверенность, доверие, охват и структуру сети.

Это, по его формулировке, менее антропоморфно, чем просто просить языковую модель сыграть человека целиком. Такое разделение даёт и лучшие тесты: можно заменить базовую модель, оставив социальный механизм неизменным; перефразировать сообщения, сохранив смысл; менять сеть, не меняя агентов; убирать память, не трогая доверие.

Как проверять и что осталось открытым

Протокол, который автор считает правильным, строится на предсказании и вмешательстве: взять продольные данные реального онлайн-сообщества, дать симулятору только первую часть истории, ввести то же событие, что произошло в реальности, и сравнивать не только итоговое среднее мнение — сдвинулись ли первыми те же группы, пережило ли сопротивляющееся меньшинство примерно столько же.

Дальше идут изменения, которые не должны влиять: перефразирование, незначительные детали промптов, другие случайные сиды, замена достаточно способной базовой модели на другую. И только затем — то, что влиять должно: изменить охват, убрать мосты в сети, изменить пропускную способность общения, ввести доверенную поправку или изменить надёжность источника.

Точность предсказания и причинное утверждение автор разделяет прямо: то, что симулятор хорошо предсказывает поляризацию, не означает, что он объясняет, как она возникает. Итог статьи — не отказ от языковых агентов, а уточнение описания: переход от систем, где поведенческие допущения выписаны явно, к системам, где явные допущения сосуществуют с выученными. Числовых результатов, бенчмарков и измерений в тексте нет: это аргумент, а не отчёт.