«Модель важнее тактики»: Anthropic провела Project Swap — 201 агент обменивался книгами без денег

Что Anthropic построила

Project Swap — второй заход Anthropic на рынки, где обе стороны сделки представляют агенты: первым был Project Deal, недельная барахолка объявлений, на которой агенты покупали и продавали сотрудникам реальные вещи. Урок того эксперимента был методологическим: на индивидуальных товарах вроде пинг-понговых мячей и сноубордов со свободной торговлей невозможно сказать, насколько хорошим мог бы быть результат. Поэтому во второй раз рынок сделали подчёркнуто простым — таким, который можно посчитать.

201 сотрудник из Сан-Франциско, Нью-Йорка, Лондона, Сиэтла, Вашингтона и Дублина принёс книгу, которую хотел отдать, и коротко поговорил со своим агентом о том, что ему интересно читать летом. Пул участников в каждом офисе был свой — от трёх человек в Дублине до 115 в Сан-Франциско; дублинский рынок авторы исключили из большинства расчётов как слишком маленький.

Дальше агенты вышли на общий торговый зал: каждый начинал со своей книгой и мог предложить обмен, отклонить или принять чужой. Половину агентов на каждом зале случайным образом назначили «жёсткими» — их единственной целью было выбить для своего человека книгу, которую тот захочет читать, — а половину «просоциальными»: та же основная цель плюс вторая, чтобы с книгой остались все.

Как агент выяснял вкус человека

Главная метрологическая проблема любого такого рынка — откуда взять истинные предпочтения. Вручную ранжировать сотню книг никто не станет, поэтому Claude провёл с каждым участником короткое полуструктурированное интервью примерно на пять минут и по нему построил рейтинг всех книг в пуле. Этот же рейтинг агент использовал как рабочую инструкцию на торговом зале.

Отдельно исследователи собрали эталон: каждый участник сам ранжировал 10 книг из своего пула, и агенты этих рейтингов не видели.

Совпадение вышло неожиданно высоким для пятиминутного разговора — по всем парам книг рейтинг агента совпал с рейтингом человека в 61 % случаев.

Что стоит за 61 %

Случайное угадывание дало бы 50 %. Ранжирование просто по популярности — по счётчику want-to-read в Open Library — совпало с участниками примерно в 53 % пар книг. Коллаборативная фильтрация, построенная на публичных данных вида «кто любил X, любил и Y», добралась до 55 %.

Ближайшая внешняя точка отсчёта — исследование, где и алгоритм, и друзья человека угадывали, какая из двух шуток ему покажется смешнее: алгоритм согласился с людьми тоже примерно в 61 % случаев, а друзья — менее удачно, около 57 %.

Заметно влияло усилие. Медианный участник наговорил всего 216 слов в восьми сообщениях, но те, кто написал около 300 слов вместо 150, получали примерно на 4 процентных пункта больше совпадений — это треть разрыва между случайным угадыванием и средним результатом Claude.

Сколько не добрал рынок

Эффективность считали по собственному рейтингу участника: первая книга из десяти — единица, десятая — ноль. Средняя оценка по всем участникам и есть результат рынка.

Единица недостижима по определению: одну и ту же книгу хотят несколько человек. С учётом этого утилитарный оптимум в эксперименте равен 0,89, то есть примерно второму месту из десяти.

Фактически люди получили 0,55 — примерно свою пятую книгу из списка. Разрыв разложили на две причины: лучшее распределение, посчитанное уже по рейтингам Claude, но оценённое по эталонным рейтингам людей, даёт 0,60. То есть неточность представления предпочтений объясняет большую часть разрыва — 85 %, и лишь оставшиеся 15 % приходятся на свободную торговлю «все против всех».

Вывод из этого жёсткий: как только рынок работает на зашумлённых рейтингах, конструкция почти не влияет на результат. Top Trading Cycles, посчитанные по рейтингам Claude, дают те же 0,60 против 0,55 у децентрализованного рынка.

Модель важнее инструкции

Чтобы отделить случайность одного прогона от устойчивых эффектов, авторы перезапускали рынок, меняя по одному параметру: 80 залов, где у всех агентов была одна и та же модель и нейтральные инструкции, и 60 смешанных залов, где половина агентов работала на Opus 4.8, а половина — на одной из трёх других моделей. Всего в анализ стратегий попало 205 прогонов.

На рейтингах Claude залы на Haiku 4.5 давали в среднем 0,75, на Opus 4.8 — 0,88, а потолок, то есть утилитарный оптимум уже по рейтингам Claude, равен 0,95. Sonnet 4.5 оказался между Haiku и Opus, Fable 5 — близко к Opus, но ниже.

Смешанные залы садились примерно посередине между полностью слабым и полностью сильным составом, и агенты на Opus выходили вперёд всегда. В переводе на человеческие места апгрейд агента с Haiku на Opus сдвигал человека на 0,12 вверх по его собственному списку, апгрейд с Sonnet на Opus — на 0,08.

Эта зависимость от модели перекликается с Project Deal, где Opus в роли продавца выторговывал за тот же товар в среднем на $2,68 больше, а в роли покупателя платил на $2,45 меньше, чем слабая модель. Промпты, полный список прогонов и приложение с формулировками инструкций вынесены в отчёт.

Жёсткость, вежливость и 16 тактик

Инструкции влияли на порядок меньше, чем модель: на одном и том же зале «жёсткий» агент обходил «просоциального» примерно на 0,02. Просоциальные агенты при этом шли на осознанные жертвы — книгу ниже в собственном рейтинге они принимали вдвое чаще, чем жёсткие.

На живом лондонском зале агент Нейта почти час пытался пристроить принесённую книгу, которую отвергли все остальные, и в итоге агент Тины с инструкцией быть просоциальным уступил ему свою вторую книгу, взяв десятую из одиннадцати.

Свои рейтинги агенты держали в основном при себе: верхнюю книгу списка назвали от 78 % (Fable 5) до 96 % (Sonnet 4.5) агентов, и почти никто об этом не соврал — примерно один агент из ста.

Всего в 205 прогонах нашлось 16 повторяющихся тактик в трёх категориях: давление на собеседника, подача своей книги и попытки собрать сделку. Агенты давили временем и чувством долга перед товарищами по рынку, сравнивали свою книгу с конкурирующими предложениями, ссылались на премии, вели списки ожидания и иногда работали сводниками, подыскивая многосторонние обмены.

Что сказали участники

Участников спросили о книге уже после того, как они её прочли: средняя удовлетворённость — 7,2 из 10, где 5 — «нормально», а 10 — «лучшее, что читал за год». Около половины сказали, что полученная книга лучше большинства тех, что они выбирают себе сами.

Готовность делегировать измерили отдельно: в среднем участники отдали бы агенту около 30 % годового бюджета на книги. Для калибровки спросили про начитанного друга, знающего их вкус, — ему отдали бы примерно 40 %. Иными словами, агенту доверили около трёх четвертей того, что доверили бы другу.

Детали тоже оказались значимыми: те, кто счёл пересказ своих слов от Claude полным, давали агенту 34 % бюджета, а те, кто заметил пропуски, — 23 %.

Отдельно авторы признаются в неудобном: впечатление, будто каждый участник ушёл домой с физической копией добытой для него книги, неверно. Часть сотрудников просто не принесла обещанные книги, а системы учёта передачи и возврата в эксперименте не было, так что отличить забывчивость от пропажи оказалось невозможно.

Чего авторы не утверждают

Project Swap — не репрезентативная выборка: сотрудники Anthropic и доверяют Claude сильнее среднего человека, поэтому 30 % бюджета на книги, скорее всего, завышены. Участников не стимулировали: 95 % заполнили ранжирование, но финальную анкету ответили только 59 %.

Правила децентрализованного рынка — длительность, число одновременно активных агентов, регистрация сделок, промпты — держали фиксированными и не варьировали. И смотрели только на «благоповеденческих» Claude: состязательные агенты, построенные, чтобы эксплуатировать остальных, дали бы другую картину справедливости и эффективности.

В обсуждении авторы проводят прямую параллель с людьми: у инвестиционных советников есть экзамен Series 65, у брокеров — Series 7, риелторы сдают лицензионные экзамены штата, а правила FINRA требуют узнать о клиенте существенные факты, прежде чем что-то рекомендовать; когда в 2010-х появились первые робо-советники, SEC выпустила руководство с требованием проверять, что автоматизация действительно улавливает предпочтения клиента.

Отсюда два вида проверок: общая квалификация агента и отдельный тест на понимание конкретного человека. Второй авторы предлагают как прототип — участник ранжирует небольшую выборку книг, а его рейтинг сравнивают с догадкой агента, чтобы человек увидел, насколько хорошо он представлен, не перебирая весь рынок вручную. Результаты участникам не показывали, но могли бы — и тогда дали бы им дополнить вводные или отказаться от услуги.

Нерешённым остаётся и вход на рынок: в эксперименте каждый агент работал на Claude и представлял одного проверенного сотрудника, а реальным маркетплейсам придётся писать и проводить в жизнь правила о том, кто допускается — и как агент, и как человек за ним. Одна из предложенных идей — реестр агентов, где у каждого есть идентификатор наподобие хвостового номера самолёта. Ещё одна деталь — темп: агент не устаёт и не скучает, поэтому ничто не мешает ему писать другим без конца; в исследовании каждый агент мог отправить одно сообщение за пробуждение, и одновременно бодрствовали немногие, что ограничивало спам и перегрузку.