«Всегда ли лучшая работа значит лучшего работника?»: Google Research показала, кому ИИ добавляет экспертизы, а кому — нет

Задача: отделить качество работы от роста навыка

Профессиональное суждение — то, что отличает старших специалистов от младших коллег. Оно строится тысячами часов работы, обычно через рутинные, но формирующие задачи под руководством опытных наставников, и ИИ уже меняет то, как проходит это обучение на рабочем месте.

Предыдущие исследования расходятся в выводах. С одной стороны, работы по радиологии, бизнес-задачам, письму для соискателей и юридическому образованию показывают: если инструменты ИИ аккуратно встроить в учебный процесс, менее опытные сотрудники начинают лучше работать самостоятельно. С другой стороны, эксперименты с разработчиками, консультантами, школьниками и врачами показывают, что ИИ работает как временный экзоскелет: он поднимает немедленный результат, но выигрыш часто не сохраняется после того, как инструмент убирают.

Чтобы понять, как ИИ усиливает или разрушает экспертизу, нужны три условия, которые редко встречаются вместе: длительное использование ИИ внутри обычной профессиональной работы — месяцами, а не часами; достоверная оценка суждения без ИИ, когда инструмента нет; и слепая оценка со стороны экспертов предметной области. Именно так и построен эксперимент, описанный в работе «Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting».

Участникам — 133 юристам из одиннадцати патентных фирм, которые ведут с Google регулярный неисключительный бизнес, — случайным образом давали доступ к тогда ещё не выпущенному ассистенту Google Labs для написания патентов, который сейчас входит в Gemini Notebook. Двум третям юристов в каждой фирме (группа «лечения») дали ранний доступ к инструменту, остальным (контрольной группе) провели обучение работе с ИИ, но сам инструмент не давали до конца трёхмесячного исследования.

ИИ действительно улучшает работу

Через 10 дней после начала работы с ИИ всем участникам прислали пакет материалов о гипотетическом изобретении и попросили составить патент; то же самое повторили через 90 дней, но с другим набором материалов. Ожидаемый выигрыш проявился в оба срока: на 10-й день доступ к ИИ поднял оценки за составление патента на 0,34 стандартного отклонения (это эквивалент подъёма на 10 пунктов процентильного рейтинга среди оценок контрольной группы), а к 90-му дню улучшение выросло до 0,38 SD, то есть примерно на 11 процентильных пунктов.

Улучшение оказалось удивительно ровным по всем измерениям качества. Оно пришло не от роста числа выдающихся работ, а от того, что плохих оценок стало меньше, а хороших — больше: оценки юристов с доступом к ИИ сместились с нижнего квинтиля в нижне-средний и средний, тогда как число исключительных результатов заметно не изменилось.

У младших юристов рост качества сопровождался ещё и экономией времени: на 10-дневной задаче они справлялись на 18 минут быстрее, чем контрольная группа, средняя скорость которой составляла 124 минуты.

Что показал тест без ИИ

Патентные юристы не только составляют патенты: они ещё и проверяют работы друг друга на критические ошибки, которые способны сделать патент неисполнимым в суде, — например, на завышение новизны или объёма притязаний. Поэтому на 90-й день добавили отдельную задачу, в которой нужно было вычитать и исправить гипотетический патент с множеством содержательных и стилистических ошибок.

Этот тест имитирует то самое профессиональное суждение, которым постоянно пользуются более опытные юристы и ради которого у них чаще всего нет роскоши опираться на ИИ. Ключевое условие: если на задачах составления патента участникам из группы «лечения» разрешали пользоваться невыпущенным инструментом или любым другим ИИ, то на вычитке ИИ не разрешался никому — поэтому её оценки измеряли именно то, насколько у участников развились собственные навыки. Составление и вычитку независимые патентные специалисты оценивали по пяти измерениям: исполнимость, точность, стратегическая неоднозначность (тактическое формулирование притязаний), полнота и ясность.

Когда ИИ убрали, эффект выравнивания исчез. Юристы с доступом к инструменту обошли контрольную группу на 0,32 SD на задаче без ИИ (подъём, эквивалентный 9 процентильным пунктам), но этот эффект целиком создали старшие юристы: они превзошли контроль на 0,45 SD, то есть на 13 процентильных пунктов, тогда как младшие не показали сколько-нибудь заметного улучшения. Оценки младших вместо этого разошлись в стороны: очень низких стало больше, посредственных — меньше, хороших — больше, а исключительных — не прибавилось.

Почему так вышло: как редактировали старшие и младшие

Качественный разбор правок объясняет разницу между уровнями опыта. В обеих группах младшие держались жёсткого формализма: шли строго сверху вниз, часто тратили всё время на вычитку малозначимых вводных разделов, так и не дойдя до главных притязаний патента, и занимались поверхностной заменой синонимов вместо улучшения коммерческого объёма притязаний. Даже заметив серьёзные дефекты, младшие нередко оставляли описательные комментарии с диагнозом вместо того, чтобы выполнить саму правку. Поскольку эта манера «диагностировать, но не исполнять» была столь же распространена среди младших в контрольной группе, речь идёт о базовом дефиците, который три месяца опоры на ИИ не устранили.

Старшие, напротив, извлекли из общения с ИИ устойчивую пользу. Юристы из группы «лечения» дольше работали над вычиткой, пропускали малозначимую прозу, заново собирали притязания с нуля, убирали формулировки, которые могли невольно сузить права или ограничить защиту, и сопровождали многие правки явными ссылками на правовые доктрины. В последующих интервью старшие описывали вывод ИИ не как готовый продукт, а как «аудитор логики»: он ослаблял привязанность к уже написанному тексту и заставлял проговаривать, зачем и почему меняется структура, тем самым включая и обостряя их базовую экспертизу.

Выводы и границы исследования

Улучшать работу и строить устойчивое профессиональное суждение — разные цели, и у младших специалистов они могут вступать в противоречие. Базовая экспертиза, по мнению авторов, — то недостающее звено, которое позволяет повторению с ИИ превращаться со временем в зрелое профессиональное суждение.

Такое суждение, вероятно, останется важным и при дальнейшем росте возможностей моделей: юристам придётся полагаться на него при взаимодействии с судьями, клиентами и коллегами, и не во всех ситуациях им поможет инструмент ИИ. Отсюда главный вызов момента: инструменты, которые улучшают работу сегодня, не должны мешать младшим специалистам становиться экспертами, нужными завтра.

Авторы прямо называют границы своей работы. Выборка ограничена патентными юристами — отражение высоких почасовых ставок специалистов этого уровня; наблюдение длилось всего три месяца, что мало по сравнению с годами, нужными для формирования устойчивой экспертизы; а быстрый прогресс моделей и рост базовой знакомства с ИИ могли бы изменить результаты, если повторить эксперимент сейчас. Эти ограничения авторы предлагают закрывать дальнейшими исследованиями. Главный же вывод работы в том, что понимать влияние ИИ на профессиональный навык нужно тестами, которые отделяют эффект использования инструмента от результата работы человека без него.