«Данные — не то, что вы ожидали»: Дженнифер Невилл из Microsoft Research объяснила, почему ИИ теряет нить в многошаговых задачах

Одношаговые бенчмарки против реальной работы

Дженнифер Невилл — партнёрский руководитель исследований в Microsoft Research и одновременно Samuel D. Conte chair professor информатики и статистики в Университете Пердью. В Microsoft она перешла в 2021 году из академии и продолжает преподавать и руководить аспирантами уже двадцать лет; её публикации — это более 130 работ и свыше 10 000 цитирований.

Её команда называется AI Interaction and Learning, и её задача сформулирована как попытка «раздвинуть границу поведения» ИИ-систем в реалистичных рабочих средах: изучать, где именно проходит предел возможностей нынешних моделей, как пользователи ощущают этот предел в реальных рабочих процессах и как эти модели можно улучшить. Начинается всё с оценки — потому что стандартный способ измерять качество в машинном обучении устроен проще, чем то, как люди пользуются моделями на деле. Отсюда первая задача: понять, что мы вообще хотим получить от системы, и построить практичные оценки, которые ставят модель в такие среды — многошаговые диалоги, совместную работу, длинные задачи.

Что показал перевод бенчмарка в многошаговый режим

Один из самых показательных экспериментов команды начался с наблюдения о поведении людей: пользователи часто недоспецифицируют задачу, не умеют выдать полную спецификацию с первого раза и доопределяют её по ходу разговора, добавляя условия и уточнения. Исследователи взяли публичные одношаговые бенчмарки и разложили один полностью специфицированный сложный запрос на уточнения, которые по ходу нескольких реплик добавляла модель, симулирующая пользователя.

Результат оказался неожиданным: качество, которое модели показывают в одношаговом режиме — и которое высоко именно потому, что разработчики моделей оптимизируют системы под такой режим, — в многошаговом разговоре «значительно деградирует». Когда работа вышла в свет, пользователи отреагировали узнаваемо: «это и мой опыт, я знал, что так происходит», — пересказывает Невилл. Команда работает над методами обучения с подкреплением, чтобы поправить это поведение, но в публикации предложен и практический обходной путь: если модель запуталась в многошаговом чате, нужно остановиться, стереть всю переписку и, уже зная, что требуется, дать один полностью специфицированный запрос — тогда система ведёт себя лучше. Этот пример, по словам Невилл, показывает, что даже в проектах, нацеленных на алгоритмические улучшения, исследователи приходят к выводам о том, как стоит изменить поведение самим пользователям.

Накопление ошибок и «неожиданные сбои»

Отдельное направление команды — длинные агентные сценарии, где, например, берутся документы и многократно правятся по ходу рабочего процесса. Сложность такой задачи для модели или агента в том, чтобы одновременно отслеживать намерение пользователя, текущее состояние работы, релевантность информации и то, как всё это менялось. С чем-то агенты уже справляются неплохо, но есть типы задач, где сложность становится чрезмерной. В таких длинных процессах, по словам Невилл, снова возникают «неожиданные сбои»: ошибки, если их не поймать, накапливаются и начинают путать ИИ ещё сильнее по мере продолжения работы.

«Неожиданными» эти сбои выглядят потому, что не похожи на классические галлюцинации, для которых давно есть и бенчмарки, и методы снижения. Здесь речь о «тонкой потере семантического содержания» в документах — такие ошибки очень трудно изолировать и показать, потому что они не выглядят как просто неверный ответ на задачу или выдуманная ссылка. У команды есть гипотеза о природе этого удивления: люди исходят из того, что трудное для человека будет трудным и для модели, но это «часто не так» — приходится отдельно думать о том, что тяжело вычислять самой архитектуре трансформера и что трудно извлекать его системам поиска по содержимому.

«Не ждите стопроцентного успеха»

Пользовательский вывод Невилл формулирует прямо: у нынешних ИИ-систем много возможностей, которые уже сейчас полезны в работе, но не стоит ожидать, что они будут успешны на сто процентов во всём. Ответы нужно проверять, а если результат кажется неверным — не делать из этого вывод, что модель этого не умеет вовсе: стоит спросить снова или по-другому, и следующая попытка может оказаться лучше.

Полностью делегировать моделям работу пока нельзя, считает исследовательница: их стоит встраивать в рабочий процесс рядом с человеком, с надзором и верификацией — тогда они реально повышают производительность и скорость. Отдельная просьба — не молчать: раньше обратная связь сводилась к «пальцу вверх» или «пальцу вниз», а теперь можно текстом или голосом описать, что именно пошло не так, что ожидалось и что получилось, и эта обратная связь «на самом деле будет использована» при обновлении моделей. При этом, подчёркивает Невилл, данные анализируются в масштабе и с сохранением приватности, а не читаются людьми: «мы не дообучаемся на ваших данных или ваших ответах», — говорит она.

Куда движется архитектура

О будущем Невилл говорит осторожно: исследовательское сообщество одновременно выясняет, подходит ли архитектура трансформера как основа, поскольку у неё есть известные ограничения по тому, как в ней могут выполняться вычисления. Часть этих ограничений, по её словам, снимается обвязкой — агентными «харнессами» вокруг моделей и вычислениями на бэкенде, — и открытый вопрос в том, что удастся решить так, а что потребует принципиально иной архитектуры. Она ожидает быстрого развития и альтернативных архитектур, и всё более сложных обёрток вокруг нынешних моделей, а следующее поколение работ, по её мнению, будет посвящено долгим взаимодействиям и тому, чтобы модели понимали мир, в котором работают, «куда более осязаемо».

В финале разговора Невилл вспоминает 2000 год и стажировку в AT&T Labs, где за обедом обсуждали игру го и прикидывали, сколько времени понадобится ИИ: звучали оценки в 50 и даже 100 лет, а сегодня, замечает она, это «уже решённая задача». Поэтому сейчас она ждёт, что развитие пойдёт быстрее, чем кажется: по её словам, этому способствуют темп исследований, число занятых в них людей и масштаб, на котором работают модели. Свой главный след в исследованиях Невилл описывает так: если в рабочих средах начнут появляться организации, где люди и ИИ вместе работают в командах, «я буду считать, что моя работа удалась».