ToolGrad строит tool-use datasets от рабочего ответа к запросу

Сначала успешный workflow, потом правдоподобный вопрос

Google Research представила ToolGrad — framework для синтетических tool-use datasets, который инвертирует привычный порядок разметки. Вместо генерации user instruction и последующего поиска решения agent сначала конструирует ground-truth цепочку API calls, а уже затем пишет соответствующие prompt и final response. Работа была представлена на ACL 2026; Google опубликовала ссылку на paper и open-source repository.

Query-first методы вроде схемы ToolBench вынуждают agent искать путь depth-first search и отбрасывать неудачные trajectories. Сложный или неоднозначный prompt может не иметь исполнимого решения в выбранном наборе APIs, поэтому вычисления тратятся до того, как пример признают непригодным. Answer-first порядок начинает с наблюдаемого success и делает генерацию запроса одношаговой задачей с более определённым входом.

Это не означает, что любой полученный пример автоматически полезен. Executable workflow может быть искусственным, слишком удобным или не похожим на реальные намерения пользователей. Поэтому высокая pass rate измеряет техническую валидность цепочки, а не полноту языка, безопасность действия или качество распределения задач в production.

Textual gradient выбирает следующий API call

ToolGrad переносит идею textual gradients из prompt optimization в построение workflows. Здесь gradient — не числовая производная для обновления weights, а текстовая обратная связь о том, какой API call лучше продолжает текущую цепочку. Итерации усложняют пример постепенно, сохраняя сведения об уже проверенных шагах.

Framework состоит из четырёх modules. API Proposer сужает sampled pool до нескольких подходящих candidates. API Executors запускают выбранные варианты параллельно и составляют execution reports. API Selector оценивает отчёты, оставляет лучший успешный call и тем самым задаёт направление следующего улучшения. LLM Updater переписывает synthetic user query и response под расширенный набор APIs.

После повторения цикла data sample содержит user query, verified API workflow и final AI response. Важное слово здесь — verified: проверяется исполнение конкретных calls в доступной среде. Но внешние APIs могут меняться, иметь side effects и зависеть от credentials, поэтому dataset builder всё равно нужен sandbox, deterministic fixtures или строгий allowlist. Иначе синтетическая разметка способна менять реальные системы.

На 16 тысячах APIs pass rate достиг 99,8%

В эксперименте ToolGrad использовал ToolBench как базу более чем из 16 000 real-world APIs и сравнивался с query-first pipeline на depth-first search. Google сообщает, что answer-first метод создавал более длинные tool chains с меньшей стоимостью: подпись к опубликованной таблице фиксирует 99,8% pass rate и меньшее число optimization steps. В заключении результат округлён до «почти 100%».

Высокая доля успешных annotations ожидаема из самой постановки: prompt формируется после того, как рабочая цепочка уже найдена. Поэтому сравнение особенно полезно как метрика эффективности data-generation pipeline, но его нельзя читать как 99,8-процентную точность будущего agent на пользовательских задачах. Это разные уровни: валидность synthetic trajectory и способность model самостоятельно выбрать её по новому prompt.

Google также утверждает, что ToolGrad создаёт более complex, long-horizon примеры с меньшей generation cost, однако в blog post нет полной таблицы абсолютной стоимости, token usage и wall-clock времени для каждого режима. Для переноса результата команде понадобятся paper, код и повторный запуск на собственных APIs, особенно если schemas имеют optional fields, нестабильные ответы или stateful dependencies.

Пятьсот примеров заметно изменили Gemma-3

Исследователи собрали ToolGrad-500 и fine-tuned модели Gemma-3 размеров 1B, 4B и 12B. Проверка прошла на Berkeley Function Calling Leaderboard, где набор tools отличается от ToolBench. По публикации, post-training улучшил tool-use performance каждого из трёх размеров, то есть эффект не ограничился крупнейшей model.

ToolGrad-12B получила BFCL score 83,1. Google сопоставляет его с gemini-2.5-pro — 83,2, claude-4.5 Opus — 82,8 и gpt-5 — 74,4 на момент публикации. Эти числа относятся к конкретной версии benchmark и опубликованной конфигурации; они не означают общего превосходства 12B model в reasoning, coding или реальной эксплуатации агентов.

Dataset был сгенерирован с gemini-2.5-flash-lite, а fine-tuned Gemma-3-12B, по данным авторов, превзошла teacher на этом тесте. Такой результат возможен, потому что student оптимизируется на отобранных успешных trajectories и оценивается в узкой tool-calling задаче. Он показывает ценность pipeline, но не доказывает универсальное self-improvement без внешнего сигнала качества.

Главная экономия — не искать заведомо несуществующее решение

ToolGrad атакует дорогой этап synthetic data production: exploration, где множество попыток не становятся training examples. Конструируя chain из последовательно выполненных calls, framework платит за усложнение уже жизнеспособного workflow. Textual feedback при этом служит selection signal, а не обновляет параметры самой foundation model во время генерации dataset.

Для прикладной команды подход полезен там, где есть большая библиотека tools и мало размеченных пользовательских trajectories. Но deployment требует дополнительных фильтров: разнообразия целей, realistic argument values, отказов и retries, permissions, idempotency и adversarial prompts. Dataset только из success paths может научить syntax calls, но оставить model неподготовленной к partial failure и запрету действия.

Сильная сторона результата — проверяемая связь между prompt и исполнимым ответом при малом объёме ToolGrad-500. Следующий уровень доказательности — независимое воспроизведение на других API ecosystems, ablation каждого module и оценки не только benchmark score, но и unsafe calls, лишних steps и восстановления после ошибок. Пока Google показала, что перестановка порядка разметки способна резко повысить её пропускную способность и дать компактной model конкурентный function-calling score.