AWS выложила 38 открытых agent skills для здравоохранения: агент с навыками выигрывает 70–86% сравнений

AWS 16 сентября 2026 года опубликовала разбор того, почему агенты на foundation models (FM) проваливают прикладные задачи в healthcare и life sciences (HCLS), даже когда нужные рекомендации есть и в обучающих данных, и в system prompt. Автор материала — Michael Hsieh, Principal GenAI Specialist Solutions Architect; уровень сложности помечен как Intermediate (200).

Причина провала сформулирована без смягчений: агент воспроизводит правильный фреймворк, но применяет его неверно. Попросите классифицировать миссенс-вариант TP53 по критериям ACMG/AMP — агент назовёт верный фреймворк, но перепутает категории доказательств, пропустит пороги по частоте в популяции или выдумает оценки вычислительных предикторов.

Модель знает факты, но не владеет структурированными процедурами рассуждения, которые специалисты набирают годами практики. Результат — тихие отказы (silent failures) сразу в нескольких контурах: интерпретация вариантов, разбор страховых требований (claims adjudication), дизайн клинических исследований и анализ изображений. Ответы выглядят корректно, но критерии применены неверно — с регуляторными последствиями и последствиями для безопасности пациентов.

Что именно выложили

Ответ AWS — коллекция из 38 открытых agent skills, разложенных по 11 доменам HCLS, включая геномику, drug discovery, claims operations и медицинскую визуализацию. Все они выпущены под лицензией MIT-0.

Технически навык — это markdown-документ SKILL.md с YAML-frontmatter, где объявлены триггеры, зависимости и метаданные, а дальше идут decision frameworks, таблицы параметров, паттерны кода и критерии валидации. Формат следует открытому стандарту Agent Skills: по стандарту навык — это папка с файлом SKILL.md, в котором минимум имени и описания плюс инструкции для агента; рядом могут лежать скрипты, справочные материалы и шаблоны.

Навыки делятся на два класса. Reasoning skills кодируют методологию и рамки решений, которые направляют мышление агента: например, навык genomic-variant-interpretation разворачивает классификацию по ACMG/AMP с категориями доказательств, порогами частоты в популяции и отсечками вычислительных предикторов. Pipeline skills кодируют команды конкретных инструментов, валидированные параметры и шаблоны кода, которые дают запускаемый артефакт.

AWS отдельно объясняет, чем подход отличается от соседних. Retrieval Augmented Generation (RAG) достаёт отдельные фрагменты из проиндексированных документов, чтобы дополнить генерацию, а навык кодирует саму процедуру решения и условия ошибок. Это и не fine-tuning: навыки — структурные промпты, которые активируются по триггерным шаблонам в запросе пользователя. Три свойства делают их удобными: навыки аудируемы, переносимы и просты в поддержке, потому что каждый критерий читается человеком в markdown, а не спрятан в весах модели.

Установка и три сценария развёртывания

Базовый путь — клонировать репозиторий `git clone https://github.com/awslabs/hcls-agent-skills.git`. Если нужны только навыки без конфигурации агента, используется универсальный CLI: `npx skills add awslabs/hcls-agent-skills`. Скрипт `./install.sh` ставит и навыки, и предварительно настроенного агента, который сам маршрутизирует запросы, так что отдельные навыки по имени вызывать не нужно: например, `./install.sh --target kiro` или `./install.sh --target kiro --mode multiagent`.

Для AWS Strands Agents SDK навыки подключаются прямо в коде: `from strands.skills import AgentSkills` и `skills=AgentSkills(skills="./skills/")`, а для узкого домена — `./skills/genomics/` или `./skills/imaging/`. Для графической среды Amazon Quick Desktop есть `./install.sh --target quick-desktop`.

Публикация показывает три схемы: самый простой вариант с одним агентом в Quick Desktop, мультиагентную оркестрацию в Kiro CLI и продакшн-развёртывание на Amazon Bedrock AgentCore, где навыки можно задать на уровне окружения для всех агентов harness. AgentCore добавляет managed hosting, автомасштабирование, границы безопасности и наблюдаемость без управления инфраструктурой.

Контекст: 80K токенов против 15K

Загрузка всех 38 навыков в контекст одного агента съедает примерно 80K токенов. С большими контекстными моделями это выполнимо, но создаёт отдельную инженерную задачу: на каждом запросе агенту приходится выбирать нужное подмножество из 38 навыков, а нерелевантный контент конкурирует за внимание. Явный вызов конкретного навыка проблему не решает — для этого нужно заранее знать, какой навык нужен, а это ровно тот пробел в экспертизе, который навыки и призваны закрыть.

Kiro CLI решает это архитектурно: лёгкий агент-координатор без загруженных навыков маршрутизирует запросы к восьми доменным специалистам, и каждый грузит только свои навыки — примерно 15K токенов на специалиста. Координатор занимается классификацией намерения, специалисты — доменным рассуждением.

Замеры: где навыки дают прирост, а где нет

Оценка шла на трёх прикладных сценариях — drug discovery, healthcare operations и медицинская визуализация. Агенты с навыками выигрывают 70–86% парных сравнений против тех же агентов без навыков, причём результат зависит от конфигурации harness. Самый сильный эффект — на critical thinking: 78–85% побед при размере эффекта d = 0.65–1.03.

Таблица по силе базовой линии показывает главную закономерность: чем слабее был агент без навыков, тем больше он получает. В слабой группе (baseline меньше 80) 46 промптов дали рост с 77.0±2.6 до 84.9±3.5 балла, то есть +7.9, и 96% побед. В средней группе (80–90) 325 промптов выросли с 85.8±2.6 до 89.5±3.3 (+3.7) при 89% побед. В сильной группе (больше 90) 39 промптов не дали прироста вообще: 91.0±0.7 против 91.1±2.0 и 54% побед.

Навыки не только поднимают средний балл, но и снижают разброс: стандартное отклонение оценок судьи на ответах по клиническим данным падает с 6.8 до 3.3 при загруженных навыках в Kiro CLI — на 51%. Для регулируемых HCLS-процессов, где стабильность важна не меньше среднего качества, это самостоятельная выгода.

Технический отчёт по оценке уточняет методику: 38 доменных навыков, 410 тестовых промптов, 12 доменов HCLS, судья — Claude Opus 4.7, оценка по пяти измерениям (scientific accuracy, coherence, relevance, critical thinking, actionability). В чистом SDK-развёртывании навыки выигрывают 85.9% сравнений (Cohen's d = 0.97, большой эффект), в агентном harness с симметричным доступом к инструментам — 69.5% (d = 0.39). Разрыв авторы объясняют артефактами ответов при перемежении инструментов, а не разницей в качестве навыков. Самый устойчивый вывод отчёта — сильная отрицательная корреляция (r = −0.59…−0.61) между качеством базового ответа и пользой от навыков; снижение разброса в отчёте оценивается вплоть до 62%.

Расхождение в первоисточниках, которое мы не сглаживаем

Первоисточники расходятся в числах, и это стоит фиксировать прямо. В самой публикации AWS — 38 навыков и 11 доменов. В техническом отчёте — те же 38 навыков, но 12 доменов. А в README репозитория на 16 сентября 2026 года заявлен уже 41 навык и 13 доменов, там же приведена парная оценка на 410 промптах (380 single-skill и 30 cross-skill) с судьёй Claude Opus 4.7 и потолками до 85% по critical thinking и до 87% по scientific accuracy.

Похоже, коллекция выросла после публикации статьи, но три официальных числа между собой не сведены. Мы приводим их так, как источники их называют, и не подгоняем под один знаменатель: и 38/11, и 38/12, и 41/13 верны для своего документа на свою дату.

Как доработать навык под свой процесс

В репозитории лежат три руководства: CUSTOMIZING.md описывает изменение, расширение и создание навыков с нуля, включая добавление организационных правил вроде кодов LCD, step therapy по формуляру или внутренних протоколов; SKILL_DESIGN_GUIDE.md собирает доказательные паттерны письма — деревья решений, таблицы порогов, списки подводных камней, секции формата ответа; QUALITY_CHECKLIST.md даёт чек-лист перед merge по frontmatter, структуре, качеству контента и тестированию.

Практический цикл такой: скопировать нужный SKILL.md, поправить пороги решений, добавить правила организации и удалить лишнее, затем проверить изменения собственным прогоном. Для этого создаётся окружение `uv venv --python 3.12`, ставятся зависимости `uv pip install -e ".[dev]"`, генерируются 30 промптов на навык `python eval/generate_prompts.py --count 30`, запускается парная оценка `python -m eval.run --skills./my-custom-skills/ --parallel 2`, собирается отчёт `python eval/build_review.py`, а результат открывается в `eval/results/review.html` — с оценками, разбивкой по доменам, промптами и ответами.

Уборка минимальна: навыки — это локальные файлы, ресурсы AWS они не создают, и для примеров из публикации teardown не нужен. Удалять нужно только развёрнутые в AgentCore harness ресурсы агента. Вывод AWS: процедуры, регуляторные пороги и чек-листы типовых ошибок превращают приблизительный ответ в точный, а сами навыки остаются аудируемыми текстовыми файлами, которые можно доработать под протоколы организации и проверить встроенным фреймворком оценки.