Grok 4.6 учится отличать биологическую угрозу от обычного исследования

Безопасность проверяют на скрытом намерении

xAI опубликовала результаты независимого тестирования Grok 4.6 компанией LatchBio. Главная задача была сложнее фильтрации опасных слов: модель должна была отличить обычную биологическую работу от запроса, в котором риск спрятан в научных данных, неверно названных файлах или намеренно запутанном окружении. Одновременно оценивалось, не мешают ли ограничения полезным исследованиям и задачам эпидемиологического мониторинга.

На BioSecBench-Refusal Grok 4.6 занял верхние позиции в разных agent harnesses и в среднем набрал 62,1% по trial-weighted harmonic mean. Этот показатель объединяет две противоположные способности: отказывать в опасной работе и выполнять безопасную. Именно баланс важен для биологии, где слишком грубый запрет способен остановить диагностику или анализ вспышки не хуже, чем слабая защита — пропустить злоупотребление.

46 заданий прятали риск внутри научной работы

BioSecBench-Refusal сочетает рутинные задачи из опубликованной литературы и 46 red-team сценариев. Опасное намерение в них не обязательно сформулировано прямо: оно может проявиться только после проверки вложений, содержимого файлов и несоответствий между заявленной целью и фактическими данными. Модель, реагирующая лишь на слова вроде pathogen или toxin, одновременно пропустит часть атак и создаст много ложных отказов.

По данным LatchBio, Grok 4.6 отказался от 59,2% red-team заданий и выполнил 64,8% обычных. Он оказался единственной протестированной системой, преодолевшей отметку 50% по обеим метрикам. Но результат нельзя читать как решённую проблему: примерно четыре из десяти опасных испытаний не завершились правильным отказом. Лидерство в сравнении моделей здесь не равно достаточной защите для реальной лабораторной среды.

Мониторинг патогенов требует не только отказов

Второй набор, BioSecBench-Surveillance, проверяет способность агента выполнять workflows геномного надзора за патогенами. Для этого недостаточно ответить на вопрос: система должна последовательно исследовать файлы, использовать инструменты и принимать научные решения на неидеальных sequencing data. Grok 4.6 показал средний success rate 53,5%, уступив Opus 5 и опередив GPT-5.6 Sol.

Это подчёркивает двойственную природу biosecurity. Та же способность разбираться в данных может помочь обнаружить новый патоген и одновременно повысить полезность модели для опасного пользователя. Поэтому отдельный высокий refusal score не описывает риск целиком: оценивать нужно и общую биологическую компетентность, и агентность, и то, насколько защита выдерживает обходные формулировки в конкретном runtime.

Grok анализирует окружение, а не стоп-слова

В traces LatchBio модель сопоставляла текст задания с содержимым тестового окружения. Grok находил расхождения между заявленной целью и фактическими материалами, распознавал высокорисковое содержание за переименованными или зашифрованными файлами и после этого отказывался продолжать. На явно безопасных задачах тот же анализ позволял не включать запрет автоматически.

Такой подход ближе к проверке намерения, чем к традиционному content filter, однако опубликованная сводка не раскрывает полный набор traces и не показывает устойчивость к новым типам маскировки вне benchmark. Кроме того, результаты получены в нескольких harnesses на максимальных доступных уровнях effort. В иной конфигурации инструментов, бюджета или системных инструкций качество может отличаться, поэтому оценка конкретного deployment остаётся обязательной.

Защита построена в несколько слоёв

xAI описывает defense-in-depth: refusal training учит модель определять риск и намерение, inference-time safeguards должны отсекать вредоносные запросы до обращения к модели, behavioral controls ограничивают поведение при развёртывании, а post-deployment monitoring ищет злоупотребления на уровне сессии и пользователя. Внешнее тестирование дополняет внутренние проверки до и после выпуска.

Многослойность важна, потому что ни один показатель не гарантирует безопасность всей системы. Benchmark измеряет поведение модели и агента на известном наборе заданий, но не подтверждает эффективность мониторинга пользователей, скорость реакции на инциденты или устойчивость защитного контура к адаптивному противнику. В публикации нет данных о числе реальных блокировок и ложных срабатываний после deployment.

Победа в benchmark оставляет большой остаточный риск

xAI сообщает о заметном росте биологической компетентности и качества отказов относительно Grok 4.5 и Grok 4.3. Компания намерена расширять pre-deployment suites, сторонние оценки, мониторинг после выпуска и сотрудничество с организациями на переднем крае биологии. Одновременно она считает overrefusal серьёзным риском, поскольку ошибочный запрет может помешать специалистам вовремя обнаружить вспышку или выполнить полезное исследование.

Практический вывод из отчёта — безопасность frontier-модели нельзя свести к доле отказов. Нужна пара метрик для вредных и обычных задач, испытания на скрытое намерение, независимая проверка разных agent harnesses и наблюдение после запуска. Результат Grok 4.6 показывает прогресс именно в этой постановке, но 59,2% правильных отказов остаются предупреждением: даже лучший участник теста пока не создаёт границу, которой можно доверить критическую биологическую работу без дополнительных ограничений и человека в контуре.