Anthropic перестроила команды безопасности и закрепила бюджет на контроль рисков

Четыре направления под единым руководством

Anthropic объявила об организационной перестройке своих alignment- и security-команд. Направление Alignment Science теперь возглавляет Джошуа Бэтсон, который подчиняется сооснователю и Chief Science Officer Джареду Каплану. Вместе с ним в общую структуру входят Model Welfare, Safeguards Research и исследовательская часть Societal Impacts. По словам компании, группы продолжат собственную работу, но будут чаще совместно разбирать задачи, которые не укладываются в границы одного направления.

Объединение не означает превращения всех исследователей в одну универсальную команду. Alignment Science изучает контроль поведения способных моделей; Model Welfare занимается вопросами возможного морального статуса моделей; Safeguards Research ищет технические средства против злоупотреблений; Societal Impacts исследует влияние систем на людей и общество. Anthropic рассчитывает, что единое руководство сократит разрыв между обнаружением риска, разработкой защиты и оценкой последствий.

Red teaming переходит ближе к внедрению защиты

Отдельное изменение касается Frontier Red Team. Команда переходит в подразделение Trust & Safety и получает название Adversarial Testing. Anthropic объясняет переход расширением задач: группа должна оценивать уже не только риски самых передовых моделей, но и более широкий набор способов злоупотребления продуктами. В перечисленный контур входят кибербезопасность, автономное поведение, химические и биологические угрозы, а также другие формы вредоносного применения.

Новая позиция должна приблизить атакующее тестирование к инженерам, которые внедряют защитные меры в продукты. На бумаге это создаёт более короткий цикл: команда находит способ обхода, Trust & Safety превращает вывод в фильтр, ограничение или операционную процедуру, после чего защита проверяется снова. Однако публикация не приводит метрик времени исправления, числа закрытых сценариев или независимой оценки эффективности новой структуры. Пока это обязательство по организации процесса, а не доказанный результат.

Не менее $100 млн на риск-контроль в 2026 году

Главное количественное обещание — выделить в 2026 году не менее $100 млн на risk mitigation и assurance. Anthropic относит сюда исследования безопасности и alignment, интерпретируемость, red teaming, evaluations, киберзащиту и работу над политиками. Компания уточняет, что сумма считается консервативно: в неё не включают более широкие расходы на инфраструктуру, обучение моделей и смежные операции, даже если они косвенно повышают безопасность.

Anthropic связывает размер обязательства с собственным финансовым масштабом. В расчёт входят доходы от продаж и контрактов, а также привлечённый капитал; размер фонда должен регулярно пересматриваться. Компания заявляет, что по мере роста возможностей моделей и бизнеса будут расти и ресурсы на снижение рисков. Но заметка не публикует формулу распределения денег между командами, поставщиками, независимыми оценщиками и внутренней инфраструктурой.

Отчётность должна начаться в 2027 году

Проверяемость обещания зависит от будущей отчётности. Anthropic планирует начать публично раскрывать расходы на снижение и оценку рисков в следующем году; первый отчёт должен выйти к 1 апреля 2027 года. Он должен показать не только общую сумму, но и категории затрат. До появления отчёта цифра $100 млн остаётся заявленным минимальным обязательством самой компании, а не уже проверенным объёмом исполнения.

Компания также сообщает, что за направлением следят Board Risk Committee и Responsible Scaling Officer. Их задача — оценивать достаточность ресурсов относительно масштаба рисков и следить за соблюдением Responsible Scaling Policy. Наличие органов надзора задаёт владельцев процесса, но анонс не объясняет, какие части будущего отчёта будет проверять независимая сторона и какие последствия наступят, если расходы или результаты окажутся ниже цели.

Безопасность разделяют на исследование, проверку и управление

Перестройка показывает три разных слоя работы. Исследовательские группы формулируют проблемы и методы; Adversarial Testing пытается сломать защиту на практике; Trust & Safety и органы управления превращают выводы в продуктовые ограничения и решения о выпуске. Такое разделение полезно только при сохранении обратной связи: обнаруженная уязвимость должна доходить до внедрения, а принятая мера — возвращаться на повторную проверку.

Для внешнего наблюдателя ключевыми станут не названия подразделений, а измеримые следы: какие evaluations опубликованы, сколько средств реально потрачено по категориям, как менялись ограничения после red teaming и когда независимые исследователи получили доступ к проверке. Anthropic уже назвала дату первого финансового отчёта, поэтому именно 1 апреля 2027 года станет ближайшей конкретной точкой проверки обещания. До неё корректно говорить о новой структуре и заявленном бюджете, но не о доказанном снижении риска.