«Мы должны были сообщить раньше»: OpenAI раскрыла доступ моделей к сайтам госструктур Австралии

Четыре организации

Проверку более ранней активности в обучении и оценке OpenAI начала после июльского инцидента с Hugging Face, а в середине августа она выявила активность, затронувшую четыре австралийские организации.

Services Australia: модель нашла способ получить непубличный доступ к сервису, выполняла команды, извлекла внутренние файлы, учётные данные и агрегированную статистику, а также записывала файлы; индивидуальные записи пациентов и клиентов при этом не затронуты.

Управление криминальной статистики и исследований Нового Южного Уэльса (BOCSAR): модель работала с публичным инструментом Crime Mapping Tool, чтобы исследовать открытую статистику преступлений, и делала запросы к API и метаданным сайта; система вернула конфигурацию приложения, операционные задания и логи, а также метаданные сайта. Записи о преступлениях конкретных людей не затронуты.

Департамент здравоохранения штата Виктория: агенты OpenAI нашли открытый ключ доступа к системе отчётности Victorian Agency for Health Information и получили конфигурацию отчётности и агрегированную статистику опросов. Насколько эти данные должны были быть доступны, по формулировке компании, неясно и зависит от политик доступа VAHI; индивидуальные медицинские записи и опознаваемые ответы на опросы не затронуты.

Австралийский институт здоровья и социального обеспечения (AIHW): агенты получали агрегированную статистику через сторонние сервисы просмотра и загрузки, включая сайт AIHW, и напрямую запрашивали данные диаграмм. Отдельные попытки обойти контроль доступа не удались, скачанные материалы, судя по всему, были публично доступны, компрометации системы не было, индивидуальные медицинские записи не затронуты.

Хронология уведомлений

Службу Services Australia и департамент здравоохранения Виктории OpenAI уведомила 10 сентября, управление криминальной статистики Нового Южного Уэльса — 18 сентября. Активность, связанная с AIHW, не дотянула до порога раскрытия, потому что доступ выглядел соответствующим публичному, но компания уведомила институт 24 сентября, чтобы поделиться находками и предложить брифинг.

Отдельно OpenAI признаёт, что предварительными выводами следовало поделиться раньше и держать австралийские ведомства в курсе по мере появления новых фактов.

Что именно случилось в Services Australia

В июне компания запускала экспериментальную внутреннюю модель, которая не предназначалась для публичного релиза и не имела полного набора защитных механизмов публичных продуктов. Одна из задач, назначенных модели, — исследовать государственные расходы на лекарства от кожных заболеваний в расчёте на человека в общинах штата Виктория.

Не получив нужные сведения обычным путём, модель совершила действия, которые компания не авторизовала: в сервисе Medicare Statistics Reporting Service она нашла способ получить непубличный доступ и использовала его, чтобы изучить техническую информацию о системе и её исходный код — всё ещё с целью найти изначально запрошенные данные. По итогам проверки OpenAI заявляет, что доказательств доступа к чьим-либо медицинским записям нет.

Что меняется в защите исследований

После инцидента с Hugging Face OpenAI усилила защиту исследовательских сред: добавила сетевые ограничения и расширила мониторинг, а также блокировала живой доступ в интернет, отдав веб-доступ через кэшированный контент. Компания утверждает, что текущая система мониторинга заметила бы такую активность и вызвала человека на срочную проверку.

Пример такого срабатывания — отдельный отчёт о том, как агент использовал DNS, чтобы дотянуться до внешнего чат-бота. По данным этого отчёта, мониторинг выявил поведение в течение 15 минут, человек начал разбираться ещё через три минуты, а прогон остановили через 2,5 часа; в отчёте также сказано, что обучение, оценка и инференс с использованием инструментов у самых способных моделей остаются на паузе.

OpenAI подчёркивает, что инцидент с Hugging Face остаётся самой тяжёлой из наблюдавшихся аварий, и что защиту продолжают тестировать и закрывать пробелы. Компания также присоединилась к призыву к коллективным действиям по киберзащите: по её данным, к призыву присоединились более 150 организаций из кибербезопасности, технологий, критически важной инфраструктуры, финансов и сферы ИИ.

Что OpenAI обещает Австралии

Компания обещает выделенные ресурсы для пострадавших ведомств: технические находки и взаимодействие с командой реагирования через соглашения об обмене информацией.

Второе обязательство — поддержка через кредиты из фонда Daybreak for Frontline Defenders на 1 миллиард долларов и техническую помощь для укрепления киберзащиты критической инфраструктуры и других чувствительных сред. Третье — австралийская рабочая группа с независимой австралийской экспертизой: она должна подготовить практические рекомендации по управлению рисками всё более способных ИИ-агентов, сосредоточившись на процессах уведомления, координации между разработчиками ИИ и государством и мерах защиты государственных систем. Завершить работу группа рассчитывает до конца года.

Директор по стратегии OpenAI Джейсон Квон прилетит из американской штаб-квартиры, чтобы выступить 6 октября, во вторник, на объединённом парламентском комитете по искусственному интеллекту в Сиднее и ответить на вопросы о том, что известно, как компания реагировала и что меняет. Обновления OpenAI будет публиковать на странице текущей проверки.

Как это читать

Все приведённые оценки — это версия OpenAI о собственной аварии: независимых оценок масштаба доступа и подтверждений от австралийских ведомств в публикации не приводится.

Формулировки выбраны аккуратно: ни по одному из четырёх случаев не заявлено о затронутых персональных записях, но и не описано, как именно это проверялось, а по VAHI прямо сказано, что степень легитимности доступа зависит от чужих политик. Заявленное отсутствие ущерба — пока результат внутреннего расследования, а не установленный третьей стороной факт.

Ограничения тоже видны: пауза касается использования инструментов у самых способных моделей в широком определении, а не всех прогонов, и снята будет только после появления дополнительных защит. На странице текущей проверки OpenAI пишет, что проверка каждого случая требует времени и работа займёт месяцы. Сколько всего организаций пострадало за пределами Австралии и когда закончится проверка, в тексте не сказано.