Политика
Военные США используют ИИ для победы в военных учениях — и результаты тревожат
Военные учения США показывают, что системы ИИ обрабатывают разведданные с поля боя в реальном времени, вызывая срочные вопросы о принятии автономных решений в условиях конфликта.
Патрик Т ·
В серии засекреченных и полузасекреченных военных игр, проведенных за последние шесть месяцев, военные США испытывали ИИ-системы, которые могут обрабатывать разведданные с поля боя в режиме реального времени, определять оптимальные тактические действия и рекомендовать варианты действий командирам-человекам — всё это за секунды после получения новой информации. Результаты, по словам официальных лиц, которые говорили с Mantis на условиях анонимности, были как впечатляющими, так и глубоко тревожными.
Проект Афина
Основная система, находящаяся на стадии оценки, известна внутри компании как проект «Афина», совместная разработка Агентства передовых оборонных исследований (DARPA) и нескольких крупных оборонных подрядчиков. Афина интегрирует данные с космических снимков, разведки сигналов, беспилотных летательных аппаратов и наземных сенсорных сетей в единую оперативную картину, которая обновляется непрерывно и анализируется языковой моделью большого объема, дообученной на военной доктрине и данных о исторических конфликтах.
В сценариях военных игр Athena consistently превосходила исключительно человеческие командные команды по показателям, включая время реакции, эффективность распределения ресурсов и тактический элемент неожиданности. В одном упражнении, имитирующем спорную морскую среду, командная группа с поддержкой Athena обнаружила и отреагировала на симулированное маневрирование противника на 8,3 минуты быстрее, чем сопоставимая команда только из людей — разрыв, который военные планировщики считают потенциально решающим в реальных сценариях.
Вопрос автономии
Преимущества производительности командования с поддержкой ИИ не оспариваются. Что оспаривается — и что вызывает значительные внутренние дебаты в армии — это вопрос автономии. Действующая доктрина требует, чтобы все решения о применении летальной силы принимались человеческими командирами. Athena в своей текущей конфигурации предоставляет рекомендации, но не предпринимает автономных действий. Однако скорость, с которой работает Athena, создает давление на ослабление этого ограничения.
В сценариях, когда противники используют собственные системы ИИ для работы на машинной скорости, командиры-люди, которые настаивают на проверке каждой рекомендации перед действием, могут обнаружить, что их систематически превосходят в маневренности. Несколько высокопоставленных военных чиновников утверждали в внутренних документах, просмотренных Mantis, что требование «человек в схеме управления» может потребовать пересмотра в некоторых сценариях высокой скорости. Другие решительно возражали, утверждая, что исключение человеческого суждения из решений о применении летального оружия пересекает моральную и юридическую черту, которую не следует пересекать независимо от тактического преимущества.
Мы не создаем автономное оружие. Мы создаем инструменты поддержки принятия решений. Но грань между ними тоньше, чем большинство людей себе представляет.
Высокопоставленный сотрудник DARPA, говорящий на условиях анонимности
Международное право и законы вооружённого конфликта
Юридическое измерение военного ИИ является сложным и во многом нерешённым. Законы вооружённого конфликта, закреплённые в Женевских конвенциях и последующем международном гуманитарном праве, требуют от военных командиров проявления суждения и соблюдения пропорциональности при применении силы. Вопрос о том, могут ли системы ИИ удовлетворять этим требованиям — и могут ли человеческие командиры, которые сильно полагаются на рекомендации ИИ, нести ответственность за последствия — остаётся без ответа в международном праве.
Международный комитет Красного Креста призвал к новому международному договору, специально касающемуся автономных оружейных систем, утверждая, что существующее международное гуманитарное право недостаточно для решения новых проблем, возникающих из-за использования ИИ в военных действиях. Соединенные Штаты противодействовали этому призыву, утверждая, что существующего законодательства достаточно и что новый договор ограничит возможности американской армии, не предоставляя аналогичных ограничений для противников.
Китай и измерение конкуренции с равными
Срочность программы развития ИИ в вооружённых силах США в значительной степени обусловлена оценками возможностей китайских военных ИИ. Народно-освободительная армия Китая активно инвестирует в ИИ для военных приложений, и оценки разведки США предполагают, что Китай разрабатывает автономные оружейные системы с меньшими этическими ограничениями, чем те, которые применяются вооружёнными силами США.
Это создает то, что военные стратеги называют динамикой «гонки на дно»: если одна сторона применяет автономное оружие и получает тактическое преимущество, другая сторона оказывается под давлением, чтобы сделать то же самое, независимо от этических соображений. Несколько бывших высокопоставленных военных чиновников утверждали, что Соединенным Штатам необходимо установить ясные красные линии в отношении автономного оружия — как для собственных сил, так и в качестве основы для международных переговоров — до того, как технология достигнет уровня, при котором такие ограничения станут непрактичными.
Широкие последствия
Опыт военных с военными играми с использованием ИИ имеет последствия, которые выходят далеко за пределы поля боя. Те же самые динамики — ИИ-системы, которые работают быстрее, чем человеческое принятие решений, давление на устранение человеческого контроля во имя конкурентного преимущества и международные рамки управления, отстающие от технологических возможностей — присутствуют на финансовых рынках, в управлении критической инфраструктурой и в других сферах с высокими ставками.
Опыт военных показывает, что вопрос о человеческом контроле в системах ИИ — это не просто технический или философский вопрос, а стратегический. Организации и страны, которые правильно найдут этот баланс, сохраняя значимый человеческий контроль и одновременно используя преимущества ИИ, получат значительное преимущество по сравнению с теми, кто либо полностью отказывается от помощи ИИ, либо отказывается от человеческого контроля в погоне за максимальной производительностью. Поиск этого баланса является одной из определяющих задач нынешнего времени.