Этика
Алгоритмическая предвзятость в уголовной юстиции: как инструменты оценки рисков на основе ИИ увековечивают системное неравенство
Более десяти лет суды США используют алгоритмические инструменты оценки риска для прогнозирования рецидивизма. Эти инструменты обещали объективность. Вместо этого они систематизировали расовую предвзятость, продолжая те же неравенства, которые существуют в системе уголовного правосудия.
Патрик Т ·
В течение более десяти лет суды США использовали алгоритмические инструменты оценки риска, чтобы прогнозировать, какие подсудимые с наибольшей вероятностью совершат повторное преступление. Эти инструменты обещают объективность и последовательность. Вместо этого они систематизировали расовые предубеждения, поддерживая те же неравенства, которые преследуют систему уголовного правосудия. Новая волна исследований показывает, насколько глубоко укоренились эти предубеждения — и почему их исправление может быть невозможным без принципиального переосмысления того, как мы используем ИИ в правоохранительных органах.
Обещание и проблема
В 2013 году Верховный суд Висконсина подтвердил использование COMPAS (Коррекционная профилизация правонарушителей для альтернативных санкций), алгоритма, который прогнозирует риск рецидива. Этот инструмент анализирует более 130 переменных — уголовную историю, занятость, структуру семьи, район проживания — чтобы присвоить оценку риска от 1 до 10. Судьи используют эту оценку для принятия решений о залоге, вынесения приговора и определения права на условно-досрочное освобождение.
Обещание было ясным: устранить человеческие предвзятости в уголовном правосудии, заменив субъективное судебное усмотрение объективной алгоритмической оценкой. Если личные предубеждения судьи могут привести к более строгим приговорам для меньшинств, возможно, алгоритм сможет устранить эту предвзятость.
Реальность оказалась другой. В 2016 году расследование ProPublica показало, что COMPAS значительно чаще ошибочно определял чернокожих обвиняемых как высоко рискованных по сравнению с белыми обвиняемыми. Среди обвиняемых, не совершивших повторного преступления, 45% чернокожих обвиняемых были обозначены как высоко рискованные по сравнению с 23% белых обвиняемых. Среди обвиняемых, совершивших повторное преступление, инструмент был более точен для белых обвиняемых.
Как предвзятость проникает в систему
COMPAS и подобные инструменты обучаются на исторических данных о системе уголовного правосудия. Эти данные отражают десятилетия дискриминационной практики полиции, прокуратуры и вынесения приговоров. Чернокожие американцы арестовываются примерно в 2,5 раза чаще, чем белые американцы, за те же преступления. В среднем им назначают более длительные сроки. Они с большей вероятностью обвиняются в тяжких преступлениях, а не в проступках.
Когда алгоритм обучается на этих предвзятых данных, он усваивает предвзятость. Он учится тому, что чернокожие обвиняемые чаще арестовываются и получают более суровые приговоры. Затем он делает вывод: чернокожие обвиняемые с большей вероятностью совершат повторное преступление. Это не потому, что чернокожие с большей вероятностью совершают преступления — это потому, что обучающие данные отражают системную дискриминацию, а не объективную реальность.
Алгоритм не видит дискриминацию. Он видит шаблоны. И он воспроизводит эти шаблоны в крупном масштабе.
Цикл обратной связи
Проблема хуже, чем простое воспроизведение предвзятости. Это замкнутый цикл. Когда алгоритм предсказывает, что чернокожий обвиняемый представляет высокий риск, судьи с большей вероятностью откажут в залоге или назначат более суровые наказания. Это увеличивает вероятность того, что обвиняемый совершит новое преступление (поскольку он находится в заключении, теряет работу и имеет меньше ресурсов). Прогноз алгоритма становится самореализующимся. Следующее поколение алгоритма обучается на этих новых данных, которые включают последствия предвзятости предыдущего алгоритма. Предвзятость накапливается.
К 2026 году исследователи задокументировали этот механизм обратной связи в нескольких юрисдикциях. В округе Кук, штат Иллинойс, использование инструментов оценки риска коррелирует с увеличением расового неравенства в решениях о залоге на 12%. В Кентукки алгоритм с большей вероятностью рекомендует заключение под стражу для обвиняемых с историей психических заболеваний — категории, которая непропорционально представлена чернокожими и латиноамериканцами.
Техническая невозможность справедливости
Некоторые утверждают, что решением является «устранение предвзятости» алгоритма. Убрать расу как переменную. Отрегулировать веса, чтобы уравнять показатели ложноположительных срабатываний для разных расовых групп. Но исследования показывают, что эти подходы создают новые проблемы.
Если удалить расу как переменную, алгоритм будет выводить расу через прокси-переменные: почтовый индекс, историю трудоустройства, структуру семьи. Эти переменные коррелируют с расой и оказывают аналогичные дискриминационные эффекты. Если вы настроите алгоритм так, чтобы уравнять уровень ложноположительных результатов для разных расовых групп, вы неизбежно увеличите количество ложноотрицательных для одной из групп. Вы не можете одновременно оптимизировать справедливость по всем параметрам. Вам нужно выбрать, какую группу защищать. Это не техническая проблема. Это политическая проблема.
Путь вперёд
Будущее ИИ в системе уголовного правосудия должно быть ограничено узкими, хорошо определёнными задачами: выявлением доказательств, анализом закономерностей в больших наборах данных, обозначением случаев для проверки человеком. Его не следует использовать для предсказания поведения людей, особенно для предсказаний, которые будут определять, будет ли кто-то задержан или освобожден. Пока мы не устраним структурные предубеждения в системе уголовного правосудия, алгоритмические инструменты будут лишь усиливать эти предубеждения.