В фильме "Особое мнение" по одноименному рассказу Филипа Дика с убийствами покончено: полиция Вашингтона задерживает преступников еще до того, как те успели поднять на кого-нибудь руку. Иногда те даже еще не замыслили ничего дурного, а на пороге уже стоят люди в форме. Эксперимент в столице проходит успешно, и федеральные власти собираются внедрить систему по всей стране.
Наводки полицейским в "Особом мнении" давали три мутанта, которые в трансе видели образы будущего. Похожий сюжет разворачивается прямо сейчас, только в нем нет фантастических деталей: вместо провидцев полицейские прислушиваются к компьютерным программам, которые обрабатывают гору данных и строят прогнозы о возможных преступлениях. Такие системы стали называть предиктивной полицией.
Одни надеются, что предиктивная полиция улучшит работу органов правопорядка, сэкономит деньги и силы, искоренит предвзятость и произвол. Другие видят в ней угрозу гражданским свободам и считают, что компьютерные системы только усугубляют существующие проблемы.
Как работает предиктивная полиция
Компьютерные модели, прогнозирующие преступность, делятся на две группы. Программы первого типа определяют, кто с наибольшей вероятностью совершит преступление или, наоборот, станет жертвой. Они оценивают профили людей с учетом возраста, криминальной истории, данных о трудоустройстве, знакомств (например, через страницы в социальных сетях) и другой информации. Какие именно сведения для этого используются, зависит от разработчиков, а те не всегда раскрывают подробности.
В моделях второго типа главное — время и место, то есть где и когда может быть совершено преступление. Алгоритмы делят территорию города на маленькие зоны площадью несколько десятков метров — это может быть конкретный квартал или перекресток — и высчитывают вероятности на основании поступающих данных. Например, один из лидеров рынка, компания PredPol, строит прогнозы, опираясь на статистику сообщений об убийствах, кражах, ограблениях, угонах транспорта. Но также могут учитываться даже погода, часы работы окрестных баров и школ. Если программа считает, что риск совершения преступления высок, на место отправляют наряд полиции.
Оба подхода не новые. Еще в конце 1920-х годов в США стали применять статистические модели, чтобы решить, выпускать того или иного преступника из тюрьмы досрочно или оставить за решеткой. В 1970-х криминологи задумались, как среда, например плотная многоэтажная застройка, обуславливает преступность. А уже в следующем десятилетии американские полицейские вместо того, чтобы только гоняться за преступниками, занялись "проактивным" патрулированием мест, где с большой вероятностью стрясется что-нибудь неладное.
Разница в том, что в прежние времена расчеты проводили люди, а теперь их место постепенно занимают на вид беспристрастные самообучающиеся компьютеры с огромной вычислительной мощностью. Вдобавок современные предиктивные модели обрабатывают намного больше данных, чем раньше, и подчас эти данные обновляются на лету. Предполагается, что за счет этого прогнозы получаются более точными и, что немаловажно, дешевыми (компьютерная программа стоит меньше, чем штат аналитиков), — на первый взгляд, у предиктивной полиции одни преимущества.
Что говорят критики
Как это всегда бывает с Big Data и машинным обучением, результат напрямую зависит от качества и полноты данных. Технология упомянутой PredPol анализирует всего три параметра: о преступлениях какого типа поступали сообщения, где они совершены, когда и во сколько. Идея заключается в том, что преступность подобна землетрясениям: как за одним сейсмическим ударом следуют повторные толчки, так в одних и тех же местах время от времени нарушают закон.
Критики указывают на то, что алгоритм PredPol способен с некоторой точностью предсказать, только : по разным причинам люди не всегда сообщают о чем-то противозаконном, например из страха мести, порицания или депортации на родину. Жители мест, где не принято связываться с властями, могут ничего не выиграть от внедрения предиктивной полиции: они останутся невидимыми для алгоритмов.
Вдобавок может возникнуть петля обратной связи: если программа отправит полицейских в определенный район и там действительно будет зарегистрировано преступление, то в будущем полицейские будут наведываться в этот район все снова и снова. Чаще всего патрули ездят в районы бедняков, чернокожих и латиноамериканцев. Зная, что они находятся в "горячем" месте, полицейские могут с излишним рвением искать преступников — и кого-нибудь да найдут. Из-за этого дискриминация меньшинств только усилится.
Один из разработчиков PredPol Джеффри Брантинхэм (в статье он не сказал о своей связи с компанией, что противоречит научной этике) писал в ответ критикам, что это всего лишь умозрительные рассуждения и мысленные эксперименты. Компьютерные модели могут давать предвзятые результаты, но обычно алгоритмы обрабатывают данные по вызовам, а не по задержаниям, поэтому если петля обратной связи и возникнет, то затронет те места, откуда чаще всего звонят в полицию, а не конкретных людей или меньшинства в целом.
Как получается на деле
Исследований эффективности предиктивной полиции не так уж много, вдобавок часто в них замешаны разработчики программ и полиция — люди заинтересованные. Одно такое исследование провел Джеффри Брантинхэм и его коллеги. По данным, которые им предоставила полиция Лос-Анджелеса, с системой PredPol патрули задерживали людей примерно вдвое чаще, чем по наводкам простых аналитиков. Но когда полицейские проводили больше задержаний, тогда и сообщений о преступлениях было больше, то есть нельзя сказать, что сотрудники органов сорвались с цепи. Также ученые не обнаружили предвзятость по отношению к этническим меньшинствам, хотя точнее было бы сказать, что с алгоритмом PredPol полицейские вели себя не более предвзято, чем обычно.
"Не более, чем обычно" — важная оговорка, которую не сделала команда Брантинхэма. В 2016 году исследователи из некоммерческой организации Human Rights Data Analysis Group (HRDAG) показали, что система PredPol может усилить перегибы, скрытые в данных. Чтобы проверить догадку, они прогнали через алгоритм статистику по преступлениям, связанным с наркотиками, в калифорнийском городе Окленд.
В одном случае исследователи воспользовались информацией из полицейских баз, а в другом — из системы здравоохранения. На основе статистики органов правопорядка система PredPol отправляла бы патрули в основном в районы, где полицейские и так бывают часто. Чернокожие были под подозрением алгоритма вдвое чаще белых, другие этнические меньшинства — в полтора раза. На самом же деле, по данным опросов, в Окленде белые принимают наркотики не реже остальных.
Изъян работы HRDAG — в том, что PredPol не анализирует наркопреступления. Во всяком случае, о них не говорится ни в исследовании Брантинхэма, ни на сайте компании. Но это не значит, что такую технологию не сделает кто-нибудь еще и что остальные предиктивные системы не дискриминируют людей по цвету кожи, полу или другому признаку.
В 2016 году журналисты сайта ProPublica раздобыли индивидуальные оценки риска совершения преступления для 7 тыс. человек из одного округа во Флориде. Оценки высчитываются алгоритмически и учитываются в судебных разбирательствах в нескольких американских штатах: от балла зависит сумма залога для подозреваемых и наказание для осужденных.
Во Флориде применяется программа компании Northpointe. Чтобы проверить ее эффективность, журналисты посмотрели, кто из этих 7 тыс. человек был осужден за уголовные преступления в последующие два года. Оказалось, что чернокожим она завышает оценки риска, а белым, наоборот, занижает. Для насильственных преступлений точность прогнозов составила всего 20%, а с учетом мелких правонарушений — 61%, то есть немногим выше, чем при подбрасывании монеты. Northpointe не согласилась с выводами, хотя сама руководствуется тем же показателем — рецидивизмом в течение двух лет после выставления оценки.
Чего не хватает предиктивной полиции
Кроме сомнительной эффективности и предвзятости у предиктивной полиции есть много других проблем. Такие системы не всегда внедряются открыто. В начале 2018 года сайт The Verge опубликовал скандальное расследование о том, как мэр Нового Орлеана договорился с компанией Palantir об использовании ее программы в городской полиции. Сделку оформили как благотворительное пожертвование, чтобы избежать публичного согласования. Городу это ничего не стоило, но Palantir получила доступ к закрытым базам данных, где собраны адреса, номера телефонов, постановления судов, страницы жителей в социальных сетях и другие деликатные сведения. Когда о программе стало известно, ее свернули.
Система Palantir вычисляла людей, которые могут совершить насильственное преступление или стать его жертвой. В 2013 году похожая программа была запущена в Чикаго, только власти города этого не скрывали. Спустя три года аналитический центр RAND оценил, насколько она эффективна. В группу риска попали те, кого чаще всего задерживали вместе с людьми, которые позже были убиты. Логика тут простая: если ты попадал в неприятности с такими ребятами, значит, тоже подставляешься. Но в этом списке было всего три человека из 405, убитых в течение 12 месяцев. Даже если бы полиция пришла на помощь, 402 человека все равно бы погибли.
Полиция Чикаго ответила на выводы RAND, что ее новая предиктивная модель втрое точнее прежней, а в разработке находится еще более продвинутая версия. Но даже если это правда и полученные наводки помогли бы полицейским спасти жертв, число убийств в городе снизилось бы менее чем на 3%. А главное — даже тем троим, кто попал в группу риска, не помогли: они мертвы. Какой бы совершенной ни была предиктивная полиция, ее прогнозами еще нужно правильно воспользоваться, что-то предприняв.
Но что такое совершенная предиктивная полиция, неясно. Чего должны добиться разработчики: чтобы уровень преступности упал до нуля, как в рассказе "Особое мнение", или чтобы раскрываемость преступлений была стопроцентной? И как понять, что успехи — заслуга алгоритмов, а не полицейских и социальных служб? Наконец, нужны ли вообще компьютерные системы, чей механизм работы не всегда понятен даже создателям и которые могут сломать людям жизни?
Марат Кузаев