ООН против боевых роботов с искусственным интеллектом. В чем суть спора с военными?

Смертоносные автономные системы. Это тип военных систем, способных без участия человека находить и поражать цели на основе библиотеки образов, заложенных в базе. Иначе: та система, которая может без команды оператора применить оружие. Сегодня ИИ в военном секторе не принимает такие решения самостоятельно. Система может обнаружить и распознать вероятную цель и предложить варианты оператору. 

"То есть пока принято считать, что человек отдает команду на атаку. Хотя проверить, действительно ли аппарат действовал не автономно, практически невозможно. В декабре 2016 года под эгидой ООН создана группа правительственных экспертов для рассмотрения вопроса о возможности регулирования смертоносных автономных систем. Для упрощения дискуссии участники согласились считать, что в мире пока не созданы САС. Это было сделано, чтобы не затрагивать интересы стран, уже имеющих высокоавтоматизированные или полуавтономные и прочие подобные системы. Военные разработки такого рода, как правило, секретны и строго охраняются, поэтому не всегда можно понять, на что действительно способны некоторые из них. В частности, что станут делать системы в случае потери связи в процессе боевых действий, а это происходит постоянно. Так, Израиль ранее производил дроны-камикадзе, способные атаковать самостоятельно, без участия оператора. Под давлением общественности производитель изменил модель управления этими беспилотниками. Сегодня он заявляет, что беспилотники работают по команде оператора. Но достоверно убедиться в этом почти невозможно", — говорит Вадим Козюлин, профессор Академии военных наук, заведующий Центром глобальных исследований и международных отношений ИАМП Дипломатической академии МИД России, консультант ПИР-Центра.

Нет. Но большая группа международных неправительственных организаций (Stop Killer Robots, Article 36, Human Rights Watch, Amnesty International, Control Arms и другие), общественные и религиозные деятели предлагают создать международный договор с превентивным запретом на автономные вооружения.

"Пока это остается на уровне обсуждений. Запрет поддержали больше 20 стран, в основном государства Африки, Латинской Америки, где военные разработки такого рода не ведутся. Страны, где есть серьезные наработки, — США, Китай, Россия, Израиль, Индия и так далее — не поддерживают запрет. Многие страны сегодня разрабатывают автономные системы, и в силу ряда причин убедить их отказаться от этого практически невозможно. Например, очень сложно создать систему верификации для контроля за соблюдением подобного запрета. Но главное препятствие — это, на мой взгляд, атмосфера глубокого недоверия и геополитического соперничества. Она ведет не к соглашениям, а в конечном счете к прямо противоположному — к глобальной гонке автономных вооружений", — считает Вадим Козюлин.

На сегодня участники группы правительственных экспертов сформулировали некоторые принципы, которых страны должны придерживаться при создании военных автономных систем. Главное: любое оружие должно быть под человеческим контролем, человек несет ответственность за него.

Большая часть активистов, требующих запрета САС, настаивают, что искусственный интеллект не способен соблюдать международное гуманитарное право (МГП). "Это свод правил ведения войны, где прописано, как следует вести войну, чтобы не причинять избыточных страданий гражданскому населению, как обращаться с пленными, медработниками, ранеными. Однако ведущие страны — производители перспективных вооружений не согласны с этим мнением. Они утверждают, что, напротив, машины смогут лучше человека соблюдать МГП. Такую позицию озвучивали представители России, США и других стран", — объясняет Вадим Козюлин.

Также, чтобы получить общее представление об опасениях, связанных с вышеупомянутыми разработками, посмотрите пятиминутный ролик, который организация Future of Life Institute выпустила в преддверии женевской конференции. 

"Это может стать нашим будущим, если мы не запретим смертоносное автономное оружие", — говорится в описании к видео. В нем показаны вымышленные ситуации на тему того, как военные роботы, вышедшие из-под контроля, могут причинить вред человечеству, если окажутся в руках террористов и преступников. Авторы видео сообщают, что в мире уже существуют разработки, способные превратить этот вымысел в реальность. 

Искусственный интеллект в настоящее время не способен принимать верные решения в так называемых диких условиях в большинстве случаев. Запутать то, что мы называем ИИ, можно с опасной легкостью. Программы, основанные на компьютерном зрении, сбиваются, если. например, им показать "цветной шум".

Пример: здесь рассказывается о том, как ученые экспериментировали с искажением восприятия искусственного интеллекта. В рамках теста они надевали очки с разноцветной оправой, чтобы ввести алгоритм, распознающий лица, в заблуждение. У них получилось выдавать себя за других людей. Здесь история о том, как китайские исследователи запутали ИИ-алгоритм, управляющий автомобилем Tesla. 

Среди тех, кто выступает против подобных разработок, есть очень авторитетные лица и организации. Среди них, например, Международный комитет Красного Креста — его руководитель Петер Маурер предложил некоторый промежуточный вариант, который предусматривал бы принятие ряда ограничений для автономных систем. 

"Петер Маурер считает необходимым исключить использование автономных систем оружия для поражения людей, то есть исключить применение против живой силы, но не объектов, — уточняет Вадим Козюлин. — Также он считает возможным определить некоторые зоны, где использование автономных вооружений должно быть также запрещено. Это в первую очередь объекты критической инфраструктуры: электростанции, плотины и так далее".

Протесты против применения ИИ в военном секторе для подобных комплексов существуют в IT-среде в Кремниевой долине. В 2018 году из-за протеста сотрудников Google отказался от участия в проекте Пентагона по созданию ИИ для беспилотников. Несколько лет назад письмо в поддержку запрета роботов-убийц подписывал Илон Маск и многие предприниматели и эксперты в области технологий.