Новые подтверждения опасности автономных систем оружия

Новые подтверждения опасности автономных систем оружия

Бывший сотрудник Пентагона, который участвовал в создании стратегии использования автономного оружия, утверждает, что такое оружие может в реальных условиях стать неуправляемым из-за возможных сбоев, а также взлома, обманных действий и манипуляций со стороны противника.

Появившиеся в последние годы недорогие датчики и новые технологии искусственного интеллекта упростили разработку систем вооружения, которые убивают самостоятельно, без участия оператора оружия. Призрак так называемых роботов-убийц уже инициировал международное движение протеста и дискуссии в рамках ООН об ограничении разработки и внедрения таких систем – мы неоднократно писали об этом на нашем сайте.

Новый доклад подготовил Пол Шарр, который руководил программой ведения будущих войн в Центре новых подходов к безопасности США, стратегической исследовательской группе в Вашингтоне. С 2008 по 2013 года Шарр работал в Министерстве обороны, где он участвовали в создании стратегии использования беспилотного и автономного оружия. В 2012 году он был одним из авторов директивы Министерства обороны, которая определяет военную стратегию в отношении использования таких систем.

Доклад противопоставляет эти полностью автоматизированные системы, которые способны самостоятельно выслеживать и убивать, с оружием, которое держит людей в курсе событий в процессе выбора и поражения цели.

Шарр, который в качестве рейнджера служил в армии США в Ираке и Афганистане, указывает на потенциальные виды отказов, которые могут возникнуть в полностью автоматизированных системах. Для того чтобы подчеркнуть военные последствия технологических отказов, в докладе перечисляются сбои, которые произошли за последнее время в военных и коммерческих системах, отличающихся высоким уровнем автоматизации.

Его исходная точка зрения заключается в том, что автономные системы вооружения неизбежно страдают отсутствием гибкости, что люди должны адаптироваться к новым обстоятельствам, когда убивающие машины будут ошибаться, чего необходимо избежать. Полностью автономное оружия сегодня начинает появляться в военных арсеналах. Например, Южная Корея развернула автоматизированные самонаводящиеся пулеметы на границе демилитаризованной зоны с Северной Кореей, Израиль использует беспилотный самолет, который будет атаковать вражеские радиолокационные системы при их обнаружении.

Американские военные пока не имеют совершенных систем автономного оружия в своем арсенале. Однако в этом году Министерство обороны запросило почти $1 млрд. для производства противокорабельной ракеты дальнего радиуса действия Локхид Мартин, которая описывается как «полуавтономное» оружие по определению, установленному меморандумом Пентагона 2012 года. Первоначальную цель ракеты будет выбирать оператор, после чего она в автономном режиме улетает за несколько сотен километров, чтобы автоматически идентифицировать и атаковать вражеский корабль.

Сообщение Центра новых подходов к безопасности США посвящено случаям неожиданного поведения высоко компьютеризированных систем, таким как системные сбои и ошибки, а также случаям непредвиденного взаимодействия с окружающей средой.

«Во время одного из групповых полетов над Тихим океаном восьми реактивных истребителей F-22 произошел общий компьютерный сбой, подобный проблеме 2000 года, когда самолеты пересекали международную демаркационную линию смены дат», - говорится в отчете. «Все бортовые компьютерные системы отключились и результатом была почти катастрофическая потеря самолета. Хотя существование Международной демаркационной линия можно было бы четко предвидеть, поведение программного обеспечения при пересечении линии не было проверено при тестировании».

Отсутствие открытости в технологиях ИИ, связанных с последними достижениями в области машинного зрения и распознавания речи, также отмечается в качестве источника потенциальных катастрофических сбоев.

Комментарии: