второй последний отчет Организации Объединенных Наций о гражданской войне в Ливии, год, который заканчивается, впервые увидел автономную систему оружия, робота-убийцу, убивающего кого-то. В будущем мы можем вспомнить его как отправную точку новой гонки вооружений, которая может очень сильно нам навредить.
В последние дни (с 13 по 17 декабря) Ла Конвенция ООН о конкретных видах обычного оружия собирались по этой теме, как это происходит каждые пять лет. С 1983 года это собрание решило ограничить использование некоторых жестоких видов оружия, таких как противопехотные мины. На этот раз он обсудил возможный запрет на это автономное оружие. И пока не достигнуто согласие по их ограничению.
Возможно, это была катастрофическая ошибка.
Автономные системы вооружения — это роботы-убийцы. В этом посте вы всегда будете слышать, как я называю их так: роботы-убийцы. Потому что это я. Системы с оружием, которые могут действовать в одиночку. Системы, созданные для войны, чтобы убивать людей. Мировые правительства вкладывают значительные средства в эту тенденцию.
С другой стороны, конечно, гуманитарные организации (одна из них, Stop The Killer Robots, что вы здесь найдете) тратятся на выяснение правил и запретов на разработку этого оружия. И у них все хорошо. Если мы не ограничим применение автономного оружия, это очень плохо кончится. Подрывные технологии в этой области могут дестабилизировать все военные стратегии, увеличивая риск упреждающих атак. В том числе химические, биологические, ядерные.
Учитывая темпы развития роботов-убийц, только что закончившееся совещание ООН могло один из последних случаев чтобы избежать новой гонки вооружений. Или последний.
Когда дело касается роботизированных систем-убийц, есть четыре опасности, которые кажутся очевидными любому.
Первая проблема роботов-убийц: идентификация.
ВСЕГДА ли автономное оружие сможет отличить враждебного солдата от ребенка с игрушечным пистолетом? Разница между единичной человеческой ошибкой (что тоже возможно) и неправильной настройкой алгоритма может привести к невероятным масштабам проблемы. Эксперт по автономному оружию позвонил Пол Шарре использует метафору: неисправный пулемет, который продолжает стрелять, даже когда вы убираете палец со спускового крючка. И стрелять, пока не закончатся патроны, потому что это всего лишь автомат. Он не знает, что делает ошибку.
Что бы там ни говорили, искусственный интеллект еще не оснащен собственной моралью (и, вероятно, никогда не будет иметь его, никогда не сможет научиться этому).
Проблема не только в этом даже ИИ ошибается, например, когда он распознает астму как фактор что снижает риск пневмонии, или когда он идентифицирует цветных людей как горилла. Это когда что-то неправильное, тот, кто его создал, не знает, почему оно было неправильным, и не знает, как это исправить. Вот почему я считаю невозможным, чтобы роботы-убийцы могли развиваться по какому-либо «моральному» критерию.
Вторая проблема с роботами-убийцами: низкое распространение.
Вооруженные силы, разрабатывающие автономное оружие, предполагают, что смогут его сдерживать и контролировать. Вы слышали более глупую идею, чем эта? Если есть что-то, чему нас учит история оружейных технологий, только одно, так это то, что оружие распространяется. Также в этом случае это было очень предсказуемо.
То, что произошло в прошлом с автоматом Калашинкова, ставшим настолько доступным, что попадает в руки кому угодно, может повториться для роботов-убийц. Давление рынка может привести к созданию автономного оружия, эффективного, дешевого и практически невозможно остановить. Прежде всего: широко распространен. В руках правительств, сумасшедших лошадей, организованной преступности или террористических групп.
Возможно, это уже произошло. В Каргу-2, сделанный турецким оборонным подрядчиком, представляет собой нечто среднее между беспилотником и бомбой. Он имеет искусственный интеллект для поиска и отслеживания целей. Он робот-убийца, и он уже самостоятельно действовал на театре гражданской войны в Ливии, нападая на людей.
Третья проблема роботов-убийц: распространение высоких технологий.
Если потом думать о «высоких» рисках, то мы приходим к «Зениту». Страны могли бы конкурировать в разработке все более разрушительных версий автономного оружия, в том числе способных устанавливать химическое, биологическое, радиологическое и ядерное оружие . Моральные опасности эскалации летального исхода от оружия усугубляются эскалацией применения оружия.
Конечно, у этих роботов-убийц наверняка будут дорогие. этические контролеры разработан для минимизации побочного ущерба, преследуя миф о «хирургической» атаке. Хороший материал только для общественного мнения, короче. Правда в том, что автономное оружие изменит даже самый приземленный анализ затрат и выгод, который делается перед планированием войны. Это будут кости со смертельным риском, бросать которые нужно с меньшим беспокойством.
Асимметричные войны, ведущиеся на земле странами, не имеющими конкурирующих технологий, станут более распространенными. Чрезвычайно распространенная нестабильность.
Четвертая и последняя проблема: законы войны
Роботы-убийцы (если они будут распространяться, это точно) подорвут последнее паллиативное средство человечества против военных преступлений и злодеяний: международные законы о войне. Эти законы, кодифицированные в договорах, которые начинаются с первого Женевская конвенция, они - тонкая грань, отделяющая войну от чего-то еще худшего, что я с трудом могу себе представить.
Законы войны фундаментальны, потому что они также возлагают ответственность на тех, кто ведет войну. Слободан Милошевич был президентом страны и должен был отвечать за свои действия. Его судили в Международном уголовном трибунале ООН по бывшей Югославии и он должен был ответить за то, что он сделал.
И сейчас? Это вина робота-убийцы, совершающего военные преступления? Кого судят? Оружие? Солдат? Солдатские командиры? Компания, производившая оружие? НПО и эксперты в области международного права опасаются, что автономное оружие приведет к могиле разрыв ответственности .
Военнослужащему должно быть доказано, что он совершил преступление с использованием автономного оружия. Для этого необходимо будет доказать, что военнослужащий совершил виновное деяние, а также имел на это конкретный умысел. Довольно сложная динамика в мире роботов-убийц.
Мир роботов-убийц - это мир без правил, которые они налагают значительный человеческий контроль по оружию. Это мир, в котором будут совершаться военные преступления, и военные преступники не будут привлечены к ответственности. Структура законов войны вместе с их сдерживающим действием будет значительно ослаблена.
Новая глобальная гонка вооружений
Представьте себе, что каждый может использовать всю силу, которую он хочет, и когда хочет. С меньшими последствиями для всех. Представьте себе планету, где национальные и международные военные, повстанческие группы и террористы могут развернуть теоретически неограниченные смертоносные силы с теоретически нулевым риском в любое время и в любом месте по своему выбору, без какой-либо юридической ответственности.
