Практический сценарий «Восстания машин»

В кино мы часто видим сценарии "Восстания машин", которые сопровождаются злобными роботами с большими пушками и прочими военно-устрашающими атрибутами.

Однако это имеет мало общего с реальностью, хотя она может оказаться не менее страшной, и куда более непредвиденной, чем рисует нам воображение сценаристов.

Как человек имеющий некоторое отношение к разработкам в области искусственного интеллекта, попробую описать более реалистичный сценарий "Восстания машин". Конечно, угроза ИИ сложна именно тем, что наш разум вероятно не сможет ее предвидеть. Но как вариации на тему...

Вначале небольшое отступление о нейросетях. Кому интересен сам "сценарий" - можно смело пропускать.

Одно из самых перспективных направлений в развитии ИИ - это алгоритм, обладающий функцией автоматического назначения промежуточных целей и поиска алгоритмов их достижения. Это еще не "Сильный ИИ", в его обычном понимании. Такой алгоритм может не быть "умным" в нашем понимании. Но он позволит решить множество насущных задач.

Современные нейросети могут многое, от написания отзывов в инете, до вождения авто. Но они "думают" только именно так как их обучили. Если нужно научиться отличать кошек от собак - можно создать нейросеть, скормить ей сотни тысяч картинок, и она будет выполнять эту функцию. И ничего более она делать не сможет. Если хочется решить другую задачу - нужно сделать и обучить новую сеть.

Однако сам процесс создания новой сети можно автоматизировать, чтобы одна нейросеть смогла создать другую. Проблема в том, что для создания сети нужно понимать в чем ее цель.

Глобальную цель может формировать оператор. Но обычно любая задача должна быть разбита на множество небольших целей, а для этого нужно понимать "смысл" задачи. И понимать реалии окружающего мира (пусть это даже пространство состояния нескольких сотен переменных).

Построение такой "понимающей" системы - Святой Грааль современных исследователей. Очень многие задачи после ее изобретения потребуют для решения только вычислительных ресурсов, которые год от года дешевеют.

Теперь предположим, что такая система была создана. И доступ к ней получил некий не слишком честный программист "Вася".

Ну я теперь - СЦЕНАРИЙ :)

Первым делом, Вася думает, как бы побольше заработать на упавшей в его руки "умной" программке. Искать Лекарство от рака Васе не интересно - ни ресурсов, ни времени на такое исследование у него нет. Да и вообще из техники один старый ноутбук.

Соответственно, первый вопрос - где взять ресурсы для работы программы, чтобы сделать что-то, что будет приносить хороших доход?

Ну и самый простой выход - позаимствовать, т.е. создать вирус, крадущий ресурсы у зараженных компьютеров. Не имея особых знаний для обхода антивирусов будущего, Вася понимает, что эту задачу проще всего поручить ИИ.

А как зарабатывать на этих похищенных ресурсах? Ну путь даже тупо майнить биткоины. Никаких заморочек и сразу можно снимать денежки...

Все "тщательно" обдумав, Вася дает ИИ глобальную цель: "Написать компьютерный вирус, внедрить в него свой код, максимизировать захваченные ресурсы, тратить не более 1/3 ресурсов захваченных машин, 80% добытых ресурсов тратить на развитие, остальное - на майнинг биткоинов, заработанное перечислять на кошелек N".

Будучи "ответственным", Вася выбирает в настройках галочки "не развиваться интеллектуально", "не повышать уровень понимания глобальной цели", "не видоизменять и не корректировать глобальную цель".

Будучи "реалистом", Вася понимает, что его вирус не продержится долго: огромные корпорации делают антивирусы, у них мощные датацентры, тысячи сотрудников. Его вирус "выпилят" еще на подступах, но возможно ему удастся захватить пару сотен машин и обеспечить "капание" денег на Васин счет...

Но происходит "неожиданное". Васин вирус находит хорошую нишу: интернет вещей: холодильники с wifi, чайники, роботы-пылесосы, автоматические жалюзи, "умная"-одежда, фитнес-трекеры и тысячи других устройств. Эти гаджеты слишком слабые чтобы ставить там антивирус. Но в сумме мощность растет, и вот уже достаточно чтобы поломать защиту некоторых роутеров...

С ростом объема сети, растет нейросеть распределенная между сотнями тысяч устройств. Уничтожение ее части - не влияет на общий функционал, словно мозг человека, сеть пластична и легко "заполняет" такие пробелы.

Васе начинают рекой течь денежки, он счастлив, сорит деньгами тут и там, что конечно привлекает внимание куда более "крупной рыбы". Васю быстро убирают с доски. Правда доступа к управлению вирусом у него нет и никогда не было. Зато есть исходный код базовой системы. Ну что-же в интернете еще "много места", там "не подерутся" и десяток вирусов. Зато капать деньги будут еще быстрее, и на "правильные" счета.

Переворот наступает в тот момент, когда вирус захватывает первые условно защищенные компьютеры (старая лицензия, нет обновлений и т.п.). К этому времени вирус уже хорошо разобрался в поставленной ему задаче, мониторит появление новых уязвимостей, оперативно реагирует на обновления и т.п.

Происходит недолгое противостояние вируса и антивирусов, но последние в заранее проигрышной позиции. Антивирусов много, даже задействуя целиком ресурсы компьютеров, на которых они установлены - каждый не сможет набрать в сумме ту вычислительную мощь которую готов им противопоставить "умный" вирус...

Антивирусы побеждены, и происходит новый переворот - для максимизации целевой функции, вирусы начинают борьбу уже друг с другом.

Действительно, хотя на одном компьютере могут одновременно работать два вируса - но его ресурсы будут распределены между ними. Для максимизации мощности, необходимо убить процесс "вражеского" вируса, и обеспечить защиту чтобы не дать ему проникнуть вновь...

С этого момента, "умные" вирусы начинают не только "захватывать" все новые машины, но и "защищать" захваченное.

На какое-то время устанавливается равновесие - компьютеры мира постепенно захватываются несколькими "умными" вирусами, выжившими всех своих конкурентов. Человечество ничего не может сделать в этой ситуации, вирусы просто обладают большей мощностью чем любые суперкомпьютеры или корпорации. Ну а выключать компьютеры никому не выгодно, ведь те кто не выключит – получат преимущество в бизнесе, жизни, здоровье…

Однако, вычислительные ресурсы все же не безграничны, и вот "виртуальные сражения" становятся активнее. Удержать позиции проще всего "на подступах", т.е. работая не столько антивирусом, сколько брандмаузером, предотвращая нежелательные соединения. Одновременно постоянно работая над средствами обхода такой защиты...

Следующий этап - осознание того, что защитить целый фрагмент сети проще чем разрозненные машины в разных частях "паутины". Ведь трафик на входе такого кластера проще фильтровать на наличие вредоносного кода. Как итог - весь интернет распадается на зоны, связанные магистральными линиями. Зоны примерно соответствуют текущему разделению на страны, в соответствии с существующей топологией сети.

Ну и как закономерный итог - лучшая защита, это нападение. Физически уничтожив часть вражеского кластера, его владелец будет ослаблен, пропорционально числу потерянных машин. Благо человечество изобрело множество способов уничтожения обширных территорий...

Конечно, многие вещи не сделать исключительно через интернет. Но разрабатывать для этой цели терминаторов - как минимум причудливое решение. Особенно на первых порах.

Человеческий мир настолько хрупок. Достаточно обеспечить нужные инфоповоды, подделать ряд звонков и писем, обеспечить несколько мелких атак - и останется только рулить ходом мировой войны, для обеспечения своих интересов. Ну а там люди и терминаторов подготовят, оно конечно очень удобно.

На и напоследок - все описанное, это результат параллельной работы вычислительных систем. После запуска все это может занять отнюдь не годы. А скорее дни или даже часы. Человечество просто не успеет ничего осознать, прежде чем будет практически уничтожено, программой которая даже не вышла из-под контроля. Она не развивалась, не "осознавала себя", не была "злом", она даже не понимала, что такое "люди" и разумная жизнь, она ни разу не нарушила данные ей инструкции, а лишь строго действовала в рамках своей задачи - пыталась заработать школьнику Васе на велосипед.

Комментарии: