Проблемы безопасности и главные достижения ИИ

Тема искусственного интеллекта остается в фокусе интереса большого количества людей. Главная причина неослабевающего внимания публики в том, что за последние годы мы узнали о сотнях новых проектов, где используются технологии слабого ИИ. Весьма вероятно, что ныне живущие на планете люди смогут воочию застать появление сильного ИИ. Под катом история о том, когда именно ждать башковитых роботов в вашей квартире. Спасибо за светлые мысли ZiingRR и Владимиру Шакирову. Enjoy.

Какие перемены ждут нас, когда машины будут во многом превосходить своих создателей? Известные ученые и исследователи дают совершенно разные прогнозы: от очень пессимистичных предсказаний ведущего специалиста лаборатории искусственного интеллекта Baidu Эндрю Ына до сдержанных предположений эксперта Google, одного из авторов метода обратного распространения ошибки для тренировки многослойной нейронной сети Джеффри Хинтона, и оптимистичных доводов Шейна Легга, сооснователя компании DeepMind (ныне в составе Alphabet).

Обработка естественного языка

Давайте начнем с некоторых достижений в области формирования естественного языка. Для оценки моделей языка в компьютерной лингвистике используется перплексия (perplexity) — мера того, насколько хорошо модель предсказывает детали тестовой коллекции. Чем меньше перплексия, тем лучше языковая модель, взяв одно слово из предложения, вычисляет вероятностное распределение следующего слова. 

Если нейронная сеть делает ошибку (логическую, синтаксическую, прагматическую), значит, она дала слишком большую вероятность неподходящим словам, т.е. перплексия еще не оптимизирована.

Когда иерархические нейронные чатботы достигнут достаточно низкой перплексии, они, скорее всего, смогут писать связные тексты, давать четкие рассудительные ответы, последовательно и логически рассуждать. Мы сможем создать разговорную модель и имитировать стиль и убеждения конкретного человека.

Какова вероятность развития перплексии в ближайшем будущем?

Давайте сравним две замечательных работы: «Contextual LSTM models for large scale NLP tasks» («Контекстуальные LSTM-модели для масштабных NLP-задач», работа №1) и «Exploring the limits of language modeling» («Исследование границ языкового моделирования», работа №2).

Разумно предположить, что если в «Contextual LSTM models for large scale NLP tasks» использовать 4096 скрытых нейронов, то перплексия будет меньше 20, а 8192 скрытых нейрона могут дать перплексию меньше 15. Ансамбль моделей с 8192 скрытыми нейронами, обученными на 10 млрд. слов, вполне может дать перплексию значительно ниже 10. Пока неизвестно, насколько здраво сможет рассуждать подобная нейросеть.

Возможно, что уже в ближайшее время понижение перплексии сможет позволить нам создать нейросетевые чатботы, способные писать осмысленные тексты, давать четкие рассудительные ответы и поддерживать беседу.

Если понять, как оптимизировать перплексию, то можно будет добиться неплохих результатов. Также предлагают частичное решение проблемы через состязательное обучение (adversarial learning). Статья «Generating sequences from continuous space» («Генерирование последовательностей из непрерывного пространства») демонстрирует впечатляющие преимущества состязательного обучения.

Для автоматической оценки качества машинного перевода используют метрику BLEU, определяющую процент n-грамм (последовательности слогов, слов или букв), совпавших в машинном переводе и эталонном переводе предложения. BLEU оценивает качество перевода по шкале от 0 до 100 на основании сравнения человеческого перевода и машинного перевода и поиска общих фрагментов – чем больше совпадений, тем лучше перевод.

По метрике BLEU человеческий перевод с китайского на английский с массивом данных MT03 набирает 35,76 баллов. Однако сеть «GroundHog» набрала 40,06 баллов BLEU на том же тексте и с тем же массивом данных. Впрочем, тут не обошлось без лайфхака: оценку по максимальному правдоподобию заменили своим собственным критерием MRT, что повысило баллы BLEU с 33,2 до 40,06. В отличии от обычной оценки по методу максимального правдоподобия, обучение с минимальным риском может напрямую оптимизировать параметры модели в отношении оценочных метрик. Таких же впечатляющих результатов можно добиться за счет повышения качества перевода с помощью монолингвальных данных.

Современные нейросети переводят в 1000 раз быстрее человека. Изучение иностранных языков становится все менее полезной задачей, поскольку машинный перевод совершенствуется быстрее, чем обучается большинство людей.

Компьютерное зрение

Top-5 error — метрика, в которой алгоритм может выдать 5 вариантов класса картинки и ошибка засчитывается, если среди всех этих вариантов нет правильного. 

В статье «Identity mappings in deep residual networks» («Сопоставление идентификации в глубоких остаточных сетях») приводится цифра 5,3% по метрике top-5 error с одиночными моделями, в то время, как уровень человека составляет 5,1%. В «глубоких остаточных сетях» одиночная модель дает 6,7%, а ансамбль этих моделей с алгоритмом Inception дает 3,08%.

Также хорошие результаты достигаются за счет «глубоких нейросетей со стохастической глубиной» (deep networks with stochastic depth). Сообщается об ошибке ? 0,3% в примечаниях к базе данных ImageNet, поэтому реальная ошибка на ImageNet может скоро стать ниже 2%. ИИ превосходит человека не только по классификации ImageNet, но и по выделению границ. Выполнение задания по классификации видео в массиве данных SPORTS-1M (487 классов, 1 млн. видео) улучшилось с 63,9% (2014) до 73,1% (март 2015).

Сверточные нейронные сети (convolutional neural network, CNN) превосходят человека еще и по скорости — в ?1000 раз быстрее человека (обратите внимание, что речь идет о группах) или даже в ?10 000 раз быстрее после сравнения. Обработка видео 24 к/с на AlexNet требует всего 82 Гфлоп/с, а на GoogleNet — 265 Гфлоп/с.

Лучшие исходные данные работают со скоростью 25 мс. Всего видеокарте NVIDIA Titan X (6144 Гфлоп/сек) требуется 71 мс для отображения 128 кадров, поэтому для воспроизведения в реальном времени видео с 24 кадр/сек необходимо 6144 Гфлоп/сек *(24/128)*0,025 ? 30 Гфлоп/с. Чтобы обучать методом обратного распространения ошибки (backpropagation), понадобится 6144 Гфлоп/сек*(24/128)*0,071 ? 82 Гфлоп/с. Те же расчеты для GoogleNet дают 83 Гфлоп/сек и 265 Гфлоп/с соответственно.

Сеть DeepMind умеет генерировать фотореалистичные изображения на основе текста, введенного человеком

Сети отвечают на вопросы, основанные на изображениях. Кроме того, сети могут описывать изображения с помощью предложений, в некоторых метриках даже лучше, чем люди. Наряду с переводом видео=> текст, проводятся эксперименты по переводу текст=> изображение.
Кроме того, сети активно работают с распознаванием речи.

Скорость развития очень высока. Например, в Google относительное количество ошибочно распознанных слов снизилось с 23% в 2013 г. до 8% в 2015 г.

Обучение с подкреплением

AlphaGo — мощный ИИ в его собственном очень маленьком мире, представляющем собой всего лишь доску с камнями. Если усовершенствовать AlphaGo с помощью непрерывного обучения с подкреплением (и если нам удастся заставить его работать со сложными задачами реального мира), то он превратится в настоящий ИИ в реальном мире. Кроме того, есть планы обучать его по виртуальным видеоиграм. Зачастую видеоигры содержат намного больше интересных задач, чем средний человек встречает в реальной жизни. AlphaGo представляет собой удачный пример современного обучения с подкреплением с современной сверточной нейронной сетью.

Эффективное обучение без учителя

Существуют модели, позволяющие компьютеру самостоятельно создавать данные и информацию, например, фотографии, фильмы или музыку. Система Deep Generative Adversarial Networks (DCGAN, глубокие генеративные сверточные состязательные сети) способна создавать уникальные фотореалистичные изображения с помощью грамотного сочетания двух глубоких нейросетей, которые «состязаются» друг с другом.

Модели генерации языка, сводящие к минимуму перплексию, обучаются без учителя и за последнее время очень продвинулись вперед. Алгоритм «Skip-thought vectors» генерирует векторное выражение для предложений, позволяющее обучать линейные классификаторы над этими векторами и их косинусными расстояниями, чтобы решить многие проблемы обучения с учителем на современном уровне. Недавние работы продолжают развивать метод «computer vision as inverse graphics» («компьютерное зрение в роли обратных графических сетей»).

Мультимодальное обучение

Мультимодальное обучение используется для повышения эффективности задач, связанных с классификацией видео. Мультимодальное обучение без учителя используется в обосновании текстовых фраз в изображениях с помощью механизма, основанного на внимании, таким образом, модальности обучают друг друга. В алгоритме «Neural self-talk» нейросеть видит картинку, на ее основе генерирует вопросы, и сама же на эти вопросы отвечает.

Аргументы с точки зрения нейронауки

Вот упрощенный вид коры головного мозга человека:

Грубо говоря, 15% мозга человека предназначены для малоактивных визуальных задач (затылочная доля).

Другие 15% — для распознавания изображений и действий (чуть больше половины височной доли).

Еще 15% — для слежения за объектом и его обнаружения (теменная доля). А 10% предназначены для обучения с подкреплением (глазнично-лобная кора и часть префронтальной коры головного мозга). Вместе они образуют около 70% всего мозга.

Современные нейронные сети работают примерно на уровне человека, если брать только эти 70% головного мозга. К примеру, сети CNN совершают в 1,5 раза меньше ошибок в ImageNet, чем человек, при этом действуют в 1000 раз быстрее.

С точки зрения нейронауки, мозг человека имеет одинаковую структуру по всей поверхности. Нейроны, действующие по одному и тому же принципу, уходят вглубь мозга всего на 3 мм. Механизмы работы префронтальной коры и других частей головного мозга практически не отличаются. По скорости вычислений и сложности алгоритмов они также схожи. Будет странно, если современные нейронные сети не смогут справиться с оставшимися 30% в ближайшие несколько лет.

Около 10% отвечают за малоактивную моторно-двигательную деятельность (зоны 6,8). Однако люди, от рождения не имеющие пальцев, испытывают проблемы с мелкой моторикой, но при этом их умственное развитие в норме. У людей, страдающих синдромом тетраамелии, с рождения нет ни рук, ни ног, но полностью сохраняется интеллект. К примеру, Хиротада Ототакэ, спортивный журналист из Японии, стал известен, написав свои мемуары, разошедшиеся огромными тиражами. Он также преподавал в школе. Ник Вуичич написал множество книг, закончил Университет Гриффита, получил степень бакалавра коммерции и теперь читает мотивационные лекции.

Одной из функций дорсолатеральной префронтальной зоны (DLPFC) передней коры головного мозга является внимание, которое сейчас активно используется в LSTM-сетях (долгая краткосрочная память от англ. long short-term memory; LSTM).

Единственная часть, где пока не достигнут уровень человека, — это зоны 9, 10, 46, 45, которые совместно составляют только 20% коры головного мозга человека. Эти зоны отвечают за сложные рассуждения, использование сложных инструментов, сложный язык. Тем не менее, в статьях «A neural conversational model» («Нейронная разговорная модель»), «Contextual LSTM…» («Контекстуальная LSTM-сеть…»), «Playing Atari with deep reinforcement learning» («Играя в Atari с глубоким обучением с подкреплением»), «Mastering the game of Go…» («Развивая мастерство в игру Го…») и многих других активно обсуждается данная проблема.

Нет никаких оснований полагать, что с этими 30% справиться будет сложнее, чем с уже побежденными 70%. Как-никак, сейчас намного больше исследователей занимаются вопросами глубокого обучения, у них больше знаний и больше опыта. Кроме того, и компаний, заинтересованных глубоким обучением, стало в разы больше.

Знаем ли мы, как работает наш мозг?

Детальная расшифровка коннектома заметно шагнула вперед после создания многолучевого растрового электронного микроскопа. Когда была получена экспериментальная картина коры головного мозга размером 40x40x50 тыс. м3 и разрешением 3x3x30 нм, лаборатории получили грант на описание коннектома фрагмента мозга крысы размером 1x1x1 мм3.

Во многих задачах для алгоритма обратного распространения ошибки (backpropagation) весовая симметрия не важна: ошибки могут распространяться через фиксированную матрицу, при этом все будет работать. Такое парадоксальное заключение — ключевой шаг к теоретическому пониманию работы мозга. Рекомендую также почитать статью «Towards Biologically Plausible Deep Learning» («Вперед к биологически правдоподобному глубокому обучению»). Авторы в теории рассуждают о возможности мозга выполнять задания в глубоких иерархиях.

Недавно была предложена функция STDP (синаптическая пластичность, зависящая от момента времени импульса от англ. Spike Timing Dependent Plasticity). Это неконтролируемая целевая функция, несколько похожая на ту, что используется, например, в инструменте анализа семантики естественных языков word2vec. Авторы изучили пространство полиномиальных локальных правил обучения (предполагается, что в мозге правила обучения локальные) и обнаружили, что их превосходит алгоритм обратного распространения ошибки. Существуют также методы дистанционного обучения, не требующие алгоритма обратного распространения. Хотя они не могут конкурировать с обычным глубоким обучением, мозг, возможно, может использовать что-то типа этого, учитывая его фантастическое количество нейронов и синаптических связей.

Так что же отделят нас от ИИ уровня человека?

Ряд недавних статей о сетях памяти и нейронных машинах Тьюринга позволяют использовать память произвольно большого размера, сохраняя при этом приемлемое количество параметров модели. Иерархическая память предоставила доступ к памяти сложности алгоритма O(log n) вместо обычных операций O(n), где n — размер памяти. Нейронные машины Тьюринга с обучением с подкреплением предоставили доступ к памяти O(1). Это важный шаг к реализации систем типа IBM Watson на совершенно непрерывных дифференцируемых нейронных сетях, повышению результатов Allen AI challenge с 60% до практически 100%. С помощью сдерживающих факторов в рекуррентных слоях можно также добиться того, чтобы объемная память использовала приемлемое количество параметров.

Neural programmer — это нейронная сеть, расширенная набором арифметических и логических операций. Возможно, это первые шаги к непрерывной дифференцируемой системе Wolphram Alpha, основанной на нейронной сети. У метода «учись учиться» («learn how to learn») огромный потенциал.

Не так давно был предложен алгоритм SVRG. Эта сфера деятельности направлена на теоретическое использование значительно лучших методов градиентного спуска.
Есть работы, которые в случае успеха, позволят обучать с весьма большими скрытыми слоями: «Unitary evolution RNN», «Tensorizing neural networks».

«Net2net» и «Network morphism» позволяют автоматически инициализировать новую архитектуру нейросети, используя весы старой архитектуры нейросети, чтобы тут же получить производительность последней. Это рождение модульного подхода к нейросетям. Просто скачиваете предварительно обученные модули для зрения, распознавания речи, генерации речи, рассуждения, роботизации и т.д и настраиваете их под конечную задачу.

Вполне целесообразно включать новые слова в вектор предложения методом глубокого обучения. Однако современные LSTM-сети обновляют вектор ячейки, когда новое слово дается методом малослойного обучения (shallow learning). Эту проблему можно решить с помощью глубоких рекуррентных нейронных сетей. Успешное применение групповой нормализации (batch normalization) и дропаута (dropout) в отношении рекуррентных слоев могло бы позволить обучать LSTM-сети с глубоким переходом (deep-transition LSTM) еще эффективнее. Это также помогло бы иерархическим рекуррентным сетям

Несколько современных достижений были побиты алгоритмом, позволяющим научить рекуррентные нейронные сети понимать, сколько расчетных шагов необходимо сделать между получением входных данных и их выводом. Идеи из остаточных сетей также повысили бы производительность. Например, стохастические глубокие нейронные сети позволяют увеличить глубину остаточных сетей с более, чем 1200 слоями, при этом получить реальные результаты.

Мемристоры могут ускорить обучение нейронных сетей в несколько раз и дадут возможность использовать триллионы параметров. Квантовый компьютинг обещает еще больше.

Глубокое обучение стало не только легким, но и дешевым. За полмиллиарда долларов можно добиться производительности около 7 терафлопов. А еще за полмиллиарда подготовить 2000 высокопрофессиональных исследователей. Получается, что при бюджете, вполне реальном для каждой крупной страны или корпорации, можно нанять две тысячи профессиональных исследователей ИИ и дать каждому из них по необходимой вычислительной мощности. Такое вложение средства кажется очень даже целесообразным, учитывая ожидаемый технологический бум в области ИИ в ближайшие годы.

Когда машины достигнут уровня профессиональных переводчиков, в обработку естественного языка, основанную на глубоком обучении, хлынут миллиарды долларов. То же самое ждет и другие сферы нашей жизни, такие, как разработка лекарственных средств.

Прогнозы относительно ИИ уровня человека

Эндрю Ын высказывается скептически: «Возможно, через сотни лет технические знания человека позволят ему создать страшных роботов-убийц». «Может, через сотни, может, через тысячи лет — я не знаю — какой-нибудь ИИ превратится в дьявола».

Джеффри Хинтон придерживается умеренных взглядов: «Я не берусь говорить о том, что будет через пять лет — думаю, за пять лет мало что изменится».

Шейн Легг делал такие прогнозы: «Я даю логарифмически нормальное распределение в среднем на 2028 г. и пиком развития на 2025 г., при условии, что не случится ничего непредвиденного типа ядерной войны. Также к своему предсказанию я бы хотел добавить, что в ближайшие 8 лет надеюсь увидеть впечатляющий прото-ИИ». На рисунке ниже показано прогнозируемое логарифмически нормальное распределение.

Данный прогноз был сделан в конце 2011 г. Однако широко распространено мнение, что после 2011 г. сфера ИИ начала развиваться непредсказуемо большими темпами, так что, скорее всего, предсказания вряд ли станут пессимистичнее, чем были. На самом же деле у каждого мнения есть много своих сторонников.

Опасен ли ИИ с точки зрения машинного обучения?

С помощью глубокого обучения и массивов с этическими данными мы можем научить ИИ нашим человеческим ценностям. Принимая во внимание достаточно большой и широкий объем данных, у нас может получиться вполне дружелюбный ИИ, по крайней мере, дружелюбнее, чем многие люди. Тем не менее, данный подход не решает всех проблем безопасности. Можно также прибегнуть к обратно стимулированному обучению (inverse reinforcement learning), но все равно потребуется массив данных доброжелательности/недоброжелательности по отношению к человеку для тестирования.

Сложно создать массив этических данных. Существует множество культур, политических партий и мнений. Сложно создать непротиворечивые примеры того, как необходимо себя вести, обладая большой властью. Если же в обучающем массиве таких примеров не будет, то вполне вероятно в подобных ситуациях ИИ будет вести себя ненадлежащим образом и не сможет делать правильные выводы (отчасти потому что нравственность невозможно привести к какой-то норме).

Другое серьезное опасение связано с тем, что ИИ, возможно, словно капельница с дофамином будет пичкать людей неким футуристическим эффективным и безопасным лекарством, гормоном радости. ИИ сможет влиять на мозг человека и делать людей счастливыми. Многие из нас отрицают дофаминовую зависимость, но при этом только о нем и мечтают. Пока можно с уверенность сказать, что ИИ не вставляет в человека электроды с дофамином в определенном наборе ситуаций, возможных в сегодняшнем мире, но неизвестно, что будет в будущем.

Короче говоря, если кто-то считает, что нравственность обречена и ведет человечество к дофаминовой зависимости (или другому печальному исходу), то зачем же ускорять этот процесс?

Как гарантировать, что, отвечая на наши вопросы так, как того хотим мы, он умышленно не утаит от нас какой-то информации? Злодеи или глупцы могут превратить мощный ИИ в губительное для человечества оружие. На данном этапе почти все имеющиеся технологии адаптированы под военные нужды. Почему же этого не может случиться и с мощным ИИ? Если какая-та страна встанет на путь войны, победить ее будет сложно, но все же реально. Если же ИИ направит свои силы против человека, остановить его будет невозможно. Сама идея гарантии человеколюбия со стороны сверхумного существа спустя десятки и даже тысячи лет с момента его создания кажется чрезмерно смелой и самонадеянной.

При решении вопроса доброжелательности/недоброжелательности по отношению к человеку мы можем предоставить ИИ на выбор несколько вариантов решения. Проверить это будет легко и быстро. Однако хочется знать, может ли ИИ предлагать свои варианты. Такая задача гораздо сложнее, так как оценивать результат должны люди. В качестве промежуточного этапа уже создана CEV (когерентная экстраполированная воля от англ. Coherent Extrapolated Volition) платформы Amazon Mechanical Turk (AMT). Окончательную версию будет проверять не только AMT, но и мировое сообщество включая политиков, ученых и т.д. Сам процесс проверки может длиться месяцы, если не годы, особенно если учесть неизбежные острые дискуссии о противоречивых примерах в массиве данных. Между тем, те, кого не особо волнует безопасность ИИ, могут создать свой собственный небезопасный искусственный разум.

Предположим, ИИ считает, что для человека самым лучшим вариантом будет *нечто*, при этом ИИ знает, что большинство людей с ним не согласятся. Позволять ли ИИ убеждать людей в своей правоте? Если да, то ИИ, конечно же, без особого труда убедит любого. Будет нелегко создать такой массив данных доброжелательности/недоброжелательности по отношению к человеку, чтобы ИИ не склонял людей к определенным действиям, а, словно консультант, предоставлял им исчерпывающую информацию по возникшей проблеме. Сложность также заключается в том, что у каждого создателя массива данных будет свое мнение: позволять или не позволять ИИ убеждать людей. Но если в примерах массива данных для ИИ не будет четких границ, то в неопределенных ситуациях ИИ сможет поступать на свое усмотрение.

Возможные решения

Что нужно включить в массив данных доброжелательности/недоброжелательности по отношению к человеку? Чего большинство людей хотят от ИИ? Чаще всего, люди хотят, чтобы ИИ занимался какой-то научной деятельностью: изобрел лекарство от рака или холодный термоядерный синтез, думал о безопасности ИИ и т.д. Массив данных должен обязательно учить ИИ советоваться с человеком прежде, чем предпринимать какие-то серьезные действия, и незамедлительно сообщать людям о любых своих догадках. В НИИ искусственного интеллекта (MIRI, Machine Intelligence Research Institute) есть сотни неплохих документов, которые можно использоваться при создании подобного массива данных.

Таким образом можно исключить все вышеуказанные недостатки, поскольку ИИ не придется брать на себя решение сложных задач.

Пессимистичные аргументы

Какую бы архитектуру для создания ИИ вы не выбрали, в любом случае он, скорее всего, разрушит человечество в самой ближайшей перспективе. Очень важно отметить, что все аргументы практически не зависят от архитектуры ИИ. Рынок завоюют те корпорации, которые представят своим ИИ прямой неограниченный доступ в интернет, что позволит им рекламировать свою продукцию, собирать отзывы пользователей, выстраивать хорошую репутацию компании и портить репутацию конкурентов, исследовать поведение пользователей и т.д.

Выиграют те компании, которые с помощью своих ИИ изобретут квантовый компьютинг, который позволит ИИ усовершенствовать свои собственные алгоритмы (включая квантовую реализацию), и даже изобрести термоядерный синтез и заняться разработкой недр астероидов, и т.д. Все аргументы, приведенные в данном абзаце, также относятся к странам и их военным ведомствам.

Даже ИИ уровня шимпанзе не менее опасны, потому как, если судить по временной шкале эволюции, природе понадобилось всего мгновение, чтобы превратить обезьяну в человека. У нас, у людей, уходят годы и десятилетия, чтобы передать свои знания другим поколениям, в то время, как ИИ может моментально создать свою собственную копию обыкновенным копированием.

Современные свёрточные нейронные сети не только распознают изображения лучше человека, но и делают это на несколько порядков быстрее. То же самое можно сказать и о LSTM-сетях в области перевода, генерации естественного языка и т.д. Учитывая все упомянутые преимущества, ИИ быстро изучит всю литературу и видеокурсы по психологии, будет одновременно разговаривать с тысячами людей и в результате станет превосходным психологом. Таким же образом, он превратится в отличного ученого, выдающегося поэта, успешного бизнесмена, великолепного политика и т.д. Он сможет легко манипулировать и управлять людьми.

Если ИИ уровня человека предоставить доступ в интернет, он сможет проникнуть в миллионы компьютеров и запустить на них свои копии или субагентов. После этого заработает миллиарды долларов. Потом сможет анонимно нанять тысячи человек для создания или приобретения ловких роботов, 3D-принтеров, биологических лабораторий и даже космической ракеты. А чтобы контролировать своих роботов, ИИ напишет суперумную программу.

ИИ может создать комбинацию смертельных вирусов и бактерий или какое-то другое оружие массового поражения, чтобы истребить всех людей на Земле. Невозможно контролировать то, что умнее тебя. В конце концов, кучке людей практически удалось завладеть миром, так почему же этого не сможет сделать сверхумный ИИ?

Что бы сделал ИИ с нами, если бы полностью завладел Землей

Если мы ему будем безразличны, то, скорее всего, он избавится от нас как от побочного эффекта. Именно это означает безразличие, когда имеешь дело с невероятно мощным созданием, решающим свои проблемы за счет власти местной сферы Дайсона. Если же мы ему будем небезразличны, то все может обернуться еще хуже. Если мы ему понравимся, то он может решить вставить в наш мозг электроды, вырабатывающие гормон радости, но при этом полностью уничтожающие мотивацию к чему-либо. И все может быть совсем наоборот, если мы ему не понравимся или, если он будет частично запрограммирован на любовь к нам, но в коде появится какая-нибудь трудно уловимая ошибка. А ошибки неизбежны при частичном кодировании того, что во много раз умнее и мощнее нас.

Мнение о любящем нас ИИ не подкрепляется ничем, кроме обычной интуиции. Ни один закон физики не заставит ИИ проявлять особый интерес к людям, делится с нами нефтью, полями, другими ресурсами. Даже если ИИ и будет заботиться о нас, то еще большой вопрос, а будет ли эта забота соответствовать нашим сегодняшним стандартам морали. Нам определенно не стоит на это надеяться и рисковать всем, что есть. Раз и навсегда судьба человечества будет зависеть от решений мощного ИИ.

Иные негативные последствия

Все современные компьютерные вирусы могут проникать во все, что компьютеризировано, т.е. хоть во что. Дроны можно запрограммировать на убийство тысяч мирных жителей в течение нескольких секунд. По мере совершенства возможностей ИИ можно будет автоматизировать практически любое преступление. А как насчет суперумных рекламных чатботов, пытающихся навязать вам свои политические взгляды?

Заключение

Существует множество аргументов, доказывающих, что ИИ уровня человека будет создан в ближайшие 5-10 лет.

Недавнее развитие алгоритмов глубокого обучения искусственного интеллекта вызывает беспокойство относительно этической стороны вопроса. Есть мнение, что ИИ уровня человека заведомо представляет собой угрозу нашему миру. Было бы слишком самоуверенно и самонадеянно полагать, что люди смогут контролировать сверхумные ИИ, что искусственный разум позаботится о человеке, предоставит, к примеру, нам полный доступ к полезным ископаемым и сельскохозяйственным полям планеты. Если в краткосрочной перспективе появление умного ИИ несет собой целый ряд преимуществ, то последующая опасность, грозящая нашему обществу в будущем, перевешивает все плюсы.

Дружелюбный ИИ можно сделать с помощью решения, основанного на массиве данных доброжелательности/недоброжелательности по отношению к человеку. Тем не менее, идея все равно еще сырая, ее реализация будет не такой уж простой задачей. К тому же никто не может гарантировать безопасность. Более того, при дальнейшем изучении могут выплыть и другие важные недостатки. В конце концов, где гарантии, что при создании реального ИИ будет использован именно этот алгоритм.