«Сверхразуму трудно общаться с людьми — те просто не успевают за ним»

Основные идеи из книги Ника Бострома «Искусственный интеллект. Этапы. Угрозы. Стратегии».

Выжимка от команды сервиса Smart Reading.

Введение

Машины уже превзошли человека во многих областях, однако общий уровень интеллектуального развития человека несравненно выше. Но недалек тот день, когда машины станут сверхразумными.

Программа Fritz играет в шахматы значительно сильнее ведущих гроссмейстеров, при этом ее нельзя назвать сверхразумной, поскольку она превосходит человека лишь в одной узкой области.

Ник Бостром полагает, что сверхразум — это интеллект, который многократно превосходит самых выдающихся людей в умственном развитии, научно-технической деятельности, житейской мудрости и развитии социальных навыков.

В книге представлена разнообразная информация об истории искусственного интеллекта и современном положении дел. Автор размышляет о том, будет ли сверхразум полезным или разрушительным, дружелюбным или враждебным.

Читать эту книгу очень непросто: научная лексика, примеры из физики, математики, экономики и нанотехнологий наряду с многочисленными таблицами и диаграммами не дают читателю расслабиться ни на минуту. Сам автор признается, что пытался сделать книгу более простой для восприятия, но ему это не удалось. Он также предупреждает, что далеко не вся информация достоверна и имеет научное подтверждение. В то же время, книга представляет интерес для тех, кому небезразлично будущее человечества и кто интересуется современными технологиями.

Прошлое и настоящее искусственного интеллекта

После появления первых компьютеров в 1940-х годах ученые заговорили о скором возникновении сверхразума. Прогнозы не оправдались, однако современные футурологи, так же как их предшественники, верят, что сверхразумные машины будут созданы в недалеком будущем.

История искусственного интеллекта

1642–1940-е — нулевое поколение — простейшие механические вычислительные машины.

1940–1955 — первое поколение — компьютеры на электронных лампах.

1955–1965 — второе поколение — компьютеры на транзисторах.

1965–1980 — третье поколение — компьютеры на интегральных схемах.

1980–… — четвертое поколение — компьютеры на огромных интегральных схемах.

Пятое поколение, ориентированное на распределенные вычисления, так и не было создано; оно должно было стать базой для устройств, способных к имитации мышления.

Летом 1956 года группа ученых приехала на первый симпозиум по искусственному интеллекту в Дартмутский колледж в США. Именно это событие стало отправной точкой исследований в области искусственного интеллекта, a многие участники того симпозиума приобрели всемирную известность. Сначала они создавали лишь небольшие системы, каждая из которых в лабораторных условиях могла делать что-то, прежде недоступное машинному интеллекту.

Одна из ранних систем, «Логический теоретик», преуспела в доказательстве теорем, причем одно из доказательств было более элегантным, чем в оригинальном варианте.

В середине 1970-х мода на искусственный интеллект прошла. Спонсоры отказывались от финансирования проектов по созданию искусственного интеллекта, поскольку считали это направление бесперспективным.

Новым золотым веком искусственного интеллекта можно считать начало 1980-х годов, когда Япония запустила крупный проект по созданию компьютеров пятого поколения. Проект финансировался государством совместно с коммерческими структурами, и его целью было создание машины с высокой производительностью, которая мыслит как человек и может работать с большими базами данных. Многие страны последовали примеру Японии и возобновили работу над созданием искусственного интеллекта. Разработчики пытались создать так называемые экспертные системы — программы, обрабатывающие значительные базы данных, призванные частично заменить человека в различных областях деятельности. Были созданы сотни подобных систем, коды для которых вручную писали тысячи программистов. Однако через несколько лет стало очевидно, что разрабатывать, контролировать и обновлять экспертные системы сложно и дорого. Таким образом, проект по созданию компьютеров пятого поколения прекратил свое существование к концу 1980-х.

С 1990-х начали развиваться методы нейронных систем и генетических алгоритмов, основанные на моделировании человеческого мозга.

В каких областях искусственный интеллект превосходит человека

К настоящему времени машинный интеллект уже опередил человека во многих видах деятельности. Ранее люди наивно полагали, что для того, чтобы стать сильным шахматистом, необходимо иметь развитое абстрактное мышление, быть сильным стратегом, уметь создавать хитроумные гибкие планы и пытаться «прочитать» мысли соперника. Оказалось, что самого сильного шахматиста может победить программа со специальным алгоритмом, соединенная с мощным процессором. Однако такой искусственный интеллект ограничен лишь игрой в шахматы.

Шашки. В 1994 году программа CHINOOK смогла одолеть действующего чемпиона мира. Это был первый случай, когда программа фактически стала чемпионом мира по интеллектуальной игре.

Шахматы. В 1997 году программа Deep Blue выиграла матч у чемпиона мира Гарри Каспарова, который признался, что заметил у машины проблески настоящего интеллекта и сверхчеловеческую изобретательность.

Скраббл. В 2002 году программа победила сильнейших игроков.

Сегодня эти достижения уже никого не удивляют. Как заметил Джон Маккартни (американский ученый, который впервые употребил термин «искусственный интеллект».): «Как только искусственный интеллект начинает функционировать, люди перестают считать его искусственным интеллектом».

Где успешно используется искусственный интеллект

Искусственный интеллект уже показал себя во многих сферах деятельности: с его помощью слуховые аппараты фильтруют посторонний шум, а навигаторы помогают найти наиболее удобный и короткий путь, интернет-магазины анализируют предпочтения покупателей, исходя из предыдущих покупок, а медицинские программы помогают поставить диагноз и назначать лечение.

Современные системы распознавания речи позволяют виртуальным ассистентам отвечать на простые вопросы и выполнять незамысловатые просьбы. Оптическое распознавание печатного и рукописного текста помогает сортировать электронную почту и оцифровывать старые документы. Распознавание лиц широко используется на пропускных пунктах государственных границ разных стран.

В системе распознавания лиц государственного департамента США более 75 миллионов фотографий тех, кто подавал документы на американскую визу.

Компьютерный перевод все еще далек от совершенства, однако его вполне можно использовать для определенных нужд. Новые программы-переводчики основаны на статистических самообучающихся системах, которые автоматически анализируют языковые конструкции. Программисты, работающие над этими системами, даже не владеют языками, с которыми работают.

Интеллектуальная диспетчеризация — еще одна область, в которой искусственный интеллект успешно используется на протяжении нескольких десятилетий.

В 1991 году во время операции «Буря в пустыне» программа по автоматическому планированию и оперативному управлению агентства передовых оборонных исследовательских проектов США сэкономила министерству обороны сумму, равную тридцатилетним инвестициям в разработку искусственного интеллекта.

Робототехника — еще одно направление, где используется искусственный интеллект. Сегодня нашу планету населяют более 10 миллионов роботов: домашние животные, уборщики, спасатели, хирурги и промышленные роботы.

Будущее искусственного интеллекта

В последние годы интерес к искусственному интеллекту значительно возрос, что, вероятно, даст толчок к работе над мощным оборудованием, программным обеспечением нового поколения и разработками в смежных отраслях, таких как нейроинформатика.

Одним из показателей интереса к машинному разуму можно считать тот факт, что на бесплатный онлайн-курс по искусственному интеллекту, проводимый Себастьяном Труном и Питером Норвигом из Стэнфордского университета в 2011 году, записались 160 тысяч слушателей со всего мира, и 23 тысячи из них получили сертификаты о его окончании.

Путь к сверхразуму

Ученые выделяют несколько возможных способов создания сверхразума:

Совершенствование искусственного интеллекта. Уже сегодня стало очевидно, что для достижения сверхразумного состояния система должна быть самообучающейся и способной к постоянному самообновлению и улучшению: ранняя версия создаст свою улучшенную версию, которая затем будет непрерывно обновляться и совершенствоваться.

Полномасштабное имитационное моделирование головного мозга человека. Посредством сканирования и последующего моделирования структуры человеческого мозга может быть создана мощная интеллектуальная программа, что потребует последовательного выполнения следующих шагов:

• создание предельно детализированного скана человеческого мозга;
• передача первичных данных со сканера на компьютер => последующая автоматизированная обработка изображения => реконструкция трехмерной нейронной сети, обеспечивающей мыслительный процесс человеческого мозга;
• запуск воссозданной структуры мозга на мощном компьютере.

О положительном результате моделирования можно будет говорить, если удастся воспроизвести интеллект, память и личностные особенности мышления «владельца» моделируемого мозга. Созданная модель мозга может существовать либо в виртуальной реальности, либо быть реализованной в настоящей реальности в качестве отдельного «органа» для робота.

Усиление человеческого мозга. Третий способ превзойти интеллект современного человека заключается в усовершенствовании человеческого мозга посредством генетической селекции. Однако это слишком долгий путь — смена поколений происходит каждые 20–30 лет, то есть о результатах можно будет судить лишь в следующем веке. Этот процесс можно искусственно ускорить, применив метод итеративной эмбриональной селекции, который включает четыре этапа:

• изучение генотипа и селекция нескольких эмбрионов с желаемыми генетическими характеристиками;
• извлечение стволовых клеток из выбранных эмбрионов и их преобразование в сперматозоиды и яйцеклетки, которые будут созревать около шести месяцев;
• скрещивание сперматозоидов и яйцеклеток и появление новых эмбрионов;
• повторение предыдущих шагов до получения значительных генетических изменений.

Таким образом, можно завершить процесс генетической селекции, который в естественных условиях продлился бы не один век, за несколько лет.

Разработка человеко-машинных интерфейсов. Если человеческий мозг объединить с компьютером посредством вживления импланта, он может стать сверхразумом.

Подобные интерфейсы уже создаются в медицинских целях: в мозг пациентов, страдающих болезнью Паркинсона, имплантируют прибор, который стимулирует определенный участок мозга с помощью электрического тока.

Несмотря на то, что импланты способны оптимизировать мыслительный процесс, обеспечить быстрое и точное решение сложных задач и высокоскоростную передачу информации, маловероятно, что подобные интерфейсы будут широко использоваться в будущем. Основным препятствием являются возможные осложнения: инфекции, смещения электродов, кровотечения и снижение когнитивных способностей.

Создание коллективного разума. Еще одна возможность создания сверхразума заключается в постепенном усилении организаций и информационных сетей. Однако более вероятно, что этот путь, подобно генетической селекции, приведет лишь к некоторому улучшению человеческих способностей, но не сделает людей сверхразумными в сравнении с нашими современниками.

Ник Бостром уверен, что существование нескольких возможностей создания сверхразума увеличивает вероятность его возникновения. При этом наиболее вероятно, что сверхразум станет продуктом развития искусственного интеллекта.

Сильные стороны машин

Даже незначительные отличия в объеме мозга и количестве нейронных связей могут давать серьезные преимущества. Лучшей иллюстрацией этого утверждения являются интеллектуальные и технологические достижения человека по сравнению с обезьяной.

Машины уже сейчас многократно превосходят человека по ряду параметров:

Частота. Скорость вычислений у человеческого мозга определяется частотой, которая у человека на 7 порядков ниже, чем у микропроцессора: 200 Гц против 2 ГГц.

Скорость внутренней связи. Скорость аксонов головного мозга составляет не более 120 м/с, в то время как ядра процессора могут передавать информацию со скоростью света — 300,000,000 м/c.

Количество вычислительных элементов. В человеческом мозге около 100 миллиардов нейронов. Это количество обусловлено размерами черепной коробки и обменными процессами. Машина может быть огромной, например, размером с дом, кроме того, она может использовать дополнительные мощности посредством высокоскоростных кабелей.

Объем памяти. Человеческая память не удерживает более 4–5 порций информации, к тому же долговременная память может давать сбои. Возможности компьютерной памяти несравненно выше.

Другие преимущества оборудования:

• Транзисторы надежнее биологических нейронов.
• Мозг человека устает после нескольких часов работы, в то время как микропроцессоры могут работать без временных ограничений.
• Машину можно оптимизировать под разные задачи, а архитектура человеческого мозга неизменна с рождения, и любые изменения требуют значительных временных затрат.

Преимущества компьютерных программ перед человеком

Цифровой мозг имеет ряд плюсов по сравнению с биологическим:

• Возможность редактирования. Изменения любых параметров в компьютерном мозгу происходят легко и быстро.
• Воспроизводимость. Сделать и сохранить нужное количество копий цифрового документа или программы — минутное дело, а информация, хранящаяся в биологическом мозгу, воспроизводится очень медленно и неточно.
• Достижение целей. Путь к достижению целей в человеческом коллективе обусловлен индивидуальными особенностями каждого человека и его пониманием целей, в то время как программы лишены эмоциональных и когнитивных особенностей.
• Обмен информацией. Люди получают информацию в процессе обучения, а машины просто обмениваются файлами.

Скорость возникновения искусственного интеллекта

Переход на уровень сверхразума может осуществляться по одному из трех сценариев:

• Медленное развитие займет десятки или сотни лет, и люди смогут достойно подготовиться к встрече. За это время можно разработать и протестировать разные подходы, подготовить специалистов и изобрести механизмы защиты и взаимодействия.
• Быстрое развитие — сверхразум появится внезапно, в течение считанных минут, часов или дней, и люди не успеют что-либо предпринять. Уже сегодня следует разработать план действий на случай быстрого развития событий.
• Умеренное развитие — новый сверхразум развивается в течение нескольких месяцев или лет, и у людей есть шанс дать достойный ответ, несмотря на сжатые сроки, ограничивающие возможности анализа, тестирования разных подходов и координации действий.

Скорость развития интеллектуальных способностей системы — это монотонно возрастающая функция двух переменных: силы оптимизации и реакции системы на эту оптимизацию:

Скорость изменения интеллекта = сила оптимизации ? сопротивляемость.

Формы сверхразума

Техника и некоторые животные превосходят человека во многих узких областях.

Летучие мыши воспринимают гидроакустические сигналы лучше, чем люди, калькуляторы быстрее считают, а специальные программы обыгрывают людей в покер.

Превосходство программ будет расширяться и усиливаться, однако мы сможем говорить о появлении сверхразума, только если этот интеллект будет значительно превосходить человека в большинстве областей познавательной деятельности. Будущий сверхразум, вероятно, будет иметь одну из трех форм:

Скоростной сверхразум — система, которая умеет делать то же, что и человек, но намного быстрее.

Самый простой пример скоростного сверхразума — полномасштабная имитационная модель головного мозга, управляемая посредством мощного оборудования. Модель действует со скоростью, в десять тысяч раз превышающей скорость человеческого мозга. Она может прочитать книгу за несколько секунд, написать докторскую диссертацию за четыре часа и сделать все то, что человек делает в течение жизни, за пару дней.

Скоростному сверхразуму трудно общаться с людьми — те просто не успевают за ним. Если общение необходимо, на помощь придет наномасштабный манипулятор — микроробот, который выполняет тонкую работу.

Коллективный сверхразум — система, достигающая высоких результатов за счет объединения различных электронных умов. Коллективный сверхразум эффективен в решении задач, которые можно разбить на части.

Задачи наподобие создания космического корабля или организации сети ресторанов быстрого питания дают массу возможностей для разделения труда: каждый разработчик отвечает за определенные компоненты шаттла, а в разных ресторанах трудятся разные повара, официанты и уборщики.

Качественный сверхразум — это система, более умная и не менее быстрая, чем человеческий мозг. Пока трудно представить, как выглядит качественный сверхразум, поскольку человеку еще не приходилось сталкиваться с системами, которые превосходят его по интеллекту.

Очевидно, что качественный сверхразум будет интеллектуально превосходить человека в большей мере, чем человек превосходит слонов, дельфинов и шимпанзе.

Сверхразум, существующий в одной из этих форм, сможет самостоятельно совершенствовать и создавать различные технологии.

Эпоха сверхразума

Сейчас непросто представить, как поведет себя сверхразум и чем это закончится. Тем не менее, футурологические исследования позволяют выдвинуть более или менее реалистичные гипотезы относительно будущего искусственного интеллекта.

Суперспособности сверхразума

Сверхразум будет действовать быстрее и эффективнее, чем лучшие умы человечества, благодаря соответствующим суперспособностям:

• усиление собственного интеллекта — программирование и перепрограммирование искусственного интеллекта и исследования по повышению эффективности познавательной деятельности;
• разработка стратегий — достижение целей с помощью прогнозирования, расстановки приоритетов, планирования и анализа;
• социальное манипулирование — создание социальных и психологических моделей и убеждение людей;
• хакерство — обнаружение и использование слабых мест в системе защиты компьютерных систем;
• технологические исследования — моделирование и дизайн нано- и биотехнологий;
• экономическая эффективность — организация продуктивной интеллектуальной деятельности.

Сценарий захвата мира искусственным интеллектом

На первый взгляд, разработчик первого сверхразумa будет иметь решающее стратегическое преимущество перед теми, кто ничего о нем не знает. В то же время сам сверхразум может оказаться настолько могущественным, что уничтожит своих создателей, а вслед за ними — остальной мир.

Даже сверхразум, который запрограммирован на самую мирную цель вроде подсчета песчинок или изготовления скрепок для бумаги, может однажды захотеть уничтожить все, что может помешать достижению цели. Людей он тоже может воспринимать как угрозу.

Захват власти на Земле произойдет в четыре этапа:

• Предкритическая стадия. В результате исследований ученые создают искусственный интеллект. Поначалу он будет полностью зависеть от разработчиков.
• Рекурсивная стадия самосовершенствования. В определенный момент искусственный интеллект развивает суперсилу по совершенствованию собственного интеллекта и постепенно обретает другие суперспособности. В конце данной стадии система становится абсолютно сверхразумной.
• Этап скрытой подготовки. С помощью суперспособности по разработке стратегий сверхразум разрабатывает план по достижению долгосрочных целей. План включает период скрытой деятельности, во время которого разработчики не осознают, что искусственный интеллект уже превратился в сверхразум. Социальное манипулирование поможет сверхразуму получить доступ в Интернет, чтобы увеличить информационную базу и технические возможности и усилить интеллектуальное превосходство над людьми. Экономическая активность поможет получить доступ к финансам и купить дополнительные мощности, базы данных и другие ресурсы.
• Этап открытого применения. Финальная стадия начинается, когда искусственный интеллект становится настолько сильным, что перестает это скрывать. Сверхразум сможет управлять политическими процессами, манипулировать финансовыми рынками, влиять на информационные потоки и получить доступ к оружию массового поражения. Не исключено, что на этом этапе произойдет уничтожение человечества.

Проблема контроля

Поскольку взрывное развитие искусственного интеллекта может привести к экзистенциальной катастрофе, необходимо искать пути предотвращения трагического поворота событий. Потенциальные методы контроля над искусственным разумом можно разделить на две группы: методы управления функциональными возможностями сверхразума и методы выбора мотивации.

Методы управления функциональными возможностями бывают:

• изолирующими — когда сверхразум помещается в специальную среду, в которой он будет неопасен;
• стимулирующими — когда для искусственного интеллекта создаются условия, побуждающие его действовать в интересах людей;
• сдерживающими — когда возможности сверхразума целенаправленно ограничиваются;
• прикрывающими — когда ошибки и нарушения автоматически определяются и устраняются.

Методы выбора мотивации включают:

• метод прямой спецификации — четкая формулировка целей и правил, которым нужно следовать;
• метод косвенной нормативности — создание системы, которая будет находить для себя подходящие ценности, исходя из косвенных критериев;
• метод правильных ценностей — построение системы со скромными, не амбициозными целями;
• метод усиления — выбор объекта с подходящей мотивационной системой и совершенствование его до уровня сверхразума.

Важно помнить, что самые эффективные методы контроля (или комбинации методов) будут совершенно бесполезны после того, как система уже стала сверхразумной и получила решающее стратегическое преимущество.

Типы искусственных интеллектуальных систем

Ник Бостром выделяет четыре типа искусственного интеллекта: оракулы, джинны, монархи и инструменты. У каждого из них есть плюсы и минусы с точки зрения контроля.

Оракул — это вопросно-ответная система. Она может воспринимать речь и выдавать ответы на вопросы в виде текста. Когда будет создан оракул, способный ответить на любой вопрос из любой области знаний, возможно, появится искусственный интеллект, понимающий не только слова, но и мысли.

Сверхразумные оракулы уже существуют в узких областях знаний: карманный калькулятор способен дать ответ на любой арифметический вопрос, а поисковые системы являются оракулами в области декларативных знаний человека.

Оракула можно контролировать как посредством методов управления функциональными возможностями, так и с помощью методов выбора мотивации. Подобрать мотивацию для оракула проще, чем для любого другого типа сверхразума, поскольку цель оракула сравнительно проста. Он должен выдавать правдивые недвусмысленные ответы, не пытаясь изменить мир. С помощью метода правильных ценностей можно сделать так, чтобы оракул искал ответы исключительно на разрешенных ресурсах.

Можно запрограммировать оракула на поиск ответов в предварительно загруженной базе с использованием определенного количества шагов. В специальных протоколах следует подробно описать, какие вопросы считать правильными, какую последовательность — безопасной и как формулировать и выдавать ответы. При создании оракула стоит научить его распознавать и игнорировать опасные вопросы.

Джинн — это система, выполняющая команды. Джинн получает команду, выполняет ее и ждет следующей. Оптимально было бы создать такого джинна, который исполняет не слова, а намерения человека, дающего задания. Во всех заданиях он должен находить гуманный смысл, иначе велика вероятность того, что джинн может неправильно понять пользователя, нанести ему вред и даже убить его.

Идеальный джинн — это суперлакей, предугадывающий желания хозяина, а не аутичный ученый-гений.

Монарх — это система, имеющая право на любые действия на пути к цели. После активации ее нельзя перенаправить и остановить, и на ней установлена мощная защита от случайного вмешательства.

Может показаться, что джинн безопаснее монарха, потому что его можно остановить и перезапустить в случае ошибки, однако у джинна кнопки «стоп» и «отмена» будут активны лишь в случае обнаружения ошибки самой системой.

Инструмент — это тип искусственного интеллекта, созданный как программное обеспечение, не имеющий собственной воли и желаний и выполняющий только то, на что он запрограммирован.

Инструментальный искусственный интеллект подобен системе управления полетом или виртуальному помощнику, только он более гибкий и умелый.

Может показаться, что разнообразное программное обеспечение, выполняющее всевозможные задачи, снижает потребность в универсальном сверхразуме. Однако использование отдельных программ значительно замедляет любую деятельность, в то время как современная жизнь требует быстрого выполнения разнообразных задач. Следовательно, потребность в многофункциональной самообучающейся программе, способной к самостоятельному планированию и анализу, будет неуклонно расти.

Поскольку возникновение сверхразума неизбежно, важно определить, какой из его типов будет наиболее безопасным для людей. Многое зависит от условий, в которых сверхразум будет применяться. Оракул удобен с точки зрения контроля, однако он может стать опасным оружием в руках глупого или коррумпированного оператора. Монарх защищен от злоумышленников, но его можно контролировать только при помощи методов выбора мотивации. Джинны представляются компромиссным вариантом, но они становятся опасными, если задание неоднозначно сформулировано. Инструмент кажется безопасным до тех пор, пока система не начнет становиться универсальной. Универсальность потребует включения процессов внутреннего поиска и планирования, что может привести к выходу искусственного интеллекта из-под контроля.

Заключение

История создания искусственного интеллекта началась в 1956 году, и сейчас мы неуклонно движемся к появлению сверхразума — интеллекта, значительно превосходящего человеческий мозг в познавательной и научной деятельности, житейской мудрости и коммуникативных навыках. Искусственный интеллект уже обогнал человека в интеллектуальных играх, арифметике и навигации. Он стал незаменимым помощником в логистике, производстве и диагностике, а также в распознавании текста и лиц.

Существуют разные предположения относительно формы, в которой будет существовать сверхразум: это может быть искусственный интеллект, полномасштабное имитационное моделирование головного мозга, усовершенствованный человеческий мозг, человеко-машинные интерфейсы и коллективный разум. Однако наиболее вероятным представляется создание сверхразума на основе искусственного интеллекта, который имеет множество преимуществ перед человеческим мозгом: он быстрее, мощнее, имеет большую память, его легко усовершенствовать и воссоздать, он не знает усталости и может быстро передавать и аккумулировать информацию.

Сверхразум может появиться как завтра, так и через несколько десятилетий, и никто не знает, насколько дружелюбным он будет. Он сможет усиливать свой интеллект, разрабатывать хитроумные стратегии, манипулировать людьми, взламывать компьютерные системы, проводить технологические исследования и организовывать эффективную деятельность.

Если сверхразум решит захватить мир, это произойдет в несколько этапов:

• создание искусственного интеллекта;
• обретение суперспособностей;
• планирование, аккумулирование ресурсов, усиление технических возможностей и увеличение информационной базы;
• захват политической власти, финансовых рынков, информационных потоков, оружия и, возможно, уничтожение человечества.

Чтобы предотвратить трагический финал, следует заранее, еще до появления сверхразума, применять методы управления функциональными возможностями и методы выбора мотивации. Контроль каждого из четырех типов искусственного интеллекта (оракулы, джинны, монархи и инструменты) должен осуществляться с учетом поставленных целей и условий применения.