Как не дать искусственному интеллекту захватить мир

Я думаю, книгу Рассела «Совместимость» можно смело назвать Манифестом ИИ. Мы видим вокруг пока не ИИ как таковой, но отдельные элементы, уже внедренные в жизнь. Достаточно назвать системы онлайн-покупки авиа- и театральных билетов, онлайн-найма работников, самостоятельно летающие дроны, наконец, системы поиска и перевода текстов. Вслед за автором можно согласиться с тем, что неясно когда, но в исторически короткие сроки, ИИ должен появиться в полном объеме.

Законы полезности роботики

Фантасты трубят про недалекий «судный день» с их невероятно симпатичными, хотя и изрядно постаревшими, роботами, незабываемо воплощенными Шварценеггером и Локен в фильме «Терминатор». Сцена и структура будущего конфликта ясны. ИИ может делать всё, что может человек, и, в лучшем для человечества случае, это приводит к эффекту, описанному Расселом как «эффект гориллы». Горилла эволюционно породила человека, и это сильно понизило её статус. Теперь горилла не более чем игрушка, ненужный придаток цивилизации. Такой же игрушкой, по мнению многих, станет и человек.

ИИ возьмёт на себя сначала рутинные, а потом и все заботы по производству товаров и услуг. Нет, не все, говорит автор. Остаются самые главные услуги — по удовлетворению нужд и развитию отдельной личности, группы и общества.

Как сделать так, чтобы ИИ прислушался к человечеству, а не убрал его в какую-либо резервацию подальше? Рассел предлагает изготавливать роботов так, чтобы в них были встроены сформулированные им три принципа полезностной роботики:

1. Единственная задача машины — в максимальной степени реализовать предпочтения человека.
2. Изначально машина находится в неопределенности относительно того, каковы эти предпочтения.
3. Главнейшим источником информации о предпочтениях человека является поведение человека.

В какой-то мере эти формулировки напоминают три этических закона робототехники из цикла «Я, робот» Айзека Азимова, в которых роботу вменяется обязанность повиноваться командам человека в той мере, в которой это не причиняет опасности ни человеку, ни роботу. Но, конечно же, они идут в совершенно другой плоскости.

Эти принципы не о действиях, а о стремлениях. Законы Азимова в каких-то ситуациях приводят к противоречиям, что является движущей пружиной многих рассказов серии «Я, робот». Вероятно, что-то в этом роде могло бы ожидать и принципы Рассела, появись кто-либо, кто хотел бы исследовать этот вопрос в литературном формате.

Сам факт формулировки этих принципов — несомненное достижение в решении проблемы разработки ИИ и его совместимости с человечеством.

Принципы переводят проблему из чисто философского или технологического плана в проблематику изучения человеческих предпочтений и отношений. Здесь непочатый край работы на стыке психологии, социологии, медицины, информатики и прочее.

Насколько трёх принципов достаточно, чтобы избежать попадания человечества в положение гориллы, другой вопрос. Я, скажем, отношусь к ним с некоторой долей скептицизма. Я думаю, что мы вполне могли бы соблюдать эти принципы по отношению к гориллам, заменив в них «человечество» на горилл, а «искусственный интеллект» на человечество. Не вижу ничего, что запрещало бы нам выделить на африканских просторах некую резервацию, поместить туда всех горилл — их ведь так немного осталось — и создать научно-практическую структуру, коллектив людей, которая бы всячески ублажала и изучала горилл в духе трёх принципов Рассела. Подобным образом мог бы поступить и ИИ с человечеством, разумеется, при наличии места.

Вероятно, придется дополнять три принципа все новыми и новыми постулатами, что в общем-то никак не подрывает основную идею автора, просто делает её более громоздкой и реалистичной. Я бы дополнительно предложил, чтобы человек являлся важным звеном в цепях управления. Чтобы всякое серьезное управляющее воздействие имело необходимую компоненту, за которую отвечал бы только человек.

Несколько слов о содержании книги. Изложение ведется довольно последовательно.

1. Глава 1 начинается с так называемой стандартной модели для ИИ. Стандартная модель утверждает, что машина, как и человек, интеллектуальна настолько, насколько ее действия соответствуют заложенным в нее целям.
2. Глава 2 объясняет, что стандартная модель нежизненна. Рассел показывает на примерах сложности, связанные с более примитивными трактовками понятия «интеллект». Упоминает знаменитый тест Тьюринга — машина интеллектуальна, если в беседе с ней мы не сумеем понять, что говорит машина. Тест получил огромную известность в среде популяризаторов науки, хотя научная ценность идеи ничтожна. Тест Тьюринга не предлагает никаких понятий или механизмов, связанных с моделированием интеллекта. Автор совершенно справедливо замечает, что нельзя говорить о моделировании интеллекта без подробной разработки понятий, связанных со знаниями.
3. Глава 3, в которой автор разбирает примеры современного развития ИИ, такие как автономные автомобили, персональные помощники, умные вещи, домашние роботы. Он рассматривает, как они могут развиваться в будущем, ожидая, что умная машина будет осваивать все данные и знания мира мгновенно. На мой взгляд, действительность будет немного жёстче. Автор неявно полагает, что мышление человека в основном сводится к рассуждению, т. е. логическому выводу — довольно простой операции. На самом деле в мышлении огромную роль играют более сложные операции — обобщения и аналогии. Они требуют времени и перебора вариантов.
4. В главе 4 автор обращает внимание на негативные аспекты ИИ, связанные с тотальной слежкой и нарушением индивидуальной свободы. Завершается глава проблемами, связанными с заменой труда автоматами и элиминацией человека из производства. Здесь-то автор и показывает, вслед за Кейнсом, что это вовсе не страшно, — остается сфера развития человека и межличностных отношений. Сфера, о которой мы знаем на удивление мало и которая достойна приложения человеческих сил.
5. Проблемы взаимодействия человека и ИИ, говорит автор в главе 7, могут быть решены, если при создании ИИ вложить в него единственный интерес к максимальному удовлетворению потребностей человека, которые не формулируются в явном виде, а должны выявляться машинами.
6. Главы 8 и 9 посвящены анализу проблем, возникающих при выявлении предпочтений по поведению. Здесь математика уже касалась простейших случаев, связанных с рациональными решениями. Проблемы возникают из-за наличия разных предпочтений у разных людей, включая простую глупость и непростую злокозненность.
7. Последняя глава 10 — выражение надежды, что все образуется на намеченном пути.

Расселу удалось представить огромный круг идей и результатов в компактной форме. Автор прежде всего математик. Поэтому основное внимание уделено математическим построениям, точнее, их упоминанию в огромном количестве ситуаций:

• различные игры, прежде всего го и шахматы;
• модели конфликтных ситуаций, теория игр в обеих версиях — игры двух лиц и игры многих с их точками равновесия;
• упоминание моделей машинного обучения, прежде всего нейронных сетей как медиума обучения с подкреплением;
• логическая дедукция как в своем натуральном виде, так и овероятностненная через Байесовские сети;
• теория принятия решений;
• конструкции экономической теории.

В целом книга вызывает у меня чувство восхищения. Она читается как увлекательный роман. Редактирование ее перевода стало для меня удовольствием.

Лопнувшие пузыри в истории ИИ

В то же время, как активный научный работник в смежных областях компьютерных наук, я имею собственное представление о развитии работ в области ИИ. В некоторых случаях мои мнения резко контрастируют с мнениями Рассела. Остановлюсь на одном моменте — на двух «лопнувших пузырях» в истории ИИ, упоминаемых автором. Вот как о них пишет Рассел:

«Первый пузырь в разработке ИИ лопнул в конце 1960-х гг., когда начальные усилия в области машинного обучения и машинного перевода оказались не соответствующими ожиданиям. ...К середине 1980-х гг. ...ИИ переживал бурное возрождение, благодаря коммерческому потенциалу так называемых экспертных систем. Второй ИИ-пузырь лопнул, когда оказалось, что эти системы не отвечают многим задачам, для которых предназначены. Опять-таки, машины просто не были достаточно умными. ...Если бы сообщество разработчиков ИИ меньше сопротивлялось применению теории вероятности в начале 1980-х гг., то могло бы избежать "зимы ИИ", последовавшей после того, как лопнул пузырь этих экспертных систем».

Отрывок из книги «Совместимость»

Это описание, на мой взгляд, сильно сглаживает реальную историю, которая была значительно более драматичной. Дело не в том, что машины не были достаточно умны — они и сейчас неумны.

Первый пузырь

ИИ первоначально связывался исключительно с автоматизацией логических, дедуктивных утверждений. Первоначальная идея ИИ была такая — дайте нам хорошие аксиомы и удачные логические правила, а машина выведет все знания, связанные с этими аксиомами. При этом полностью игнорировалась теорема Гёделя о неполноте, утверждающая, что в любой сколь-нибудь выразительной формальной системе могут быть сформулированы такие утверждения, истинность которых нельзя проверить чисто логическим выводом. Практическое следствие этой теоремы — одной логики недостаточно, нужно сверяться с эмпирическими фактами.

Показательно, что Рассел вообще не упоминает эту теорему, хотя освещает данную тематику достаточно подробно. А зря — значение теоремы о неполноте несравненно выше значения теоремы о полноте. Естественно, что такая программа работ по ИИ провалилась практически сразу же — вот он, первый лопнувший пузырь. Хорошо помню чувство недоумения, которое я испытал где-то в конце 1970-х годов, получив от профессора Супписа, одного из персонажей, упоминаемых в книге, огромный том с окончательными отчетами о разработках по ИИ, проведенных его группой.

К сожалению, том не содержал никаких оригинальных результатов за исключением некоторых академических упражнений в математической логике. Гора родила мышь: было стыдно за профессора. Книга явно была заключительным аккордом, необходимым «результатом» по условию получения гранта, но результатов-то в ней и не было.

Второй пузырь

Что касается второго кризиса ИИ, это был не просто «лопнувший пузырь». Это было полное фиаско. В 2000 году меня попросили организовать группу из преподавателей Департамента компьютерных наук в Биркбек-Колледже Лондонского университета.

Оглядев свое немногочисленное, но очень разнородное «войско» я считал, что единственное объединяющее нас название — Искусственный Интеллект. Но такое название для группы тогда было немыслимо, настолько этот термин был опозорен.

Дело было вовсе не в том, что «сообщество разработчиков ИИ сопротивлялось применению теории вероятности». Разрабатывались же различные версии вероятностных логик. Сообщество ИИ хотело двигаться научным путем, и на дух не принимало решений предлагаемых анализом данных. Поясню это на примере проблемы перевода текста с русского языка на английский.

В исследованиях по ИИ XX в. эта проблема трактуется научным подходом в рамках исследований Natural Language Processing (NLP), что переводится как Обработка Естественного Языка. Согласно русскоязычной «Википедии», это направление «изучает проблемы компьютерного анализа и синтеза естественных языков. Применительно к ИИ анализ означает понимание языка, а синтез — генерацию грамотного текста». Такое моделирование включает в себя формализацию основных языковых конструкций — структура предложения, части речи, синтаксис и семантика, морфология, омонимы, синонимы и пр. Несмотря на серьезные теоретические продвижения, на практике эти конструкции не работают.

Продвижения есть на пути абсолютно ненаучном, в подходе науки о данных (Data Science). Подход науки о данных сильно отличается от научного подхода. Вместо того, чтобы пытаться разобраться в сути явления и понять его механизм, наука о данных ограничивается поверхностным анализом корреляций.

Применительно к тематике перевода это работает так. Если нужно перевести текст, набираются аналогичные тексты, уже переведенные кем-то. Тексты и их переводы нарезаются на м-граммы (фрагменты, состоящие из м-слов, где м обычно берется равным 3, 4 или 5), образующие источник данных. После этого для каждой м-граммы переводимого текста в источнике данных отыскиваются м-граммы, схожие с ней, и рассчитываются наиболее вероятные слова — они и предлагаются для перевода. Именно так устроен переводчик в Google.

Таким образом, дело не в том, что машины стали более умными, а в том, что сообщество исследователей ИИ поменяло стандарты научного исследования.

Подход науки о данных, еще несколько десятков лет назад считавшийся антинаучным, недавно вошел в число признанных методов ИИ. В связи с этим можно только пожалеть, что в книге отсутствует упоминание имен Гальтона и Пирсона, изобретших на стыке XIX–XX вв. практически все понятия, связанные с корреляцией.

В заключение еще раз выражу своё мнение. Книга Рассела — фундаментальное исследование проблемы ИИ, основанное на глубоком проникновении в связанные с ним аспекты на стыке совершенно разнородных дисциплин — морали, психологии, технологии, экономики, социологии, биологии, информатики. В отличие от марксистского манифеста, данный манифест предвещает реальное явление, нуждающееся в освещении. Хочется поздравить читателя с ценным приобретением.

Источник: www.alpinabook.ru

Комментарии: