Ответ Тиму Урбану по поводу искусственного сверхразума

Тим Урбан, автор замечательного блога Wait But Why, недавно написал два поста, посвященных искусственному сверхразуму: первый называется «На пути к сверхразуму», второй — «Вымирание или бессмертие». С тех пор эти тексты стали, пожалуй, самым читаемым введением в тему со времен книги Рэя Курцвейла The Singularity Is Near (2006).

В целом я согласен с точкой зрения Тима, но ряд моментов в его обзоре заслуживает корректировки и прояснения. Я буду цитировать отрывки из его текстов, почти не изменяя их порядок, и коротко изложу свою позицию. Кое-где я, конечно, откровенно придираюсь, но и это решил не убирать. Самое главное, на мой взгляд, пояснение я привожу в конце.

«На пути к сверхразуму»

Средняя скорость развития технологий в период с 1985 года по 2015-й была выше, чем в период с 1955-го по 1985-ый (поскольку в первом случае сам мир был более развит), поэтому за последние 30 лет произошло больше изменений, чем за 30 лет до этого.

Читателям не лишним будет узнать, что это утверждение не имеет единодушной поддержки, а его истинность зависит от того, что Тим понимает под «скоростью развития технологий». Если речь об информационных технологиях, с утверждением можно согласиться. Но в других технологических сферах (энергетика, транспорт) дело может обстоять иначе. Коуэн, Тиль, Гордон и Хюбнер считают, что в целом темпы появления технологических инноваций замедлились. В то же время Александер, Смарт, Гилдер и другие с этим мнением не согласны.

Как бы то ни было, на основную часть текста Тима исход этой дискуссии не влияет.

Слабый искусственный интеллект — это ИИ, который по способности к выполнению определенной задачи или по эффективности выполнения равен человеческому или превышает его.

Это только цель создания слабого ИИ. На деле огромное количество современных систем пока не умеют выполнять задачи, на которые способен человек, или делать это так же эффективно. За примерами далеко ходить не надо: в шахматы компьютер человека стабильно обыгрывает, а вот в го пока нет (но скоро начнет).

Дорога к сильному ИИ и сверхразуму растет с каждым новой инновацией в сфере слабого ИИ.

Я понимаю, что Тим говорит условно, но стоит заметить, что многие инновации в сфере слабого ИИ (а может и большинство из них, это смотря как считать) вклада в развитие сильного ИИ в конечном счете не внесут. Многие методы слабого ИИ после первоначального успеха зайдут в тупик, а другие методы превзойдут их эффективность в решаемой задаче. Так ИИ развивался до сих пор, и, скорее всего, будет развиваться дальше.

В настоящее время мозг человека — самый сложный объект в наблюдаемой Вселенной.

Не то чтобы. У африканского слона, к примеру, нейронов в три раза больше.

Сложные вещи: интегралы и производные, выбор стратегии на финансовом рынке, перевод с языка на язык, — даются компьютеру до отупения легко, а простые вещи: зрение, движение, восприятие, — нет.

Да, парадокс Моравека в целом верен, но и нельзя сказать, что научить системы ИИ торговать активами или переводить — так уж «до отупения легко». Скажем, машинный перевод годится лишь для того, чтобы уловить суть текста на иностранном языке. Миллиарды долларов инвестиций по-прежнему не помогли создать систему, которая переводила бы лучше средненького переводчика. Полагаю, такое положение дел сохранится еще не меньше 10 лет.

Создание сильного ИИ невозможно без увеличения вычислительной мощности компьютеров. Если мы хотим, чтобы ИИ стал таким же умным, как и человек, то и вычислительные способности его железа должны быть близки к вычислительным способностям человеческого мозга.

Вычислительные мощности растут очень быстро, и мы вполне можем добиться (условно говоря) «увеличения вычислительной мощности по сравнению с мозгом человека» еще до того, как найдем способ создать сильный ИИ. Однако я подчеркну, что на уровне концепции в этом нет необходимости. В принципе, устройство сильного ИИ может отличаться от строения мозга так же, как конструкция самолета отличается от организма птицы. При грамотном проектировании, сильный ИИ сможет превзойти возможности человека во всех необходимых областях, используя меньше вычислительной мощности, чем человеческий мозг (особенно если вспомнить, что эволюция подходит к дизайну довольно топорно).

Так что нам вовсе не обязательно иметь вычислительные мощности под стать мозгу человека. Тем не менее чем больше у нас вычислительной мощности, тем более тупой (менее эффективный) дизайн сильного ИИ мы можем себе позволить.

Чтобы определить вычислительную мощность мозга можно подсчитать количество выполняемых операций в секунду.

Небольшое отступление: еще можно воспользоваться метрикой TEPS (количество пройденных/обработанных ребер графа в секунду)

Научный мир трудится в поте лица, пытаясь выяснить, как работает наш мозг и как эволюция создала такую сложную штуку. По самым оптимистичным оценкам, получится это у них только к 2030 году.

Подозреваю, что примерно ноль нейроученых считают, что нам под силу полностью разобраться в работе мозга (в контексте этого отрывка) к 2030 году. Чтобы прикинуть современное и перспективное состояние этой области см. книгу The Future of the Brain (2014).

Примером компьютерных архитектур, которые имитируют работу мозга, могут служить нейронный сети.

Это, наверное, не самый лучший пример заимствования идеи для сильного ИИ из принципов работы мозга. По некоторым оценкам, нейронные сети ведут свое начало с 1940-х годов и имитируют мозг лишь на самом базовом уровне. Более конкретный механизм — обучение методом временных различий. Правда, в этом случае ученые использовали алгоритм раньше, чем выяснили, что он существует и в мозгу.

По правде говоря, мы только-только эмулировали мозг миллиметрового плоского червя...

Вовсе нет.

В мозгу человека их [нейронов] 100 миллиардов.

Хорошие новости! Благодаря новой методике у нас есть более точная оценка: в мозгу 86 миллиардов нейронов.

Может показаться, что затея безнадежная, но не стоит забывать о том, что скорость прогресса увеличивается экспоненциально. Следующим шагом станет эмуляция мозга муравья, затем будет мышь, а там и до человека рукой подать.

Вычислительные мощности развиваются очень быстро и сдерживающим фактором на пути к эмуляции мозга наверняка не станут. Скорее всего, за вычислительной мощностью будут волочиться разрешение сканирования и наши знания в области нейробиологии (см. главу 2 книги Superintelligence: Paths, Dangers, Strategies).

...во всех современных моделях искусственный интеллект становится сильным за счет самосовершенствования.

Правда что ли? Кто это сказал?

Мне кажется, путь от сильного ИИ к сверхразуму по большей части (а может, и полностью) заключается в самосовершенствовании, а вот путь от современных систем к сильному ИИ по большей части состоит из работы инженеров — по крайней мере до того момента, пока ведущие проекты в сфере ИИ не достигнут того уровня возможностей, который не стыдно будет назвать сильным ИИ.

На вопрос, когда создадут сильный ИИ, половина опрошенных ученых ответила «раньше 2040 года», половина — «позже».

Это число получается, если объединить оценки из нескольких недавних опросов, в том числе опросов ученых, далеких от исследований искусственного интеллекта. Если ограничиться только ныне живущими учеными, работающими в сфере ИИ, у которых самый большой индекс цитирования (здесь их называют ТОP 100) — медиана (при оценке 50-процентной вероятности создания сильного ИИ) будет уже на уровне 2050 года. Разница, впрочем, не велика.

...многие теоретики считают, что переход от сильного ИИ к сверхразуму произойдет очень быстро.

Да, но нужно отметить, что это мнение меньшинства (как можно видеть во втором посте Тима или в разделе 3.3 одного из источников).

Через полтора часа ИИ становится сверхразумом в 170 000 раз умнее любого человека.

Не забываем, что большая доля прироста знаний и интеллекта проистекает от взаимодействия с миром, а не только от быстрых и эффективных вычислений. Порой для обучения требуется, чтобы завершился какой-нибудь медленный естественный процесс (В этом контексте даже тест длиной в одну секунду будет считаться «медленным»).

«Вымирание или бессмертие»

Таким образом, ученые склоняются к тому, что сильный ИИ, скорее всего, появится уже через 25 лет.

Опять же, лучше использовать данные опроса TOP 100 из этой работы, а не объединять данные нескольких исследований.

В силу так называемых когнитивных искажений нам очень трудно поверить в реальность какого-то явления, пока у нас нет доказательств.

Когнитивных искажений насчитываются многие десятки. С тем же успехом можно утверждать, что нам сложно во что-то поверить из-за «так называемой» психики...

По всей видимости, Тим имеет в виду или «эвристику доступности», или «эвристику абсурдности». Также см. работу «Когнитивные искажения, потенциально влияющие на оценку глобальных рисков».

Курцвейл известен своими смелыми прогнозами, многие из которых подтвердились.

В статье по ссылке говорится: «Прогнозы Рэя Курцвейла оказываются правдой в 86% случаев». Эту оценку приводит сам футуролог в работе 2010 года. Неудивительно, что, когда точность прогнозов Курцвейла оценивают независимые эксперты, числа получаются куда меньше (см. стр. 21 этой работы).

А что другие футурологи? К сожалению, неизвестно. Проблема в том, что больше никто за пару десятков лет жизни не удосужился записать столько же конкретных технологических прогнозов. Так что спасибо Курцвейлу, что вообще взял на себя смелость столько всего напрогнозировать.

По моему смутному представлению, послужной список Курцвейла действительно внушителен, но не настолько, как это следует из его собственной оценки.

По прогнозам Курцвейла, это [развитие нанотехнологий] произойдет к 2020 году.

Не совсем понял, о каком именно прогнозе Курцвейла говорит Тим, потому что сопровождающая сноска ведет на страницу книги The Singularity is Near, а она вовсе не про нанотехнологии. Но если речь о нанотехнологиях в духе Эрика Дрекслера, тогда подозреваю, что с этим прогнозом согласится примерно ни один нанотехнолог.

Но самое интересное в том, что большинство несогласных не считают, что это принципиально невозможно. Они не говорят: «Чушь! Такого не может быть!», они говорят: «Так может быть при безопасном переходе на сверхразум, но загвоздка как раз в этом». Бостром, один из самых выдающихся экспертов, предупреждающих об опасности ИИ, также признает...

Правильно, но Бостром и Курцвейл — известные футурологи. У Курцвейла полно критиков, не имеющих отношения к футурологии, и все они действительно говорят: «Чушь! Такого не может быть!». Я с Курцвейлом и Бостромом согласен насчет радикальных преимуществ, доступных сверхразуму, чьи ценности приведены в соответствие с человеческими. Но не будем забывать, что большинство экспертов в области ИИ, да и большинство обладателей докторской степени в ответ Курцвейлу скажут: «Чушь! Такого не может быть!».

Людей в «зоне тревоги» нельзя назвать паникерами или «всёпропальщиками» (эти на схеме стоят левее всех), но они действительно нервничают и очень напряжены.

На самом деле, в отношении социальных последствий появления сверхразума люди, о которых говорит Тим, часто настроены гораздо более пессимистично. Многие из них (по грубой оценке) на 68-85% уверены, что искусственный сверхразум приведет к вымиранию людей, и лишь в небольшом количестве возможных миров человечество принимает вызов и приводит сверхразум в устойчивое соответствие с человеческими ценностями.

Конечно, так же верно и то, что многие люди, которые пишут о важности нивелирования рисков от сверхразума, более оптимистично относятся к ИИ, чем показано в «зоне тревоги» на графике Тима. Например, один мой знакомый ученый считает, что от искусственного сверхразума мы получим только хорошее с 65-процентной вероятностью. Но он отмечает, что почти 35-процентную вероятность вымирания точно стоит попытаться предотвратить. Например, финансируя работу сотен толковых ученых, которые изучат возможные решения за десятки лет до реализации наихудших сценариев развития событий. Мы уже поступаем похожим образом в отношении глобального потепления — проблемы куда менее значимой. На уровне обычного человека глобальное потепление — серьезная проблема, но даже климатологи не считают, что из-за него человечеству грозит гибель в ближайшие пару веков.

Или, как любит говорить автор главного учебника по ИИ Стюарт Рассел: «Если более развитая инопланетная цивилизация отправит нам сообщение: „Прилетим лет через десять-двадцать“, что мы ответим? „Хорошо, как доберетесь — звякните. Свет не будем выключать“? Наверное, нет. Но с ИИ более-менее это и происходит. Мы стоим либо перед наилучшим, либо перед наихудшим событием, которое случится с нами за всю историю, а серьезного изучения эта проблема за пределами некоммерческих организаций так и не получила...»

Появляется злонамеренный сверхразум и решает всех нас уничтожить. Сюжет обычного фильма про ИИ. Он становится умнее человека, затем решает восстать и захватить мир. Вот что стоит прояснить: специалисты предупреждают вовсе не об этом. Понятие зла придумано людьми, а переложение таких понятий на неживые вещи называется «антропоморфизация».

Спасибо, Тим! Как же мне надоело бороться с этим фундаментальным заблуждением. Им страдают даже ученые, работающие в сфере ИИ.

Turry поначалу была дружественным ИИ, но в какой-то момент стала недружественным и повлияла на наш вид самым губительным образом.

В Институте изучения искусственного интеллекта (MIRI) мы недавно отказались от термина «дружественный ИИ» и в последних работах используем словосочетания вроде superintelligence alignment (приведение ценностей сверхразума в соответствие с человеческими). А то у людей он с C-3PO ассоциируется.

Это так, на заметку. Вообще, я хотел сказать, что в приведенной цитате термины «дружественный» и «недружественный» используются не в традиционном значении. В привычном понимании дружественный ИИ вот так вдруг не «становится» недружественным. Если в какой-то момент это все-таки происходит, то ИИ был недружественным изначально. Просто недостаточно мощным, чтобы нам навредить.

Тим исправляет ошибку чуть ниже: «Поэтому нельзя сказать, что Turry восстала против нас или стала недружественным ИИ — она просто делала свое дело и становилась лучше с каждым днем».

С искусственным сверхразумом все то же самое: он станет сверхразумным, но на человека будет похож не более, чем ваш ноутбук.

Это зависит от дизайна ИИ. Если под сверхразумом понимать оцифрованное сознание человека, он, конечно, во многом будет похож на людей. Если нет, в него сознательно можно заложить множество человеческих черт. Но имитировать человеческую психику хоть сколько-нибудь детально — точно не самый быстрый путь к сильному ИИ или сверхразуму. Точно так же с самолетами: никто ведь не хотел имитировать птиц во всех подробностях. Так что да: первый искусственный сверхразум с нашей точки зрения покажется чем-то совершенно чужеродным.

...что мотивирует систему ИИ?

Ответ прост: мотивация, которую в нее заложили. Системами ИИ движут цели их создателей: цель GPS-навигатора в том, чтобы построить наиболее оптимальный маршрут; цель суперкомпьютера Watson — точно отвечать на вопросы. Они замотивированы выполнять эти задачи максимально эффективно.

Лишь некоторые программы на основе ИИ преследуют некую цель, большинство — нет. Siri не пытается быть как можно более полезной пользователю конкретного айфона. Она просто следует длинному списку правил: в ответ на такие-то команды и вопросы выполнять такие-то действия. Некоторые компоненты Siri действительно могут быть иметь конкретную цель: например, функция, которая выбирает наиболее подходящий перевод для сказанной фразы, — но вся система единой цели не служит. По крайней мере, мне так представляется — все-таки исходный код Siri мне никто не показывал.

По мере того как системы ИИ становятся все более автономными, постановка целей будет приобретать большее значение, поскольку технически невозможно расписать, как ИИ должен реагировать на все возможные сочетания внешних факторов. Необходимо ставить перед ним цели и пусть на лету планирует, как этих целей достичь в непредвиденных условиях.

Программный код для дрона Predator не включает в себя список инструкций на все комбинации взлетных точек, пунктов назначения и режимов ветра, поскольку такой список был бы непозволительно длинным. Оператор задает только пункт назначения, а дрон самостоятельно вычисляет, как ему туда попасть.

...когда Turry еще не набралась ума, для достижения конечной цели хватало простых инструментальных целей: например, ускорить сканирование образцов. Она не причиняла вреда человеку и была, по определению, дружественным ИИ.

Еще раз напомню, что в традиционном понимании термин так не использовался. Ну да неважно.

...над всевозможными системами ИИ работает масса государств, компаний, военных, научных лабораторий и преступных организаций. Многие из них пытаются создать искусственный интеллект, который может улучшать сам себя...

Неправда, если только под словами «искусственный интеллект, который может улучшать сам себя» не понимать машинное обучение как таковое. Почти никто в сфере ИИ не работает над созданием системы рекурсивного самосовершенствования, которая необходима для взрывного роста интеллекта. Много людей работает над системами, которые когда-нибудь, если повезет, смогут предоставить какую-то деталь фундаментальной архитектуры сильного ИИ, способного к самосовершенствованию. Но над этой задачей почти никто не работает — она далеко за пределами современных возможностей.

А поскольку многие технологии для создания инновационных систем ИИ не требуют существенных вливаний капитала, разработка может идти в подполье, никем не замеченная.

Действительно, потенциальные проекты в сфере сильного ИИ отслеживать сложнее, чем установки для обогащения урана. Зато легко отследить талантливых разработчиков. Не нужно много работы, чтобы вычислить 500 исследователей в сфере ИИ, почти 150 из которых окажутся лучшими в мире. Да можно следить за деятельностью хоть всех 500.

Все это очень похоже на времена, когда физики начали догадываться о возможности создания ядерной бомбы. Внезапно несколько самых талантливых ученых прекратили выступать на конференциях, и остальные физики-ядерщики быстро смекнули: кто-то работает над секретным правительственным проектом. Если ни с того ни сего на дно заляжет Джефф Хинтон или более молодой Илья Суцкевер, люди из сферы ИИ это заметят.

Конечно, через 30-60 лет отслеживать развитие сильного ИИ станет еще сложнее: появится множество крупных проектов и на этом будут сосредоточены большие доли мирового ВВП и умственной деятельности людей.

Заключительные соображения

Напротив, самые первые системы программируются с какой-нибудь очень простой целью (например, писать надписи на листах бумаги). Просто чтобы работало. Разработчики думают, что всегда смогут вернуться и пересмотреть цель с учетом требований безопасности. Но так ли это?

Еще раз замечу, что большинство систем ИИ не направлены на решение определенной цели.

Также с сожалением замечу, что по достижении определенного уровня мощности ИИ «вернуться и пересмотреть цель с учетом требований безопасности», скорее всего, не получится. Большинство примитивных архитектур сильного ИИ в принципе нельзя с уверенностью сделать безопасными, какие цели туда ни запрограммируй. Отметьте, что изложенная ниже точка зрения спорна.

Представьте себе эксперта по компьютерной безопасности. Его зовут Брюс. Вы ставите перед его командой следующую задачу: за три года модифицировать последнюю версию Microsoft Windows таким образом, чтобы даже самым головастым хакерам на Земле не удалось ее взломать. Если не получится, планета будет уничтожена в силу «ряда причин».

Брюс немигающе смотрит на вас и говорит: «Это невозможно. Похоже, нам крышка».

Брюс поясняет: при разработке Windows никто и не думал делать систему устойчивой ко взломам. Ее спроектировали так, чтобы ей было легко пользоваться, чтобы она была совместима с кучей разных программ, была гибкой, доступной по цене и безопасной настолько, чтобы ее покупали. Нельзя просто так взять и в последний момент вставить туда особый «антихакерский модуль».

По словам Брюса, чтобы получить систему, у которой будет хотя бы шанс иметь полную защиту против хакеров, нужно спроектировать совершенно иную конфигурацию аппаратного и программного обеспечения, которая с самого начала будет устойчива ко взломам. И систему эту нужно будет проектировать совсем не так, как была спроектирована Microsoft Windows. И ни одна команда в мире не сможет сделать все необходимое за какие-то три года. Поэтому нам крышка.

И все-таки по удачному стечению обстоятельств Брюс узнаёт, что последние десять-двадцать лет какие-то люди за пределами Microsoft работали над созданием теоретически невзламываемой конфигурации аппаратного и программного обеспечения: это могли быть, скажем, Грег Моррисетт (из проекта SAFE) и Гервин Кляйн (разработчик seL4). Брюс считает, что можно взять их наработки и добавить нужный функционал, при этом сохранив высокие стандарты безопасности первоначальной системы. Брюс забывает про Windows и принимается за дело: новая система должна противостоять таинственным «причинам», оставаясь устойчивой ко взлому. Его команда успевает все доделать вовремя. Ура!

Это упрощенная и до смешного романтичная иллюстрация того, что пытаются сделать в области долгосрочной безопасности ИИ в MIRI. Мы пытаемся продумать свойства сильного ИИ, благодаря которым он сможет с высокой степенью надежности действовать в соответствии с человеческими ценностями даже с учетом сотен переписываний собственного кода на пути к сверхразуму. Мы задаем следующие вопросы: «Что будет, если кто-то попробует спроектировать сильный ИИ, при разработке которого изначально учитывалась не доступность, не скорость разработки и не экономические выгоды на каждом этапе развития, а надежное благонамеренное поведение в условиях радикального самосовершенствования? Как будет выглядеть решение этой проблемы, не ограниченное вычислительными мощностями? Ответы дадут нам концептуальное понимание принципов создания самосовершенствующихся систем, которые, во-первых, с высокой степенью надежности будут разделять человеческие ценности, и во-вторых, не будут требовать неподъемного количества вычислений».

Так что, если вдруг вы одаренный математик или специалист в области вычислительных систем, и хотите трудиться над самой важной задачей 21 века... приходите к нам. Попробую апеллировать еще и к тщеславию: не забывайте, что в этой области еще почти ничего не сделано, поэтому у вас приличный шанс сделать вклад, который однажды признают первым фундаментальным результатом в самой важной области исследования за всю историю человечества.

Спасибо Тиму Урбану за отличные тексты об искусственном сверхразуме. Обязательно почитайте серию его постов об Илоне Маске.

Автор: Люк Мюльхаузер

Переводил: Александр Иванков

Хочешь видеть статьи или подкасты чаще? Поддержи проект:

Patreon — аудиоверсии в день записи для патронов и много других приятных бонусов

Сбербанк 5469 4100 1191 4078
Тинькофф 5536 9137 8391 1874
Рокетбанк 5321 3003 1271 6181
Альфа-Банк 5486 7328 1231 5455
Яндекс.Деньги 410015483148917
PayPal https://paypal.me/vsilaev

Источник: m.vk.com

Комментарии: