Николай Аблязов. "Технологическая сингулярность. Исследование предпосылок возникновения и последствий для человечества"

Введение

Техника вошла в нашу жизнь очень давно, и важность её несомненна. Изучением феномена техники занимались многие философы, занимаются и сейчас. Мартин Хайдеггер, размышляя о современных феноменах, в частности, о феномене техники, рассматривал явления, которые не происходят сейчас. Он рассматривал возможные явления, в перспективе. Существующее положение дел Хайдеггер оценивает негативно. Анализируя технику, он показывает, что трактовка её и как нейтрального феномена, и как средства деятельности, закрывает нам возможность понять сущность техники, скрывает возможность сознательно воздействовать на неё. Хайдеггер говорит, что «худшим образом мы отдаемся во власть техники тогда, когда рассматриваем ее как нечто нейтральное; ведь такое представление о технике, ныне особенно распространенное, делает нас совершенно слепыми в отношении сущности техники»[1]. Он вводит трактовку техники как «постава» (всякая техника рассматривается как функциональный элемент поставляющего производства), показывая затем, что человек и природа сами превращаются в постав и тем самым блокирует привычное для нас убеждение, что человек стоит над техникой и природой и что техника не влияет на природу.

Негативную оценку техники Хайдеггер выражает в следующих словах: «Опасна не техника сама по себе. Нет никакого демонизма техники; но есть тайна ее существа. Существо техники как миссия раскрытия потаенности — это риск. Измененное нами значение слова “постав”, возможно, сделается нам немного ближе, если мы подумаем теперь о поставе в смысле посланности и опасности»[1]. Хайдеггер стремится показать, что техника не является чем-то внешним к бытию, а совпадает с ним. Поэтому для того, чтобы повлиять на технику в нужном направлении, нужно менять и само бытиё: «Если существо техники, постав как риск, посланный бытием есть само бытие, то технику никогда не удастся взять под контроль просто волевым усилием, будь оно позитивное и негативное. Техника, чье существо есть само бытие, никогда не даст человеку преодолеть себя. Это означало бы, что человек стал господином жизни» [1]. Но тут же утверждает, что и без сознательных усилий человека техника не может измениться. Можно сказать, что необходимым условием осмысленного воздействия на технику является, по Хайдеггеру, работа человека над собой: человек должен вспомнить и понять свои высшие ценности, чтобы подчинить им ценности не столь высокие: комфорта, власти над природой и т.п.

Проблема, поднятая Хайдеггером, очень сложна. Её нельзя решить только техническими методами. Проблема сосуществования человека и техники волнующа и сейчас. Есть немало работ, вышедших в свет относительно недавно, затрагивающих эту тематику. Анализу одной из таких статей, перекликающейся с основными идеями Хайдеггера, изложенными выше, посвящён данный реферат.

В 1993 году на симпозиуме VISION-21, который проводился в 1993 году Центром космических исследований NASA им. Льюиса и Аэрокосмическим институтом Огайо, была представлена статья «Грядущая технологическая сингулярность: как выжить в пост-человеческую эру» (The Coming Technological Singularity: How to Survive in the Post-Human Era) [2]. Автором доклада был математик и писатель Вернор Виндж (Vernor Vinge). В 2003 году автор дополнил эту статью некоторыми комментариями. Статья была написана более десяти лет назад, но актуальна до сих пор. Те комментарии, которые внёс автор спустя десять лет после первоначального написания, лишь дополняют первоначальную статью.

 Основываясь на переводе этой статьи с комментариями[3] и на некоторых других источниках, в этом реферате я хотел бы уделить внимание следующим вопросам: что такое «технологическая сингулярность», как она может повлиять на человечество, как человечество может повлиять на неё, имеет ли смысл уделять ей какое-либо внимание, относиться к ней как к религии или как к научной (псевдо-научной) теории.

Что такое Сингулярность?

Термин сингулярность (лат. singularis – отдельный, особый) заимствован у астрофизиков, которые используют его при описании космических черных дыр и, в некоторых теориях, начала вселенной – точки с бесконечно большими массой и температурой и нулевым объемом. Математически сингулярность ­– точка функции, значение функции в которой стремится к бесконечности, либо другие подобные "интересные" точки. Какое же отношение может иметь понятие сингулярности к технологии?

Одной из особенностей XX века является ускорение технического прогресса. Человечество стоит на грани перемен, которые сравнимы с появлением разумного человека на земле. Главная причина этих перемен в том, что совершенствование и развитие техники приводит к тому, что техника становится всё более изощрённой и «умной». Всё это ведёт к созданию сущности с интеллектом, превышающим человеческий. Видится несколько путей,  по которым наука может достичь такого прорыва:

1.      Компьютеры обретут "сознание", и возникнет сверхчеловеческий интеллект. (В настоящее время нет единого мнения о том, сумеем ли мы создать машину, равную человеку, однако, если это получится, несомненно, вскоре затем можно будет сконструировать еще более разумные существа).

2.      Крупные компьютерные сети (и их объединенные пользователи) могут "осознать себя" как сверхчеловечески разумные сущности.

3.      Машинно-человеческий интерфейс станет настолько тесным, что интеллект пользователей можно будет обоснованно считать сверхчеловеческим.

4.      Биология может обеспечить нас средствами улучшения естественного человеческого интеллекта.

Первые три возможности напрямую связаны с совершенствованием компьютерного аппаратного обеспечения. Четвёртая возможность также зависит от этого, хотя и косвенно. Прогресс аппаратного обеспечения на протяжении уже нескольких десятилетий поразительно стабилен. Исходя из этой тенденции, автор статьи делает выводы, что интеллект, превосходящий человеческий, появится в течение ближайших тридцати лет. На этот счёт, конечно же, можно легко найти остроумную критику. Чарльз Плат, например, заметил, что энтузиасты искусственного интеллекта делают подобные утверждения уже как раз лет тридцать. Поэтому Виндж указывает более строгие временные рамки: это должно случиться между 2005 и 2030 годами. Заявление это было сделано ещё в 1993 году, а в 2004 автор, дополняя свою статью комментариями, подтвердил свою уверенность в этих сроках. Полагаю, что одним из признаков, использующихся для получения этой даты, был закон Мура, гласящий: количество транзисторов на новых кристаллах микропроцессоров удваивается каждые полтора года. Как раз между 2015–2030 годами вычислительная мощность компьютеров сравняется с мощью человеческого мозга, оцениваемой в 1016 операций в секунду (а затем превзойдёт её) [4]. Кроме того, далее по тексту статьи Вернон Виндж ссылается на некие кривые роста производительности. Похоже, что они имею гиперболический вид, а особая точка как раз приходится на указанный период.

Возникает вопрос: каковы будут последствия научного прорыва и появления сверхчеловеческого разума? Автор статьи даёт свой ответ на этот вопрос. Прогресс, направляемый интеллектом, превосходящим человеческий, станет значительно более стремительным. Нет оснований полагать, что прогресс не станет плодить всё более разумные сущности ускоряющимися темпами. Лучшая аналогия, которую можно здесь провести – наше эволюционное прошлое. Животные могут приспособиться и проявлять изобретательность, но скорость эволюции ограничена естественным отбором. В случае естественного отбора мир сам выступает в роли собственного симулятора. Мы, люди, обладаем способностью усваивать окружающий мир и выстраивать у себя в голове причинно-следственные связи, поэтому мы решаем многие проблемы в тысячи раз быстрее, чем механизм естественного отбора. Когда же появится возможность просчитывать эти модели с более высокими скоростями, мы войдём в режим, который отличается от нашего человеческого прошлого не менее радикально, чем мы, люди, сами отличаемся от низших животных.

Событие это девальвирует весь свод человеческих законов за ненадобностью. Возможно, это произойдёт очень быстро. Изменения будут развиваться по экспоненте без всякой надежды на восстановление контроля над ситуацией. Это событие Виндж назвал Сингулярностью (именно так, с большой буквы). «Это точка, в которой наши старые модели придётся отбросить, воцарится новая реальность. Это мир, очертания которого будут становиться всё четче, надвигаясь на современное человечество, пока эта новая реальность не заслонит собой окружающую действительность, став обыденностью. И всё же, когда мы такой точки, наконец, достигнем, это событие все равно станет великой неожиданностью и ещё большей неизвестностью». (Здесь и далее, если не указано обратное, источником цитаты является рассматриваемая статья.)

Великий учёный в области вычислительной техники Джон фон Нейман вел однажды беседу со Стэном Юламом «…о непрерывно ускоряющемся техническом прогрессе и переменах в образе жизни людей, которые создают впечатление приближения некоторой важнейшей сингулярности в истории земной расы, за которой все человеческие дела, в том виде, в каком мы их знаем, не смогут продолжаться»

В середине двадцатого столетия, в шестидесятые годы, Ирвинг Джон Гуд писал: «Определим сверхразумную машину как машину, которая способна значительно превзойти все интеллектуальные действия любого человека, как бы умён тот ни был. Поскольку способность разработать такую машину также является одним из этих интеллектуальных действий, сверхразумная машина может построить ещё более совершенные машины. За этим, несомненно, последует "интеллектуальный взрыв", и разум человека намного отстанет от искусственного. Таким образом, первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать ее под контролем... И вероятность того, что в двадцатом веке сверхразумная машина будет построена и станет последним изобретением, которое совершит человек, выше, чем вероятность того, что этого не случится»

Чтобы далее не спекулировать на тему искусственного интеллекта, бросаясь голословными утверждениями, необходимо сделать небольшой экскурс в проблему изучения искусственного интеллекта, а главное, проблему определения искусственного интеллекта.

Что такое искусственный интеллект

Для ответа на вопрос «Что такое искусственный интеллект», я обратился к введению к монографии Петрунина Ю.Ю. «От тайного знания к нейрокомпьютеру: Очерки по истории искусственного интеллекта»[5]. В ней представлен на редкость полный и объективный взгляд на проблему реализуемости искусственного интеллекта.

 По поводу искусственного интеллекта в кругу специалистов по данному вопросу постоянно возникают споры при любом удобном случае. Главный вопрос, который при этом возникает: возможен ли искусственный интеллект? Можно ли научить машину думать? Верите ли Вы в возможность создания искусственного интеллекта? Во всех этих вопросах употребляется модальность верования, из чего можно заключить, что вопрос об искусственном интеллекте выходит за рамки научного. Патрик Уинстон, один из крупнейших авторитетов в этой области, сказал: «Относительно разума вычислительных машин… имеется много ходячих мифов» [6]. Можно сказать, что сам термин «искусственный интеллект» означает миф, который широко проник в современное  обыденное и научное сознание. В данном случае миф подразумевается не как ложность некоего представления, а как то, что это представление не может быть проверено эмпирически и рационально обосновано.

Для эмпирической проверки необходимо чёткое представление о том, что именно проверять, т.е. чёткое представление о том, что такое искусственный интеллект. Но по этому поводу А. Эндрю замечает: «По существу, последний так и не получил достаточно удовлетворительного определения. Поэтому, … в конечном счёте, нам придётся вернуться к нашему интуитивному представлению об интеллекте» [7].

Реферативный журнал «Abstracts in Artificial intelligence» (The Turing institute, ed. J. Ritchie) вводит следующее разделение искусственного интеллекта на проблемы:

1. Экспертные системы

2. Применение искусственного интеллекта

3. Автоматическое программирование

4. Автоматическое доказательство  теорем

5. Логическое программирование

6. Обучение

7. Естественный язык

8. Поиск

9. Управление и планирование

10. Робототехника

11. Зрение и обработка изображений

12. Распознавание образов

13. Когнитивное моделирование

14. Взаимодействие человека и ЭВМ

15. Технические средства для искусственного интеллекта

Список достаточно внушительный. Задачи очень разные. Что же их объединяет?

«Если бы физики или химики взялись дать абстрактные определения своих областей знания, – подчёркивает Э. Хант, ­– то скорее всего не нашли бы разногласий ни среди тех, ни среди других. Вряд ли бы обнаружилось такое единодушие, если бы пришлось собрать вместе разных учёных, занимающихся искусственным интеллектом» [8].

Существует немало определений искусственного интеллекта. Но они все настолько различны, что кажется, будто речь идёт о разных вещах. Так, одни считают, что интеллект – это умение решать сложные задачи, другие – способность к обучению, третьи – возможность взаимодействия с внешним миром путём обобщения восприятия. Есть учёные, которые развивают теоретическую модель, в которой за осуществление интеллектуальной деятельности отвечает около 120 факторов. Из них только 50–60 известны сегодня [9].

Одним из кажущихся выходов из сложившейся ситуации является обращение к естественному интеллекту как к эталону. Можно было бы сказать, что машина обладает интеллектом, если то задание, которое она выполняет, потребовало бы от человека, будь человек на месте машины, интеллектуальных усилий. Хорошее утверждение? К сожалению, проверяя его, легко прийти к абсурду: при выполнении арифметических действий человек использует свой интеллект – это ни у кого не вызывает сомнений, но утверждение, что обыкновенный калькулятор обладает интеллектом не примет никто.

В 1950 году британский математик и специалист в области вычислительной техники Алан Тьюринг предложил тест, который позволяет определить, является ли испытуемое нечто думающим или нет. Суть теста состоит в следующем. Судья (человек) переписывается на естественном языке с двумя собеседниками, один из которых – человек, другой – компьютер. Если судья не может надёжно определить, кто есть кто, компьютер прошёл тест. Предполагается, что каждый из собеседников стремится, чтобы человеком признали его. Для того чтобы сделать тест простым и универсальным, переписка сводится к обмену текстовыми сообщениями. Переписка должна производиться через контролируемые промежутки времени, чтобы судья не мог делать заключения исходя из скорости ответов. Это связано с тем, что во времена Тьюринга компьютеры реагировали медленнее человека. Сейчас это правило необходимо, потому что они реагируют гораздо быстрее, чем человек. Тест был инспирирован салонной игрой, в ходе которой гости пытались угадать пол человека, находящегося в другой комнате, путём написания вопросов и чтения ответов. В оригинальной формулировке Тьюринга, человек должен был притворяться человеком противоположного пола, а тест длился 5 минут. Сейчас эти правила не считаются необходимыми и не входят в спецификацию теста.

В 1964 году крупным американским кибернетиком Дж. Вейценбаумом была создана программа «Элиза» (ELIZA), имитирующая поведение психиатра. Пациенты, с которыми беседовала эта программа, в большинстве случаев были уверены, что общаются с врачом. Тем не менее, успех этой программы никого не может заставить считать её искусственным интеллектом. Не были выполнены серьёзные условия прохождения теста – испытатели не были поставлены в известность, что они сейчас проводят испытание.

Пока что ни одна программа и близко не подошла к прохождению теста. Такие программы, как «Элиза», иногда заставляли людей верить, что они говорят с человеком, как, например, в неформальном эксперименте, названном AOLiza. Но такие «успехи» не являются прохождением теста Тьюринга. Во-первых, человек в таких беседах не имел никаких оснований считать, что он говорит с программой, в то время как в настоящем тесте Тьюринга человек активно пытается определить, с кем он беседует. Во-вторых, документированные случаи обычно относятся к таким чатам, как IRC, где многие беседы отрывочны и бессмысленны. В-третьих, многие пользователи IRC используют английский как второй или третий язык, и бессмысленный ответ программы, вероятно, спишется ими на языковый барьер. В-четвертых, многие пользователи ничего не знают об Элизе и ей подобных программах и не могут распознать совершенно нечеловеческие ошибки, которые эти программы допускают.

Против теста Тьюринга было выдвинуто несколько возражений:

1.      Машина, прошедшая тест, может не быть разумной, а следовать какому-то хитрому набору правил. (Распространённое контрвозражение: откуда мы знаем, что человек не следует какому-то хитрому набору правил?)

2.      Машина может быть разумной и не умея разговаривать, как человек

3.      Некоторые вполне разумные люди провалят этот тест (например, маленькие дети или неграмотные)

4.      Если тест Тьюринга и проверяет наличие разума, то он не проверяет сознание (consciousness) и свободу воли (intentionality), тем самым не улавливая важных различий между разумными людьми и разумными машинами.

Ежегодно производится соревнование между разговаривающими программами, и наиболее человекоподобной, по мнению судей, присуждается приз Лебнера (Loebner). Есть дополнительный приз для программы, которая, по мнению судей, пройдёт тест Тьюринга. Этот приз ещё не присуждался.

Но это ещё не всё, ситуация запутана ещё сильнее. Если компьютер будет в состоянии читать какой-либо текст и делать краткий обзор его, будет ли эта машина считаться разумной? Так может спросить учёный, занимающийся искусственным интеллектом, у критика. И критик, скорее всего, ответит с уверенностью положительно. Но если ему показать такую программу, а затем, на свою беду, позволить посмотреть на её текст, на то, как она работает, да и вообще, дать разобраться в ней как следует, то программе в интеллектуальности будет отказано. По этому поводу очень хорошо сказал П. Уинстон: «Быть интеллектуальным – значит быть загадочным. Как он [Он – это некий безличный субъект, проявивший смекалку] мог до этого дойти? – спрашиваем мы. До тех пор, пока происхождение идеи остаётся неясным, она выглядит как откровение, но как только на поверхность выходит её объяснение, мы удивляемся: “Как это я об этом не подумал, ведь это так очевидно!” Когда процесс окажется разделённым на части, изученным и понятным, похоже, что интеллект исчезает»[10].

Понятие интеллекта кажется неуловимым. «На самом деле, дать определение, – резюмирует свои соображения П. Уинстон, – в обычном смысле этого слова, по-видимому, невозможно»[10]. А Мичи и Джонсон замечают весьма остроумно: «За неимением более точного определения машинного интеллекта его можно охарактеризовать словами: “Точного определения я дать не могу, но всегда смогу узнать, когда увижу”»[11]. Мне это определение кажется наиболее симпатичным, хотя и несколько комичным. Похоже, что ничего более чёткого и ясного всё равно не предвидится. А для данного реферата определение это подходит, на мой взгляд, очень хорошо.

В заключение этого небольшого экскурса в проблему искусственного интеллекта, хочу отметить, что слова «искусственный интеллект», «механический мозг», «машинный разум» употребляются сейчас очень часто, из-за этого мы не замечаем парадоксальность этих словосочетаний. Действительно, слово «машинный» означает нечто механическое, бессознательное, непроизвольное, строго повторяющееся. «Интеллект» означает нечто оригинальное, творческое, неформализуемое, непредвидимое, неподчиняющееся никаким правилам. Получается, что в одном словосочетании слились два противоположных по смыслу понятия. «Холодное пламя», «тёмный свет» – вот примеры подобных словосочетаний. Их обычно можно встретить в поэзии, художественной литературе. Как вообще может быть осмысленным определение «искусственный интеллект», если оно, по сути, есть contradicto in adjecto (противоречие в определении)? Но развивать эту тему мы уже не будем.

Симптомы Сингулярности

Итак, в 60-е – 80-е годы двадцатого столетия осознание того, что грядёт какой-то катаклизм, росло. Вероятно, первыми почувствовали его влияние писатели фантасты. Ведь именно научной фантастике полагается предсказывать, чем обернётся та или иная технология в будущем. Если ранее воображение легко переносило на миллионы, миллиарды лет вперёд (например, «Машина времени» Герберта Уэллса), то теперь наибольшее количество прогнозов относится к ближайшему завтра. Неизвестному завтра! Писатели изобрели множество уловок для того, чтобы не связываться с разумными машинами в своём сюжете. Так или иначе их делают неопасными. Для меня наиболее обескураживающим ходом было наделение машин солипсизмом в том смысле, что они не верят в реальность окружающего мира, в события, происходящие с ними, поэтому легко подчиняются человеку.

Машинный разум до сих пор не создан. Критики машинного разума часто заявляют, что искусственным интеллектом занимаются уже очень давно, а он так и не получен. Но, вероятно, уж такова природа человека, что он любит забывать, что же он хотел получить изначально. Так, многие задачи, которые относятся к искусственному интеллекту так или иначе уже решены. Например, задача распознавания образов давно уже вышла из области чисто научных исследований. Существует несколько коммерческих продуктов, занимающихся распознаванием печатного текста (ABBYY FineReader), рукописного текста (Paragon PenReader). Эти продукты с первоначально поставленными задачами вполне справляются. Только вот люди хотят от них всё большего и большего. Хотят не 90% качества распознавания, а 95%. Когда достигается этот рубеж, они хотят 99% и так далее. И всё время недовольны! Говорят, что всё плохо и неправильно, можно распознавать лучше, человек распознаёт лучше и т.п. А ведь и люди не всякий текст могут понять. Но с пользователями не поспоришь. Вот и получается в итоге, что общество считает, что задача распознавания образов (текстов) не решена.

Есть ещё одна любопытная подробность. Когда на заре развития компьютеров попытки построения искусственного интеллекта закончились ничем, всё направление потеряло большую часть привлекательности, ассигнования сократились, энтузиасты переползли на программирование компьютерных противников в играх и пр. Казалось бы, тупик. Если бы не одно "но": иного результата тогда ожидать и не следовало. Нужно всего лишь представить себе вычислительную мощность компьютеров в лабораториях искусственного интеллекта Массачусетского технологического института в то время. Они были примерно эквивалентны мозгу насекомого. И эквивалент интеллекта насекомого был получен! Затем сокращение ассигнований на исследования ИИ не позволило обновлять компьютерный парк исследователей в темпе, адекватном возможностям технологии. И только сейчас, когда существенно большие мощности стали доступны практически каждому, следует ожидать дальнейшего прогресса.

С течением времени мы будем наблюдать все больше симптомов. Дилемма, которую прочувствовали фантасты, станет восприниматься в контексте творческих усилий иного рода. Мы станем свидетелями того, как постепенно будут автоматизироваться задачи всё более высокого уровня. Уже сейчас существуют инструменты (программы символической логики, САПР), которые освобождают нас от большинства нудной рутины. Есть и обратная сторона медали: истинно производительный труд становится уделом стабильно сокращающейся узкой элиты человечества. С пришествием Сингулярности мы увидим, как, наконец, сбываются прогнозы о настоящей техногенной безработице.

А каким же будет наступление самой Сингулярности? Что можно сказать об истинном характере этого события? Поскольку дело касается интеллектуального разгона, вероятно, это окажется самой стремительной технической революцией из всех прежде нам известных. Ожидать этого не будет никто, даже те учёные, которые вовлечены в творческий процесс. "Но ведь все наши предшествующие модели не двигались! Мы только подкрутили кое-какие настройки...",– примерно такие мысли и слова удивления, можно ожидать от них.

Через несколько месяцев после этого события наступит нечто, чему автор статьи приводит одну лишь схожую по значимости явления аналогию – возникновение человечества. Мы очутимся в постчеловеческой эре. И, несмотря на технический оптимизм, автор заявляет, что ему было бы куда комфортнее, если бы от этих сверхъестественных событий отделяла тысяча лет, а не двадцать.

Вероятно, это самое слабое место в идее того, что Искусственный Интеллект может возникнуть  в том виде, что заменит Естественный. Получается, что чёткого представления о том, как вообще может произойти такой качественный скачёк от тех инструментов, которые может предоставить ИИ (см. выше задачи ИИ), к чему-то, способному к творчеству и конкуренции с человеком, у Винджа нет. Хотя, возможно, что эти соображения он не стал излагать в статье, или же я не смог их распознать. Но, тем не менее, кинематографисты и писатели тему эту не бросают. А значит, задевает она людей.

Пути к Сингулярности и от неё

Виндж не претендует на то, что Сингулярность наступит обязательно.  Упоминаются популярные и признанные аргументы Пенроуза и Сёрла о непрактичности машинного разума. А в 1992 году сообщество «Мыслящих Машин» устроило мозговой штурм, целью которого было проверить тезис: «Как построить мыслящую машину» Т.е. участники не полностью разделяли доводы против машинного разума. Принималась общая договорённость, что разум может существовать не только на биологической основе, а алгоритмы являются важнейшими составляющими разума. Выделилось несколько групп, каждая придерживающаяся определённого мнения. Так было меньшинство, считавшее, что мощнейшие компьютеры 1992 года по мощности отстают на три порядка от человеческого мозга. Было большинство, соглашавшееся с подсчётами Ганса Моравеца, которые показывали, что нам потребуется десять-сорок лет и аппаратура сравняется с людьми. Было ещё одно меньшинство, считавшее, что общепринятые оценки вычислительной мощности отдельных нейронов занижены, а значит, наши современные компьютеры отстают на десять порядков от того устройства, что находится в человеческом черепе. Тогда, как говорит Виндж, возможно, мы никогда так и не доживём до Сингулярности, а вместо этого увидим, что кривые производительности нашего аппаратного обеспечения начнут сглаживаться из-за нашей неспособности автоматизировать конструкторскую работу по разработке дальнейших усовершенствований аппаратных средств. Все кончится каким-нибудь очень мощным компьютером, но без возможности двигаться вперед. Коммерческая цифровая обработка сигналов будет восхитительна, обеспечивая аналоговый выход, сравнимый с цифровыми операциями, но "сознание" не пробудится, а интеллектуальный разгон, являющий собой самую суть Сингулярности, так и начнется. Такое положение вещей, вероятно, следует рассматривать как Золотой век… и конец прогресса.

Спустя десять лет, Виндж добавил ещё один аргумент против вероятности технологической Сингулярности: даже если мы сумеем создать компьютеры с необходимой аппаратной мощью, может и не получиться организовать имеющиеся компоненты таким образом, чтобы машина обрела сверхчеловеческий разум. Просто сложность программного обеспечения возрастёт настолько, что не будет никакой возможности с ним совладать. Будут предприниматься попытки запустить все более крупные проекты по разработке ПО, но программирование не справится с задачей и мы не получим необходимых решений биологических моделей, которые могли бы помочь реализовать обучение и «эмбриональное развитие» машин. Виндж даже приводит такой контрапункт к закону Мерфи: «Максимально возможная эффективность программной системы растет пропорционально логарифму эффективности (то есть скорости, полосе пропускания, объему памяти) подлежащего программного обеспечения». И это ужасно. Это означает огромное количество программ, полезность которых мала, а количество это все растёт и растёт.

Тем не менее, если технологической Сингулярности суждено быть, то она обязательно случится. Т.е. в принципе невозможно как-то законодательно или ещё каким-либо способом запретить её. Даже если все государства мира осознают в ней угрозу и перепугаются до смерти, прогресс не остановится. Конкурентное преимущество любого достижения в средствах автоматизации является настолько непреодолимым, что запрещение подобных технологий просто гарантирует, что кто-то другой освоит их первым.

Эрик Дрекслер составил впечатляющие прогнозы развития и совершенствования технических средств. Он соглашается с тем, что появление сверхчеловеческого разума станет возможно в ближайшем будущем. Но Дрекслер утверждает, что человечество способно удерживать контроль над столь сверхчеловеческими устройствами, чтобы результаты их работы можно было оценить и надежно использовать.

Виндж, наоборот, считает, что контроль сохранить невозможно. В качестве мысленного эксперимента, он предлагает представить себя запертым в собственном доме с единственным каналом доступа информации, который ограничен некими хозяевами. Если бы хозяева мыслили со скоростью в миллион раз меньшей, чем Вы, то, несомненно, через несколько лет Вашего времени, Вы изобрели бы способ побега. Виндж называет эту быстро мыслящую форму сверхразума «слабым сверхчеловеческим». Такая сущность очень сильно ускорила бы течение времени эквивалентного  человеческого ума. Что из себя будет представлять «сильное сверхчеловеческое», сказать трудно. Но различия будут разительны. И тут возникает вопрос о пользе такого разума для человека. В качестве примера, можно представить себе собаку с многократно ускорившейся работой мысли. Тысячелетний опыт собачьего мышления, что он может дать человечеству? Вообще, получается, что очень многие предположения о сверхразуме делаются исходя из модели «слабого сверхчеловеческого». Виндж же считает, что наиболее верные догадки о постсингулярном мире можно делать на предположениях об устройстве «сильного сверхчеловеческого».

Вторым подходом к решению проблемы контроля является идея создания жёстко заданных ограничений свободы действия сверхчеловеческих сущностей. Яркий пример – Законы робототехники Азимова. (Интересно, что формулировки законов запатентованы самим Азимовым, и никто кроме него не может их цитировать дословно. Интересно, для чего он это сделал?) Тем не менее, даже в рассказах Азимова была поднята основная проблема таких ограничений. Все они приводят к сужению возможностей устройств, по сравнению с устройствами без ограничений. А значит, конкуренция будет способствовать развитию менее ограниченных, а следовательно, более опасных моделей.

Последствия Сингулярности. Постчеловеческая эра

Итак, если Сингулярность нельзя предотвратить, нельзя ограничить, то какой будет постчеловеческая эра, насколько жестокой? Одно из возможных последствий – физическое вымирание человечества. Например, Эрик Дрекслер, говоря о нанотехнологиях, сказал, что со всеми подобными техническими возможностями, правительства, вероятно, решат, что простые граждане им не к чему. Однако, физическое вымирание – не самое страшное, что может случиться. Достаточно вспомнить братьев наших меньших - животных – и отношение к ним. В постчеловеческую эру найдётся достаточно ниш, где человек будет востребован, а значит, сохранён, как вид. По этому поводу Вернон Виндж переформулирует золотое метаправило: «Обращайся с братьями меньшими так, как ты хочешь, чтобы старшие братья обращались с тобой». Последствия использования этого правила, рассчитанные согласно теории игры, в каком-то смысле говорят о том, что, если бы мы могли следовать этому правилу, то это могло бы говорить о распространённости подобных добрых намерений вообще во вселенной.

Виндж напоминает, что, несмотря на то, что предотвратить Сингулярность мы не сМожем, но инициатором всё же выступает человек. А значит, в нашей власти, менять начальные условия этого неуправляемого процесса, чтобы всё происходило с минимальным для нас ущербом. Будет ли прок от предвидения и планирования? Зависит от того, будет ли переход к Сингулярности резким или тихим. Резкий переход – это тот, при котором сдвиг к сверхчеловеческому контролю произойдёт за несколько сотен часов. Спланировать такой переход трудно. Тихий переход может занять десятки лет, может быть, более века. В такой ситуации планирование возможно, можно вдумчиво экспериментировать.

Сингулярность без Искусственного Интеллекта

Чаще всего, когда говорят о существах со сверхчеловеческим разумом, то подразумевают проект по созданию искусственного интеллекта. Однако, в начале статьи, Виндж отметил и другие пути к сверхчеловеческому. Так компьютерные сети и человеко-машинные интерфейсы, хотя и кажущиеся более приземлёнными, тем не менее, могут привести к Сингулярности. Виндж называет такой противоречивый подход Усилением Интеллекта (УИ). Усиление Интеллекта протекает естественно, его не осознают даже разработчики. Однако всякий раз, когда улучшаются наши возможности доступа к информации и передачи ее другим, в каком-то смысле мы достигаем прироста по отношению к природному интеллекту. Дуэт знающего, мыслящего человека и простой рабочей станции способен, по-видимому, сдать любой письменный тест.

Вполне возможно, что УИ является наиболее легким путем к достижению сверхчеловеческого, нежели ИИ в чистом виде. В том, что касается людей, сложнейшие проблемы развития уже решены. Постепенное создание умных систем на основе имеющихся у человека способностей представляется более легким, чем выяснение истинной сути людей и затем уже постройка аналогичных им интеллектуальных машин. Предположительно, существует еще, по крайней мере, один прецедент в поддержку данной точки зрения. Кернс-Смит рассуждал о том, что биологическая жизнь вполне могла зародиться в качестве случайного дополнительного свойства более примитивных форм жизни, основывавшихся на росте кристаллов. Линн Маргулис выдвигала серьезные аргументы, доказывая, что симбиоз является могучей движущей силой эволюции.

Виндж не предлагает игнорировать работы по созданию ИИ. Он считает, что достижения в областе разработки ИИ будут находить применение в УИ, и наоборот. Автор предлагает понять, что в работах по созданию сетей и интерфейсов кроется такое же серьёзное и потенциально дикое-чуждое, как и искусственный интеллект.

Далее имеет смысл указать несколько проектов, которые приобретают особое значение с точки зрения усиления интеллекта:

1.      Автоматизация человеко-машинной связки. Здесь рассматриваются проблемы, которые обычно отводятся для решения машинам (вроде задач по методу итеративного спуска - hillclimbing), и программы разработки и интерфейсы, использующие преимущество человеческой интуиции с доступным компьютерным оборудованием. Принимая во внимание причудливость задач по hillclimbing более высокого порядка (и стройных алгоритмов, придуманных для их решения), для человеческого компонента связки можно разработать чрезвычайно интересные дисплеи и средства управления.

2.      Симбиоз машины и человека в искусстве. Здесь имеется в виду объединение графических возможностей современных машин и эстетической чуткости людей. Конечно, огромные усилия исследователей тратятся на разработку компьютерных средств помощи художникам. Виндж предлагает четко нацелиться на наибольшее совмещение умений, на максимально возможную кооперацию.

3.      Человеко-машинные команды на шахматных турнирах. Сейчас уже есть программы, которые играют в шахматы лучше подавляющего большинства людей. Но сколько сделано, для того чтобы эту мощь мог использовать человек, с тем, чтобы добиться каких-либо еще больших успехов? Если бы таким командам разрешалось участвовать хотя бы в некоторых шахматных турнирах, это могло бы оказать такое же положительное влияние на исследования УИ, какое допуск компьютеров к шахматным соревнованиям оказывает на соответствующую нишу разработок ИИ. В последние несколько лет гроссмейстер Гарри Каспаров развил идею проведения шахматных турниров между игроками, которым помогают компьютеры ("прогрессивные шахматы").

4.      Интерфейсы, которые обеспечат доступ к компьютерам и сетям без обязательной привязки человека к одному месту, за столом с монитором. Данный аспект УИ настолько успешно согласуется с известными экономическими преимуществами, что в этом направлении уже работают очень активно.

5.      Более симметричные системы поддержки решения. Популярной областью исследований и разработок в последнее время стали системы поддержки решения. Это одна из форм УИ, только, возможно, слишком сфокусированная на прогностических системах. Столько же, сколько программа предоставляет информации пользователю, должно быть и руководства программой со стороны пользователя.

6.      Местные сети, которые сделают усилия группы людей эффективнее работы отдельных членов. Это и есть, в принципе, понятие о groupware; смена подхода в данном вопросе заключается в представлении групповой деятельности как работы коллективного организма. В определенном смысле цель такого предложения может заключаться в изобретении "Устава" для таких комбинированных операций. Например, направление деятельности группы легче было бы поддерживать, чем посредством классических собраний. Умения отдельных индивидуумов можно будет изолировать от эгоистических устремлений, с тем, чтобы объединенные усилия разных членов группы концентрировались на общем проекте. Ну и, конечно, базы данных совместного пользования можно было бы задействовать полнее, нежели в обычных совещательных операциях.

7.      Интернет представляет собой комбинированный человеко-машинный инструмент. Из всего перечисленного в данном списке прогресс в данной области идет наиболее быстрыми темпами. Сила и влияние Интернета в немалой степени недооценивают. Сама по себе анархичность развития Всемирной сети является свидетельством ее потенциала. Покуда наращиваются связность, полоса пропускания, архивные объемы и производительность компьютеров, мы наблюдаем нечто похожее на представление Линн Маргулис о биосфере, как своего рода конспекте процессора данных, только с производительностью в миллион раз большей и с миллионами разумных человеческих агентов (нас самих).

Приведенные выше примеры иллюстрируют исследование, которое можно провести в рамках современных областей компьютерной науки. Существуют и другие парадигмы. Например, многие работы по созданию искусственного интеллекта и нейросетей только выиграют от более тесной связи с биологической жизнью. Вместо того чтобы просто пытаться моделировать и воспроизводить биологическую жизнь при помощи компьютеров, исследования следует направить на создание композитных систем, полагающихся на управление со стороны биологической жизни, либо ради каких-то свойств биологической жизни, которые мы недостаточно понимаем, но все-таки стремимся воспроизвести в аппаратном обеспечении. Вековечной мечтой научной фантастики являются прямые компьютерно-мозговые интерфейсы. На практике, в этой области ведутся конкретные работы:

1.      Протезирование конечностей представляет собой область прямого коммерческого приложения. Прямые нейро-кремниевые преобразователи можно создать. Это восхитительно досягаемый первый шаг к налаживанию прямой человеко-машинной связи.

2.      Прямые каналы связи с мозгом кажутся вполне осуществимыми, если битрейт достаточно низок: учитывая развитую обучаемость человека, едва ли потребуется точно выбирать мишени среди нейронов живого мозга. Даже 100 бит в секунду будут чрезвычайно полезны пострадавшим от паралича, которым, в противном случае, придется оставаться в заложниках у интерфейсов, построенных на структурированных меню. Здесь можно вспомнить учёного Хоукинга, который сейчас парализован и всё его воздействие на окружающий мир сводится к движениям его единственного подвижного пальца руки.

3.      Подсоединение к оптической магистрали сулит потенциал огромной пропускной способности. Однако для этого нам необходимо разобраться в тончайшем устройстве зрения, да еще потребуется вживление огромного количества электродов с необычайной точностью. Если мы хотим, чтобы широкополосное соединение прибавило еще возможностей к тем способностям по обработке данных, что уже имеются в человеческом мозге, проблема становится гораздо неподатливее. Эксперименты в этой области ведутся. Так недавно в периодических изданиях, посвящённых хайтеку, появились новости о том, что подключение цифровой камеры к зрительному нерву уже удаётся, а в продажу таки устройства поступят ориентировочно в 2008–10 годах.

4.      Эксперименты с зародышами животных. Обеспечение развивающемуся мозгу доступа к сложным симулированным нейроструктурам могло бы, в конечном итоге, привести к появлению животных с дополнительными нервными связями и интересными интеллектуальными способностями. Так было сообщение о том, что пытаются получить мышь с мозгом человека. Такой заголовок очень хорошо смотрелся бы на первой странице какого-нибудь жёлтого издания, но похоже, что это действительно так. Конечно, мышь с человеческим мозгом, навряд ли сама по себе будет полезна, но вот обратное… Если удастся использовать нервные клетки животных для замены человеческих, это по меньшей мере может помочь вылечить многие недуги. Влияние таких исследований несомненно велико.

К сожалению, и на пути к Сингулярности посредством Усиления Интеллекта Виндж также не видит полной безопасности. УИ для человеческих индивидуумов создаёт довольно зловещую элиту. У нас, людей, за плечами миллионы лет эволюционного развития, которые заставляют нас представлять соперничество в мрачном свете. По большей части, эта мрачность может оказаться невостребованной в сегодняшнем мире, в котором проигравшие перенимают приемы победителей и, сплотившись, организуют выигрышные предприятия. Существо, созданное "с чистого листа", может оказаться гораздо благонамереннее, нежели тварь, взращенная по законам клыка и когтя.

Проблема заключается не просто в том, что Сингулярность представляет собой уход человечества со сцены, но в том, что она противоречит нашим сокровенным понятиям бытия. Поэтому далее Виндж рассматривает более внимательно концепцию сильного сверхчеловеческого, пытаясь прояснить причины такого положения вещей.

Сильное сверхчеловеческое и лучшее, на что могут рассчитывать люди

Если предположить, что нам, людям, удастся спланировать Сингулярность, удастся воплотить самые сумасбродные мечты. Что ж… Для не подвергшихся изменениям будет предложено мягкое обращение, возможно придание им статуса хозяев богоподобных слуг. Возможно, наступит золотой век, причём не лишённый прогресса. Бессмертие или чрезвычайно долгая жизнь станут достижимыми.

Прекрасный, добрый мир. Но философские проблемы, вздымающиеся в этом мире, становятся поистине устрашающими. Если разум замкнут в одних границах, то он, по прошествии несколько тысяч лет, будет напоминать закольцованную плёнку, нежели личность – т.е. бессмертие в таком случае ужасно. Чтобы жить неограниченно долго, сам разум должен расти. Ну и какие же родственные чувства он будет испытывать к тому, чем он являлся изначально, когда он разрастётся до огромных размеров и оглянется в прошлое?

Понятие самосознания и эго является основополагающим понятием в рационализме последних нескольких столетий. Однако самосознание, как концепция, подвергается нападкам со стороны приверженцев ИИ. УИ выбивает почву из-под концепции эго с другой стороны. Уже сейчас скорости обмена информации в общедоступных сетях достаточно велики. Постсингулярный мир предполагает наличие более мощных каналов связи. Если части эго можно будет копировать, объединять, а объём самосознания сможет увеличиваться или уменьшаться в зависимости от масштабов решаемых задач, подстраиваясь под них, что произойдёт? Звучит такое построение дико, непривычно, но это и есть существенные черты сильного сверхчеловеческого и самой Сингулярности. Именно это Виндж приводит в качестве подтверждения чуждости постчеловеческой эры, в не зависимости от того, насколько продумано, спланировано, милосердно мы к ней подойдём.

С одной стороны, картина описывает многие человеческие мечты о счастье: бесконечная жизнь, в которой мы умеем по-настоящему понимать друг друга и познаём сокровеннейшие тайны бытия. С другой стороны, это сильно напоминает худший сценарий развития событий, описанный Винджем в самом начале статьи.

Какая же точка зрения обоснована? Виндж считает, что новая эра будет настолько иной, что не сможет вписываться в классические рамки противопоставления добра и зла. Постсингулярный мир прекрасно вписывается в более значимую традицию эволюции и коллективности, зародившуюся давным-давно (может быть, еще до появления биологической жизни).

Заканчивает Вернон Виндж свою статью словами Фримена Дайсона: «Бог – это разум, переросший границы нашего понимания».

  Список литературы:

Хайдеггер М. Вопрос о технике // Хайдеггер М. Время и бытие: Статьи и выступления. М., 1993. The Coming Technological Singularity: How to Survive in the Post-Human Era, http://www-rohan.sdsu.edu/faculty/vinge/misc/singularity.html Вернор Виндж, «Технологическая Сингулярность» (перевод Олег Данилов), http://www.computerra.ru/think/35636/ Ralph C. Merkle, «Energy Limits to the Computational Power of the Human Brain», http://www.merkle.com/brainLimits.html Отрывок из введения к монографии Петрунина Ю.Ю. «От тайного знания к нейрокомпьютеру: Очерки по истории искусственного интеллекта», http://exam.tomsk.ru/stasandr/whatisii.htm Уинстон П. Искусственный интеллект. М., 1980. с. 301. Эндрю А. Искусственный интеллект. М., 1985, с. 17. Хант Э. Искусственный интеллект. М., 1978, с. 11. Уинстон П. Искусственный интеллект. М., 1980. с. 300-301. Уинстон П. Искусственный интеллект. М., 1980, с. 11. Мичи Д., Джонстон Р. Компьютер-творец. М., 1987, с. 20.

Источник: mipt.ru

Комментарии: