Рациональность: от ИИ до зомби / Карта и территория |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2021-10-09 07:41 Представляем вашему вниманию первую часть электронной книги Элиезера Юдковского «Рациональность: от ИИ до зомби». Это отредактированная и расширенная версия серии блог-постов из числа «Цепочек», и в ней рассматривается природа рациональности, убеждений и объяснений. Эти посты можно читать как по-порядку, так и отдельно друг от друга. Под рациональностью я подразумеваю: 1. Эпистемическую рациональность, то есть систематическое улучшение точности своих убеждений. 2. Инструментальную рациональность, то есть систематическое достижение своих целей. Когда вы открываете глаза и осматриваете комнату, вы замечаете ноутбук на столе и книжный шкаф около стены. Если с вашими глазами или вашим мозгом случится что-нибудь плохое, возможно, у вас в голове окажется мысленная модель, которая скажет, что шкаф стоит там, где его на самом деле нет. В этом случае, когда вы пойдёте за книгой, вам будет обидно. Примерно так и выглядят ложные убеждения — карта мира, не соответствующая территории. Эпистемическая рациональность посвящена построению карт, точно отображающих реальность. Точную связь между убеждением и реальностью обычно называют «истиной», и я тоже с радостью пользуюсь этим словом. С другой стороны, инструментальная рациональность посвящена управлению реальностью. Вы делаете будущее таким, каким вам хочется. Инструментальная рациональность — это искусство выбрать действия, которые приведут к последствиям, стоящим выше в вашей шкале предпочтений. Иногда я называю это «выигрыванием». Так что рациональность — это искусство формировать истинные убеждения и принимать выигрышные решения. Поиск «истины» не означает, что нужно отвергать нечёткие или косвенные свидетельства. Вы можете оглядеть комнату и построить её мысленную модель. Убеждения о комнате принципиально ничем не отличаются от убеждений, что у Земли есть расплавленное ядро, а Юлий Цезарь был лысым. Возможно, эти вопросы вам кажутся более сложными и абстрактными, чем вопрос о вашем шкафе, ведь вас и предметы этих вопросов разделяет значительное пространство и время. И тем не менее состояние ядра Земли в 2015 году нашей эры и состояние головы Цезаря в 50 году до нашей эры — это вопросы о фактах. Эти факты могут влиять на реальность, даже если у вас нет никакой возможности лично встретить Цезаря или посмотреть на земное ядро. А когда я пишу о «выигрывании», это не значит, что речь идёт о достижении успеха за счёт других. Не обязательно превращать жизнь в соревнование, её можно строить на базе сотрудничества и самопожертвования. Под «вашими ценностями» подразумевается абсолютно всё, о чём вы заботитесь — включая других людей. Они не ограничиваются исключительно эгоистическими ценностями. Зачастую, когда люди говорят «Х — рационально!», это просто более звучный способ сказать: «Я думаю, что Х — истинно» или «Я считаю, что Х — хорошо!». Так зачем же использовать дополнительное слово «рационально», если можно говорить «истинно» и «хорошо»? Тот же самый аргумент применим и к слову «истинно». Незачем говорить «истинно, что снег белый», когда можно сказать просто «снег белый». Идея истины полезна, потому что она позволяет нам говорить о соответствии карты и территории в целом. Фраза «истинные модели позволяют лучше делать проверяемые предсказания, чем ложные модели» — это полезное обобщение, и его нельзя сделать, не пользуясь понятиями вроде «истины» и «точности». Аналогично, фраза «Рациональные агенты принимают решения, которые максимизируют вероятностное ожидание согласованной функции полезности» относится к понятию (инструментальной) рациональности, а фразу «Рационально есть овощи» наверняка можно заменить на «Полезно есть овощи» или «Есть овощи — в ваших интересах». Нам нужно понятие, вроде «рациональности», чтобы описывать общие факты о том, какие способы мышления систематически приводят нас к истине или к выигрышу, а также какие способы систематически приводят нас к обратному. Иногда экспериментальные психологи обнаруживают, что в некоторых ситуациях люди, размышляют, судя по всему, очень странно. Например, человек присваивает утверждению «Билл играет джаз» вероятность меньшую, чем утверждению «Билл — бухгалтер, который играет джаз». Поскольку, очевидно, любой играющий джаз бухгалтер — играет джаз, такое суждение выглядит странно. Однако какими принципами мы пользуемся, когда говорим, что это суждение неверно? Экспериментальные психологи применяют два золотых стандарта: теория вероятностей и теория принятия решений. Теория вероятностей — это набор законов, лежащих в основе рациональных убеждений. Математика теории вероятностей абсолютно одинаково описывает и а) как выяснить, где находится ваш книжный шкаф, и б) как узнать температуру земного ядра, и в) как вычислить, сколько волос было на голове Юлия Цезаря. С точки зрения того, как нужно обрабатывать свидетельства и наблюдения, чтобы пересматривать и обновлять свои убеждения, это одинаковые задачи. Аналогично, теория принятия решений — это набор законов, лежащих в основе рациональных действий, и её можно применять независимо от того, о каких целях и каких вариантах действий идёт речь. Обозначим выражением «Р(что-нибудь)» вероятность того, что это что-нибудь случится, а выражением «Р(А, В)» — вероятность, что А и В случатся вместе. Поскольку в теории вероятностей есть универсальный закон, что P(A) ? P(A, B), суждение, что Р(Билл играет джаз) меньше, чем Р(Билл играет джаз, Билл — бухгалтер) отмечается как неверное. Говоря формально, такое рассуждение о вероятностях — небайесианское. Убеждения и действия, рациональные в строго определённом математическом смысле, называются байесианскими. Обратите внимание, современное понятие рациональности не привязано к словесным рассуждениям. Я привёл пример, как вы открываете глаза, осматриваетесь и строите мысленную модель комнаты со шкафом около стены. Современное понятие рациональности — достаточно общее и включает ваши глаза и зрительную кору вашего мозга, как объекты на карте. Оно включает и вашу интуицию, которую сложно выразить словами. Математика не обращает внимание на то, что мы используем одинаковое слово «рациональный», и описывая Спока1, и описывая байесианский способ рассуждений. Математические модели — это хороший способ достигать своих целей или строить карту мира, независимо от того, какие у нас сложились предубеждения и стереотипы относительно слова «рациональность». Однако это не решает проблему о том, что именно подразумевается под занятием «рациональностью», по двум основным причинам. Во-первых, невозможно строго вычислить байесовские вероятности, необходимые для решения подавляющего большинства реальных задач. Никто не в состоянии посчитать правильное решение и ему следовать. Это всё равно, что попытаться предсказать поведение рынка акций, исходя из движения кварков. Именно поэтому существует целый сайт под названием «Less Wrong», а не одна страница, которая ограничивается простым перечислением строгих аксиом. Для человеческого разума находить истину и достигать своих целей — это целое искусство. Чтобы сталкиваться с правдой и делать то, что должно, нам надо изучать собственные недостатки, справляться со своими предубеждениями, удерживаться от самообмана, поддерживать себя в хорошей эмоциональной форме, и так далее, и так далее. Во-вторых, иногда математика сама по себе приводит к новым вопросам. Например, точные правила теории вероятностей приводят к вопросу антропного принципа, где неизвестно число наблюдателей. Точные правила теории принятия решений приводят к задачам вроде парадокса Ньюкома, в которых другие агенты могут предсказать ваше решение до того, как вы его примете. В таких случаях совершенно бессмысленно пытаться решить проблему, введя новое определение слова «рациональность» и заявив: «Таким образом под «рациональностью», по определению, будет подразумеваться предпочитаемый мной ответ». В этом случае, естественно, встанет вопрос, почему ваше определение должно кого-то интересовать. Теория вероятностей важна для меня не потому, что это священные слова, вручённые нам Лапласом. Байесианское обновление убеждений (вместе с оккамовскими априорными вероятностями) интересно для меня, потому что я ожидаю, что именно такой способ думать приведёт нас к карте, которая систематически более точно отображает территорию. А ещё некоторые вопросы о том, как следует думать, кажется, не решаются целиком ни с помощью теории вероятностей, ни с помощью теории принятия решений. Например, вопрос о том, какие чувства испытывать по отношению к правде. В этих случаях какое-то собственное определение «рациональности» тоже лишь будет включать в себя уже существующий ответ, но не позволит найти что-то новое. Я не собираюсь здесь спорить о значении слов, даже если речь идёт о слове «рациональность». Привязка неких последовательностей букв к определённым понятиям нужна, чтобы люди могли разговаривать между собой — передавать мысли от одного человека к другому. Невозможно изменить реальность или доказать какую-то мысль, манипулируя этими привязками. Поэтому если вы поняли, какое понятие я связываю со словом «рациональность» и со словосочетаниями «эпистемическая рациональность» и «инструментальная рациональность», передача информации уже случилась. В рамках разговора о том, как определять «рациональность», мы сделали всё, что нужно. Дальше мы не будем разговаривать, какой смысл привязан к слогам «ра-ци-о-наль-ность». Дальше мы будем разговаривать, как именно лучше рассуждать. Если вы говорите «Для меня (эпистемически) рационально считать, что Х, однако истина в том, что Y», вы наверняка используете слово «рационально» не в том же смысле, что и я. (Например, «рациональность» должна «выдерживать рефлексию» — «рациональный» взгляд на свидетельства и «рациональные» размышления о том, как ваш разум обрабатывает эти свидетельства, не должны приводить к разным выводам.) Аналогично, если вы вдруг говорите «Для меня (инструментально) рационально сделать Х, но я считаю, что правильно делать Y», то почти наверняка вы используете для слова «рационально» или для слова «правильно» какие-то другие значения. Я использую термин «рациональность» нормативно: чтобы выбирать предпочитаемый способ рассуждений. В этих случаях — а также во всех других, когда люди не соглашаются относительно смысла слов — вам стоит заменять слово «рационально» на более точные описания. Например: «Ради собственного благополучия следовало бы убежать, но я надеюсь, что хотя бы постараюсь вытащить ребёнка с рельсов». Или: «Причинная теория приятия решений в привычной формулировке говорит, что в задаче Ньюкома нужно брать оба ящика, но я предпочту получить миллион долларов». Я вообще рекомендую перечитать это эссе, заменяя все вхождения слова «рационально»(и однокоренные) на «фузально». Проверьте, изменится ли смысл текста. Если изменится, стремитесь не к рациональности, а к фузальности. В слове «рационально» таятся многочисленные ловушки. Однако во многих случаях с его помощью можно прекрасно передавать тот смысл, который я в него вкладываю. В этих случаях я не боюсь его использовать. И всё же будьте с этим словом осторожны и не используйте его напрасно. Вы ничего не заработаете, просто произнося его вслух. Слишком много рассуждающий о пути не достигнет просветления. Автор: Элиезер Юдковский Все такие посты будут помечаться специальным тегом: Источник: lesswrong Источник: vk.com Комментарии: |
|