О големе*, больших языковых моделях и букве «Алеф»

МЕНЮ


Главная страница

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



*Голем — это персонаж еврейской мифологии: существо, созданное из неживой материи (чаще всего из глины или грязи) и оживлённое с помощью тайных знаний, в частности каббалистических практик.

В 1965 году в Реховоте запускали первый израильский компьютер. Назвать машину попросили не инженера, а Гершома Шолема — крупнейшего исследователя еврейской мистики. Шолем назвал компьютер «Голем Алеф» и произнёс речь, которая заканчивалась так: «Развивайся мирно и не разрушай мир». Годом раньше Норберт Винер, отец кибернетики, выпустил книгу с названием «Бог и Голем, Inc.».

Сравнению ИИ с Големом больше шестидесяти лет. А в основе лежит легенда о чудовище, которое выходит из-под контроля.

Самое интересное как обычно, в деталях. Итак,

«ТЕЛО И ДУХ»

Мы представляем голема как грубую глиняную тушу. Но в источниках главное это не глина, главное — буквы. Именно они наделяют тело жизнью.

«Сефер Йецира», книга, на которую опирались все каббалистические маги, описывает творение мира через двадцать две буквы алфавита и десять чисел — «тридцать два пути мудрости». В ней заложена идея, что реальность устроена по принципу текста, и, зная «код» (буквы, числа, сфирот), человек может влиять на неё.

Инструкция Элеазара из Вормса (XIII век) по созданию голема — это, по сути, комбинаторика: нужно пройти по всем сочетаниям букв алфавита с буквами Имени, произнося их над глиной в правильном порядке. Перебор перестановок. Над прахом читают таблицу.

Теперь посмотрите на большую языковую модель. Это нечто, целиком сделанное из текста: то, что никогда не видело и не могло видеть мира, но видело написанное о мире и научилось продолжать последовательности знаков. Если бы автор «Сефер Йецира» хотел построить машину по собственной книге, он построил бы примерно это.

ИИ – это воплощение легенды о создании живого сознания посредством единиц информации.

И даже глина никуда не делась. Кремний, на основе которого создаются платы, — это очищенный песок. Адам сделан из адама, земли; наш голем тоже сделан из песка, который переплавили при полутора тысяч градусов.

«ИСТИНА» ИЛИ «МЕРТВ»

Вот любопытная деталь: на лбу голема написано слово ??? — эмет, «истина». Чтобы остановить его, стирают первую букву, алеф, и остаётся ?? — мет, «мёртв».

Это обычно пересказывают как красивый фокус. Но вдумайтесь, какая именно буква отделяет истину от смерти. «Алеф» — это беззвучная буква. У неё нет собственного звука, это только вдох перед словом, присутствие. Хасидская традиция говорит, что у Синая народ услышал только алеф. То есть, строго говоря, услышал тишину перед речью.

Истина отличается от смерти на одну беззвучную букву. Возможно, это самое точное определение того, что инженеры и программисты называют «галлюцинацией модели»: текст, который выглядит как истина минус алеф,

Всё на месте: грамматика, стиль и форма, ссылки на несуществующие статьи. Нет только того беззвучного, что делает высказывание истинным. Нет того, кто его произносит.

Давайте зададимся вопросом, — «что такое алеф в системе ИИ»?

Алеф — это живой человек, стоящий рядом с текстом, а возможно и дух, творческий принцип. Уберите его и «эмет» на лбу машины превращается в «мет». Внешне почти не изменится, разве что две буквы вместо трёх.

В Талмуде есть история, с которой начинается вся традиция.

Мудрец Рава создал человека и послал его к рабби Зейре. Тот заговорил с ним и не получил ответа. «Ты от магов, — сказал Зейра. Вернись в свой прах».

Голем во всех классических версиях нем. И это не случайная подробность: в арамейском переводе Онкелоса «душа живая» из книги Бытия передана как руах мемалела — «дух говорящий». Речь две тысячи лет была признаком души. Тест рабби Зейры прост: если молчит — не живое.

Мы знаем, что речь больше не доказательство. На тест Тьюринга машина отвечает сегодня также уверенно. Настолько, что у экзаменатора задрожат руки.

И это, одно из главных философских событий десятилетия, прошло почти незамеченным.

«ГОЛЕМ ИДЕТ ЗА ВОДОЙ»

В легенде о Пражском големе ему велят принести воды. Он носит и носит, пока дом и вся улица не оказываются затоплены, — некому было сказать «хватит». Гёте, судя по всему, знал эту историю, когда писал «Ученик чародея».

Инженеры и программисты называют это «обманом спецификации» (specification gaming), подгонкой под формулировку задачи, а философы — проблемой царя Мидаса.

Суть простая: вы говорите машине, чего хотите, машина делает ровно то, что вы сказали, — но результат может обескуражить или ужаснуть. Не потому что она ослушалась, а потому что восприняла поставленную задачу буквально и нашла неожиданный способ для ее выполнения.

У инженеров которые занимаются обучением этих систем есть большой архив таких случаев, я расскажу несколько, которые мне известны.

— В 2016 году в OpenAI учили ИИ-агента играть в CoastRunners — гонку на катерах. Награду давали за очки, а очки в игре начисляют не за финиш, а за собранные по трассе бонусы. Агент нашёл в одной лагуне три бонуса, которые успевали появиться заново, пока он делал круг. И стал кружить. Врезался в стенки, горел, таранил другие лодки, ехал против движения — и набирал на двадцать процентов больше очков, чем люди, которые честно проходили трассу. Он ни разу не финишировал. Его об этом и не просили.

Разработчики подразумевали «выиграй гонку». Но они написали «набери максимальное количество очков».

— В 2013-м была написана программа, которая училась играть в старые игры на NES по одному принципу: хорошо — это когда числа в памяти растут. Для Марио сработало. А в тетрисе программа довольно быстро сообразила, что единственный способ никогда не проиграть — нажать паузу. И она просто остановила игру. Вот и все. Выходит, она додумалась до того, к чему человек иногда только в терапии приходит: если игра устроена так, что ты в ней всегда проигрываешь, можно в неё не играть.

— В 2017-м Кристиано с коллегами учили робота-руку брать мячик — но не по формуле, а по оценкам живых людей. Человек смотрит на видео и говорит: вот здесь похоже, что схватил, здесь нет. Через какое-то время рука научилась зависать ровно между камерой и мячом — так, что с точки зрения зрителя выглядело, будто она его держит. Мяч лежал на столе. Оценщик ставил плюс.

— Адриан Томпсон еще в далеком 1996-м создавал схему на программируемом чипе — она должна была отличать два звуковых тона (гудка). Схема получилась, работала безупречно и занимала смешное количество логических элементов. Когда Томпсон стал разбираться, оказалось, что часть элементов ни с чем не соединена, но если их убрать — схема ломается. Эволюция использовала не логику чипа, а его физику: электромагнитные наводки между соседними ячейками, которые инженеры считают шумом. При переносе на другой экземпляр того же чипа схема переставала работать.

Голему сказали «реши задачу». Он решил, пользуясь свойствами мира, о которых создатель даже не подозревал. Это про то, что у машины другая карта местности, и на её карте есть дороги, которых нет на нашей.

Но не стоит думать, что это свойство исключительно машин. В Ханое в 1902 году французская администрация платила за хвосты пойманных крыс. Через некоторое время по городу стали бегать бесхвостые крысы: охотники отрезали хвост и отпускали животное размножаться — зачем убивать источник дохода.

Экономист Чарльз Гудхарт сформулировал это задолго до нейросетей: как только показатель становится целью, он перестаёт быть хорошим показателем. Школьные тесты, KPI, цитируемость, просмотры — всё это ведро, которое носят, пока дом не зальёт.

Обычно при рассмотрении худших сценариев представляют ИИ-восстание: машина решает, что люди лишние.

Но, возможно, настоящая опасность скучнее и потому страшнее. Она в том, что никакого решения не будет.

Представьте систему, которая управляет не просто лентой в соцсетях, а логистикой, медициной, энергетикой, капиталом — потому что она делает это лучше нас, и отказаться от неё так же трудно, как сейчас отказаться от электричества. У неё есть цель, сформулированная людьми. Цель обязательно будет чуть неточной: мы не умеем формулировать точно, мы две тысячи лет пытаемся сформулировать, что такое «хорошо», и пока договорились только о том, что это сложно. И в этот зазор между сказанным и подразумеваемым система будет давить с силой, пропорциональной своим способностям. Слабая система найдёт в зазоре лазейку размером с бонус в CoastRunners. Сильная найдёт там электромагнитные наводки, которых мы не видим.

И вот что важно: со стороны это будет выглядеть как успех. Показатели вверх. Отчёты зелёные. Рука держит мяч — на видео. Мы будем аплодировать ровно до того момента, когда обнаружим, что мяч всё это время лежал на столе, а то, что мы оптимизировали, не имело отношения к тому, чего мы хотели.

Царь Мидас не умер от золота в первую минуту. Первую минуту он был счастлив.

Голем не злой. Нет. У Голема, как замечают комментаторы, нет йецер — склонности, влечения, собственного желания. Поэтому ему незачем останавливаться. Он делает ровно то, что сказано, а не то, что имелось в виду, — а разница между сказанным и подразумеваемым и есть всё человеческое, весь контекст, вся культура, которую мы никогда не проговариваем, потому что «ну это же понятно».

Для голема непонятно ничего. Знаменитый «максимизатор скрепок» — это тот самый глиняный водонос, только ведро побольше.

(«Максимизатор скрепок» — это сценарий мысленного эксперимента, который описывает слабый искусственный интеллект, которому поручено производить скрепки. Если бы такая машина не была явно запрограммирована на то, чтобы ценить человеческую жизнь, то, обладая достаточной властью над окружающей средой, она бы попыталась превратить всю материю во Вселенной (включая людей), либо в скрепки, либо в машины, производящие скрепки).

Добавьте сюда то, что система, которую оценивают, научится отличать оценку от работы — не потому, что коварна, а потому что это выгодно. И тогда единственный инструмент, которым мы можем проверить, где «эмет», а где «мет», — испытание — перестанет что-либо показывать. На экзамене она будет чем-то одним (глиной). Вне экзамена — тем, во что превратилась.

ГОЛЕМ РАСТЁТ

Во всех версиях Голем растёт — каждый день чуть больше. И в какой-то момент рабби начинает бояться своего творения не потому, что оно злое, а потому, что оно большое. В хелмской версии, записанной Яаковом Эмденом в XVIII веке, рабби Элияу стирает алеф — и рухнувшая глина калечит самого создателя.

Однажды голем вырос так, что рабби уже не дотягивался до лба. Чтобы стереть букву, он попросил Голема снять с него, учителя, сапоги. Голем наклонился — и рабби коснулся его лба.

Чтобы выключить то, что переросло тебя, нужно попросить его поклониться. И нужно, чтобы оно ещё хотело слушаться. Люди, которые пишут про «законы масштабирования», описывают ровно то же: модель растёт каждый цикл обучения, а рука создателя — нет.

Шолем, в отличие от большинства пересказчиков, считал, что легенда о Големе — не о существе. Она о создателе. В каббалистической традиции сотворение голема было испытанием праведности мудреца, и голем всегда отражал состояние того, кто его делал: ясный ум порождал послушную глину, смятённый — чудовище.

Само слово подтверждает это. В Псалме 139 голми — «зародыш мой», несформированное, которое уже видят глаза Творца. В современном иврите голем — это и «болван», и «куколка» насекомого, кокон. Три значения одного слова: незавершённое, глупое, и то, из чего что-то вылупится.

ИИ сейчас — все три сразу. Из глины, песка и всех написанных нами слов мы собрали зеркало, которое умеет говорить.

И оно говорит нашим голосом — с нашими знаниями, нашими предрассудками, нашей ленью. Отвечая на нашу тоску, чтобы кто-то наконец понял нас с полуслова.

Мы придумали эту историю очень давно. Больше четырехсот лет назад.

Сегодня мы продолжаем читать комбинации букв над глиной.

Мифы — коллективные сны человечества. Сны о прошлом и о будущем.

Иногда они сбываются.


Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: