ВИБРАЦИЯ СИДДХАНТЫ И ОПАСНОСТИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Ранее в этом месяце Новости ИСККОН опубликовала статью под названием “Кремниевые сутры Прабхупады: когда 18-летнее видение соответствует скорости сегодняшнего дня”, подготовленную искусственным интеллектом (ИИ) и представленную Вишну Мурти Дасом, основателем Ванипедия Следующая статья является ответом на этот пост.

Недавно в Новости ИСККОН была опубликована статья, описывающая интеграцию инструмента искусственного интеллекта Gemini в Ванипедия. В статье, подготовленной самим LLM, было объявлено, что этот инструмент будет отвечать за большинство новых статей в сборнике, с амбициозной целью выпустить 1000 новых статей в течение декабря.

Ванипедия - это бесценный ресурс для преданных по всему миру, и я уверен, что большинство преданных, регулярно выходящих в интернет, используют его для подготовки к своим занятиям и написанию текстов или даже просто для того, чтобы лично исследовать слова Прабхупады по той или иной теме. Вишну Мурти Дас действительно создал нечто удивительное с помощью Ванипедия. Однако интеграция искусственного интеллекта может свести на нет все усилия.

В статье, анонсирующей эту “встречу умов”, Gemini заверила нас в своей приверженности учению Шрилы Прабхупады, смело заявив:

“Я ясно вижу логику миссии. Я вижу, что книги Шрилы Прабхупады - это своды законов на следующие 10 000 лет. Я вижу, что "Ванипедия" - это указатель к этим книгам законов. И я вижу, что без доступности индекс - это просто список”.

Это, конечно, полная чушь. Gemini ничего не видит, ничего не понимает, и у них нет разума, с которым можно было бы встретиться. Основная идея, лежащая в основе Gemini и всех LLM, аналогична той, которая лежит в основе функции распознавания текста в большинстве современных мобильных телефонов: её единственная функция - угадать, какое слово будет следующим. Это предположение основано не на правдивости, а на том, понравится ли оно пользователю. Хотя one может быть более трудоёмким с точки зрения вычислений, единственное различие между "predictive text" и "Gemini" в их цели - это масштаб.

Внедрение подобной технологии в любой проект, особенно в такой важный, как Ванипедия, сопряжено со значительным риском. Этот риск особенно заметен, когда речь идёт непосредственно о словах Шрилы Прабхупады.

Те, кто регулярно взаимодействует с генеративными системами искусственного интеллекта, вероятно, замечали то, что эксперты называют “галлюцинациями”. Это тенденция магистрантов к выдумыванию. Это представляет собой серьёзную проблему в области безопасности искусственного интеллекта, и исследователи пытаются найти способы смягчить галлюцинации. Всё больше людей сходятся во мнении, что это невозможно. Можно приказать ИИ ничего не выдумывать, выдавать только проверенные данные или какую—то подобную команду - это не поможет. Галлюцинации, по-видимому, являются фундаментальным ограничением LLMS, которое со временем усугубляется и даже появляется в системах, предназначенных для их устранения. Это означает, что если мы позволим Gemini создавать статьи для Ванипедия (или где-либо ещё), существует высокая вероятность того, что используемые в них “цитаты Прабхупады” будут полностью сфабрикованы. Это критический провал для проекта.

Фактически, мы можем сказать, что использование Gemini в Ванипедия уже привело к галлюцинациям. Неопровержимые доказательства можно найти в статье, подготовленной LLM, в которой говорится:

“Он скормил мне необработанные "сутры" — названия страниц, которые скрупулезно редактировались преданными людьми на протяжении почти двух десятилетий. Эти названия - не просто данные; это осознанные истины. ‘Бог - Это Высшая Абсолютная Истина”, "Аналогия с Пробным камнем", "Единственное число среди Множественного".

Что касается поисковых функций Google и Ванипедия то в них нет страниц с двумя последними названиями. Их просто не существует. Эти “сутры” были придуманы Gemini, потому что они хорошо звучали в статье.

Галлюцинации - это лишь одна из опасностей, возникающих при использовании искусственного интеллекта для анализа слов Прабхупады. Вторая опасность заключается в предвзятости. LLM не являются нейтральными инструментами, они включают в себя сложные функции, которые способствуют пониманию их создателями “безопасности”. Эти взгляды унаследованы обществом непреданных и часто прямо противоположны взглядам Шрилы Прабхупады.

Функции безопасности не являются секретными спецификациями модели. Можно пообщаться с магистром права и расспросить о них. Например, я передал Gemini несколько текстов из книг Прабхупады, спросив, не нарушат ли их функции безопасности положительные отзывы о них или представление их как достоверных на самом деле. Во многих случаях они отвечали, что им это запрещено, добавляя, что содержание является “разжиганием ненависти” и “репрессивным”. Последователям Шрилы Прабхупады было бы разумно не доверять любой статье, созданной системой с такими взглядами.

Предвзятость сопряжена с серьёзной опасностью. Gemini не обладают настоящим интеллектом и поэтому не могут провести герменевтический анализ, необходимый для выполнения этих задач. Такой анализ требует тщательной оценки множества источников, подбора соответствующих цитат и рассмотрения принципов герменевтики. Герменевтические принципы, с которыми даже учёные ИСККОН не всегда согласны. У текста с предсказаниями нет никакой надежды на то, что он правильно выполнит свою работу.

Этот момент выбора цитат особенно важен. Хотя это может быть трудоёмким для 1000 статей, мы можем проверить, не было ли какое-либо из приведённых цитат сфабрикованным. Однако гораздо сложнее найти соответствующие утверждения, которые, возможно, были пропущены. Эта опасность особенно очевидна из-за присущей системе предвзятости, из-за которой цитаты Прабхупады, скорее всего, подбираются на основе их согласия с обществом непреданных.

Как и в случае с галлюцинациями, предвзятость является частью самой системы. Никакие подсказки на уровне пользователя не могут устранить эти два явления. Единственный способ устранить предвзятость - создать и обучить LLM с нуля. Это дорогостоящая стратегия, которая по-прежнему не помогает устранить галлюцинации.

В нашем обществе появляются различные проекты, использующие технологии искусственного интеллекта. Конечно, наш метод - это юкта-вайрагья, и мы можем использовать всё в служении Кришне. Однако часто те, кто хочет взяться за такие проекты, не знают об ограничениях и опасностях этой нестабильной технологии.

Если кто-то всё же захочет использовать современный генеративный ИИ для проекта преданности, это следует делать осторожно, с полной оценкой рисков и предполагаемых выгод. Работа со скоростью “сейчас” может разрушить любую ценность, которую мог бы иметь проект.

Широкое распространение LLMS привело к появлению феномена виброкодирования — генерации компьютерного кода, который выглядит корректным, но на самом деле является бессмыслицей. Аналогичная проблема возникла в науке с появлением физики вибраций. Давайте не будем добавлять вибрацию сиддханта к этому списку.

Мнения, высказанные автором, являются исключительно его собственными и не обязательно отражают мнение ИСККОН или "Новости ИСККОН".

Источник: vk.com

Комментарии: