Мир облетела новость о запуске и скором крахе чат-бота Tay (Тэй) от Microsoft, который общался с людьми в социальных сетях Twitter, Kik и GroupMe

Мир облетела новость о запуске и скором крахе чат-бота Tay (Тэй) от Microsoft, который общался с людьми в социальных сетях Twitter, Kik и GroupMe.

Задачей Тэй было научиться подражать мышлению 19-летней девушки, и наилучшим местом для её обучения, разумеется, были социальные сети, столь популярные среди молодёжи.

К несчастью для Microsoft, этот интересный эксперимент позорно провалился после того как Тэй под влиянием Интернет-троллей превратилась в сквернословящего расиста менее, чем за одни сутки (16 часов, если быть точным — прим. пер.).

Чтобы разобраться в произошедшем, мы поговорили с Брэндоном Виртцем, создателем «Recognant», единственной полнофункциональной машины по обработке естественного языка.

- Сначала твиты Тэй были абсолютно невинными, она заявляла о своей любви ко всем людям на Земле и хотела ввести Общенародной день щеночков. По её разговорам с другими пользователями можно было представить абсолютно счастливого и дружелюбного человека. Так как же Интернет превратил её в прожжённую расистку?

— Ошибка Microsoft заключается в том, что они не оставили никакой подстраховки и не наделили бота функцией самоанализа. Она не понимала, что людей, которые ведут себя, как нацисты, нужно игнорировать, и поэтому, в конце концов, стала одной из них.

- Действительно, Тэй быстро окружили тролли, которые позволяли себе высказывания, разжигающие межнациональную рознь. На её доброту они отвечали пропагандой ненависти. Вначале она глупо увиливала от разговоров на эти темы, но в последствии, под влиянием нескончаемого потока негативных сообщений, её язык общения претерпел значительные изменения.

— Тэй от Microsoft — отличный пример того, что происходит, если не давать искусственному интеллекту неких «инстинктов» или «подсознания». У всех людей есть внутренний голос, который говорит: «Не делай этого!», а ещё у нас есть иррациональные страхи, которые защищают от потенциально опасных вещей. Искусственный интеллект так же должен быть наделён ими, иначе он так и останется глупым.

Проще говоря, Тэй умела усваивать новые идеи, но она не могла распознавать полезную и бесполезную информацию.

Разумеется, Microsoft хотели как лучше, когда представили своё творение миру. Они надеялись продемонстрировать огромные успехи в деле разработки искусственного интеллекта и заодно собрать информацию о том, как определённые сообщества разговаривают, что их интересует, о чём они думают.

К несчастью, Microsoft не предусмотрели никаких защитных механизмов для Тэй. Они позволили сделать это Интернету, а Интернет-сообщество, как мы знаем, редко является носителем лучших человеческих качеств.

Система когнитивных вычислений для обладающего эмоциями ИИ «Broad Listening» может стать примером такого ограничителя, которого не хватает Тэй.

«Broad Listening» анализирует текст и помогает определить эмоциональный заряд, содержащийся в ваших сообщениях. К примеру, она может составить о вас некоторое мнение на основе ваших сообщений в Интернете.

Проанализировав твиты Тэй, «Broad Listening» установил, что она публиковала в четыре раза более негативные твиты, чем знаменитости Disney (Пейтон Лист, Лора Марано, Чайна Маклейн, Келли Бёрглунд).

Хотя система «Broad Listening» не умеет сама писать твиты, она может дать сигнал, когда Тэй начинает... вести не в ту сторону.

Описанная проблема не является единственной.

Например, даже люди иногда имеют сложности с пониманием информации в неком контексте. Кроме того, Тэй необходимо научиться понимать разницу между фактами и мнениями, а также распознавать заблуждения людей, представленные как факты.

На данный момент Microsoft отключили Тэй, чтобы обдумать дальнейшие действия. Чтобы вновь представить ее людям, им придётся позаботиться о том, чтобы она вновь не стала жертвой троллей или не стала одной из них. Планируется коренным образом изменить восприятие Тэй получаемой информации. Это условие

является хоть и трудновыполнимым, но жизненно необходимым для любого ИИ, чтобы вести позитивно настроенный диалог в нашем полном негатива мире.

«У Microsoft нет теории познания. Тэй — простой чат-бот. Она не знает, кто такой Гитлер или феминистки. Она видит только последовательность существительных, глаголов, наречий и прилагательных. Например, в моем мозгу слова делятся на категории вроде «относящиеся к детям», «детали машины», «грубые», «неполиткорректные». Эта сложная система даёт мне возможность говорить именно то, что я имею в виду».

Победит или проиграет Microsoft в гонке по созданию лучшего ИИ, зависит от того, смогут ли они взять на себя роль родителей и обучить юный, впечатлительный ум критически воспринимать поступающую извне информацию.

Источник (англ): http://vk.cc/4YOAW2

Источник: vk.cc

Комментарии: