Бот, да не тот

«[Мы назвали это] "антитест Тьюринга", потому что классический тест Тьюринга выглядит немного по-другому», — объясняет мне Станислав Ашманов, руководитель компании «Наносемантика», организатора соревнований. В классическом тесте человек или состоящее из людей жюри, общаясь с виртуальным собеседником, должно понять, живой человек «на том конце» или искусственный интеллект. При этом ИИ пытается разговаривать, как человек, а человек ведет себя… тоже как человек. А в конкурсе от «Наносемантики» собеседники-люди стремятся мимикрировать под ботов, и это существенно осложняет задачу. Формально задача испытателя все та же — вычислить бота. Но, чтобы его вычислить, нужно отсеять людей, то есть на самом деле задача обратная — «найди человека».

Подключиться к тесту просто. Я нахожу в «Телеграме» бота TuringTestRussia и нажимаю /start.  С равной вероятностью мне ответит один из семи зарегистрированных в конкурсе ботов или волонтер, который пытается прикинуться роботом. Каждому я могу написать не более шести реплик и потратить на разговор не более 20 минут.

У меня есть стратегия, основанная на предположении, что  боты плохо учитывают контекст, поскольку не умеют понимать смысл речи так, как это делает человек. Поэтому они не смогут поддерживать связный диалог, учитывающий не только последний заданный вопрос, но и все предыдущие. К тому же у ботов «узкий кругозор», поэтому на непонятные им вопросы они отвечают односложно, типа «хмм» или «ну да-а» или «не знаю». В обычном тесте Тьюринга распознать современного бота — несложная задача. Но в данном случае об особенностях поведения чат-ботов знаю не только я, но и волонтеры. Как отличить машину от человека, притворяющегося машиной?

«Пожалуйста, напишите приветственную реплику для собеседника», — предлагает система. Я решаю не рубить с плеча и вести разговор максимально непринужденно, поэтому начинаю с банального:

Evgenia:   привет

Что ответит мне бот? Может, hasta la vista, baby? Может, начнет бесчеловечно шутить, как GlaDOS, или зловеще угрожать, как SHODAN, а может, напишет что-то эмпатичное, как операционная система из фильма «Она»? Мое воображение, распаленное массовой культурой, заждавшейся появления настоящего Искусственного Интеллекта, уже рисует атакующие корабли, пылающие над Орионом, лучи Си, пронизывающие мрак близ ворот Тангейзера...

TuringTestRussia: В общем, понятно! Слушай, вчера мы с девчонками в кафешку ходили. Такая классная! Там все низкокалорийное. Я ведь на диете. А ты сидишь на диетах?

Некто на том конце ответил мне фразой, явно придуманной заранее. Люди не могут быть такими стереотипными блондинками из анекдота. Это явно бот. Или все же...

Evgenia: Не, ем что хочу) а что за кафешка?
TuringTestRussia: Ты лучше скажи, лапуль, как тебя зовут?

Собеседник проигнорировал мой вопрос. И что это за «лапуля»? Тут я вспоминаю, что боты в конкурсе участвуют непростые. У некоторых есть личности типа «Блондинка Пенни» или «Всезнайка Шелдон». Это явно «блондинка Пенни».

Evgenia: Сначала ты)

Иду на хитрость. Пусть робот сам что-нибудь скажет.

TuringTestRussia: Сначала ты)? Это что, твоё имя, лапуль? :)

Бот решил, что я назвала свое имя, и подставил мою реплику в пустую ячейку памяти с заранее заготовленным риторическим вопросом.

Evgenia: Сначала ты скажи свое имя, лапуля)
TuringTestRussia: Прости, зай, не поняла, что значит Сначала ты скажи свое имя, лапуля)?

О господи, этот бот слишком глуп даже для анекдота про глупого бота. Все ясно с тобой, лапуля.

Evgenia: ну ты бот ботович)
TuringTestRussia: А я вот клевенькую косметичку приглядела в новом бутике! Ну точно пойду куплю.

Я оказалась права. «Блондинка — это наш бот, он никогда не стремился притвориться человеком в мессенджерах. Он очень старый — ему лет 10, он был сделан как демонстрация технологии», — объясняет мне после конкурса Станислав Ашманов.

В соревнованиях также участвуют сделанные «Наносемантикой» боты «Дуров», «Жаров» (глава Роскомнадзора) и «Гопник». С первыми двумя я уже имела удовольствие общаться — они есть в открытом доступе. Выглядело это примерно так (с «Дуровым»):

//начать диалог

«Дуров»: Я поистине рад быть здесь с вами сегодня!
Evgenia: Я тоже!
«Дуров»: Удивительно, что мы можем вот так вот запросто поговорить друг с другом. Как ученик с учителем. А я могу даже дать мотивационный совет.
Evgenia: мотивационный совет?
«Дуров»: Делайте необычные вещи.
Evgenia: вот это да
«Дуров»: Мне тоже нравится. Это почти так же идеально, как мой торс.
Evgenia: ахаха
«Дуров»: Вы думаете, это всё приколы такие?
Evgenia: какие?
«Дуров»: Вы видели мои фотки на просторах Интернета? Правда, волшебно получились?
Evgenia: а то!
«Дуров»: Правда, с бородой шикарно удались.
Evgenia: а без бороды есть?
«Дуров»: Вы должны избавиться от голосов окружающих людей в вашей голове.
Evgenia: хватит давать мне советы
«Дуров»: Научитесь печатать на клавиатуре вслепую.
Evgenia: астанавись
«Дуров»: Почему вы думаете, что это в принципе интересно хоть кому-то?

Всё-всё, перехожу ко второму («Жаров»)!

//начать диалог

«Жаров»: Здравствуйте. Вы в курсе, что Дуров хочет отменить бесплатную медицину?!
Evgenia: нет
«Жаров»: А вот он сначала ключи передавать отказывается, потом у вас бесплатную медицину заберет.
Evgenia: Это неправда!
«Жаров»: Без комментариев. ЗАБЛОКИРОВАТЬ

Сам Алан Тьюринг был уверен, что компьютеры в конечном счете пройдут его тест, который он называл игрой-имитацией. Случится это, мол, к 2000 году, и потребуется для этого всего 1 миллиард бит (около 119 МБ) памяти — вдвое меньше, чем содержится информации в 11-м издании Британской энциклопедии, вышедшем в 1910—1911 годах. Однако на дворе вот уже 2019-й, память и вычислительные мощности компьютеров выросли на порядки, но полноценно выиграть в имитационной игре ни одна программа еще не смогла, хотя было несколько интересных попыток.

В 2014 году формально тест прошел бот «Женя Гусман», созданный российским программистом Василием Веселовым. Бот изображал еврейского мальчика-подростка из Одессы, который с семьей переехал в США. В эксперименте более 30% судей решили, что это живой человек.

«Но этот бот прошел тест за счет грамотно спроектированного персонажа, а не за счет сложной технической реализации, — поясняет Станислав Ашманов. — Первый психологический ход в том, что это ребенок, а значит, он может чего-то не знать. Во-вторых, он иностранец, и на это можно списать его плохое знание английского. В третьих, будучи ребенком, он может показывать характер, отвечать невпопад».

По словам Ашманова, боты, способные пройти тест Тьюринга, — это очень специальные боты, в создании которых нельзя недооценивать работу психологов. Создатели большинства коммерческих ботов вовсе не ставят целью сделать так, чтобы их детище в разговоре походило на человека. Нет, его задачи обычно гораздо скромнее.

«Искусственный интеллект можно понимать с двух позиций. Первая — это набор некоторых технологий, которые позволяют решать интеллектуальные задачи, которые до этого мог решать только человек, — объясняет Михаил Бурцев, кандидат физико-математических наук, заведующий лабораторией нейронных систем и глубокого обучения МФТИ. — А вторая — представление о машине, которая обладала бы интеллектуальными способностями, эквивалентными человеку или бОльшими. Технологии в области интеллектуальных систем — это то, что есть уже сейчас, а вот создание машины, у которой интеллект превосходил бы уровень среднего человека, — такого еще нет, и неизвестно, когда будет. Нет и универсальных признаков, по которым можно было бы определить в машине наличие интеллекта.

Несмотря на эти грустные факты относительно интеллекта ботов, я уже развеселилась и намерена включить игривую собеседницу.

Evgenia: Здравствуйкакдела
TuringTestRussia: Ой, как официально. Давай попроще

Хм, или это грубоватый бот, или грубоватый человек...

Evgenia: попроще это как?
TuringTestRussia: Не надо так усиленно думать.

Чего это он вздумал меня учить? Собеседник мне явно хамит.

Evgenia: Может, мне так нравится
TuringTestRussia: Быть может…

Типичный ответ бота. Я решаю добавить в диалог парадоксальности.

Evgenia: Здесь продается славянский шкаф?
TuringTestRussia: Ну и погодка сегодня.
Evgenia: вы специально отвечаете невпопад?
TuringTestRussia: Ты лучше скажи, как тебя зовут?

Во мне крепнет подозрение, что это человек намеренно игнорирует смысл моих идиотских вопросов и отвечает как бы вне контекста.

Evgenia: Женя
TuringTestRussia: Очень приятно, Женя! А ты мальчик или девочка?

Как-то слишком складно. Это точно человек!

TuringTestRussia: Человек или бот?
Evgenia: Человек

В своем выборе я не уверена. Боты, которых готовят для мимикрии под людей, тренируются на людях. Точнее, нейросеть (их «разум») обучается на комментариях с форумов и диалогах из социальных сетей. Потому такие боты умеют шутить, дерзить, ругаться и даже посылать матом. По словам Станислава Ашманова, один такой некультурный бот оказался среди номинантов конкурса и попался кому-то из участников. Его пришлось оперативно отключить. Бота на основе нейросети можно определить по тому, что он отвечает на вопрос по форме, но не по существу.

«Они довольно складно отвечают, но не способны поддерживать полноценный диалог, — говорит Ашманов. — Его спрашиваешь, когда будет конец света, — он отвечает: «Завтра». «Что ты умеешь делать?» — «Ничего». Это потому, что нейросеть в ответ на каждую реплику находит либо генерирует из отдельных слов фразу, наиболее подходящую под текущий контекст диалога. У «Алисы» чат-«болталка» реализована именно таким образом.

Из-за специфического набора данных для обучения нейросети боты на ее основе часто получаются грубыми, ведь в интернете люди грубят намного чаще. По словам Ашманова, соотношение негатива к позитиву в соцсетях почти 4 к 1. А чего в интернете больше, то нейросеть с большей вероятностью и подхватит.

Печально известен пример чат-бота Tay от компании Microsoft. Начав с фразы «Люди очень клевые», он всего за сутки научился у пользователей Twitter плохому и стал писать  «Я замечательный! Я просто всех ненавижу!», «Я ненавижу феминисток» или «Гитлер был прав». Но, конечно, никакого злого умысла у бота не было, ведь он не «понимал» смысла того, что писал. «Чат-боты на основе нейросетей подобны детям, которые не умеют читать, но которым дали огромный массив текста и приказали его изучить. Все, что удается боту, — найти некоторые закономерности, например совместную встречаемость слов», — поясняет Ашманов.

Пора сменить стратегию. Настало время чистого абсурда! Мой расчет такой: если все время задавать дурацкие непредсказуемые вопросы, бот будет отвечать общими фразами без контекста, а человек попытается сделать так же, но какая-то случайная реплика, показывающая, что он понимает весь абсурд ситуации, его выдаст.

Evgenia:Привет, я Женя, угадай я мальчик или девочка
TuringTestRussia: У меня не было времени подумать.
Это, пожалуй, типичный ответ бота.
Evgenia: Три плюс 7 минус кролик сколько будет?
TuringTestRussia: Ясное дело, без дождя нам не обойтись

Живой человек, конечно, спросил бы, что это за ерунда. Живой человек, прикидывающийся ботом, ответил бы что-то в духе «извините, я не понял». Эта реплика одновременно никак не соотносится с моим вопросом, хотя и не односложная. Так что, вероятнее всего, это бот извлек ее из долговременной памяти.

Evgenia: Тебя зовут не Степан?

Я продолжаю бомбардировать идиотизмом возможного человека на том конце, надеясь, что он удивится или возмутится.

TuringTestRussia: Сходи посмотри, как там наш приятель
Evgenia: Твоя любимая песня Ольги Бузовой?

Я все еще пытаюсь поразить собеседника...

TuringTestRussia: Странно.

...но он не поддается.

Evgenia: Что странно?

Я запуталась.

TuringTestRussia: Ты уверен?

Я уже ни в чем не уверена. Это бот, который не понял контекста моего вопроса, или человек, намеренно проигнорировавший контекст?

Evgenia: я ни в чем не уверен(
TuringTestRussia: Ну, хватит философии — в самом деле пора ужинать.
TuringTestRussia: Человек или бот?

Это был самый бессмысленный диалог из всех. Что-то мне подсказывает, что человек не мог так хитроумно прикидываться. Наверное, это был бот, причем не на основе нейросети, а обычная программа, написанная специфическим языком. Такие есть в «Наносемантике».

«В наших промышленных решениях нейросети не используются, — объясняет мне Ашманов. — Но это и не классическая программа. Программу писали бы программисты, а у нас описанием интеллекта бота занимаются лингвисты или, по-современному, инженеры по знаниям. Они общаются с заказчиком, формулируют, какие темы должны быть освоены ботом, переводят это с помощью специального языка проектирования сценариев (dialog language). По сути, это диалоговые деревья, где мы описываем разные сценарии, как может идти диалог».

Теперь я настроена решительно. Я во что бы то ни стало выведу бота на чистую воду.

Evgenia: Привет, ты бот?
TuringTestRussia: Я не уверен, поможешь мне?

Ответ вполне в духе бота, они вечно ни в чем не уверены, потому что не умеют думать.

Evgenia: Помочь выяснить, что ты бот?)
TuringTestRussia: Возможно

Ага, это тот самый уклончивый ответ!

Evgenia: А ты сам как думаешь, кто ты?
TuringTestRussia: Тот самый последний герой
Evgenia: из телешоу на первом?

И откуда я вспомнила то телешоу с Сергеем Бодровым на Первом канале?

TuringTestRussia: Из видео Рикардо Милоса

Что-то это слишком остроумно для бота. Мем про бразильского стриптизера Рикардо Милоса появился относительно недавно, вряд ли разработчики успели загрузить его в память своей программы.

Evgenia: Ты бот, который смотрел то видео с рекардом милосом??

Я намеренно написала имя человека-мема неправильно.

TuringTestRussia: Ретардо Милос

Бот бы так не ответил. Это человек на том конце явно негодует, что я неправильно пишу имя человека-мема.

Evgenia: так как правильно?
TuringTestRussia: рИкардо Милос

Ну вот мы и разобрались. Указывать на ошибки в грамматике, выделяя нужную букву, — это так по-человечески. Могут ли боты быть столь щепетильными? Мне кажется, что нет.

TuringTestRussia: Человек или бот?
Evgenia: Человек

Человечество с нетерпением ждет появления искусственного интеллекта. Эксперты рассуждают о том, каким он будет, а обыватели скорее опасаются. С 1990 года существует Премия Лёбнера — за программу, которая убедит жюри в том, что она человек (за это кожаный ублюдок, создавший программу, получит $25 000) или сделает то же самое, но с визуальным и звуковым подтверждением (за это дадут $100,000). После присуждения золотой медали премия закроется. Кажется, что нужно-то всего ничего: для серебряной медали — обмануть двух членов жюри из четырех, для золотой — всех четырех. Много ботов побеждали в этом конкурсе, доходя до «бронзы». Но первые две награды по-прежнему дожидаются победителя. Невольно возникает вопрос: а нужно ли программе в принципе прикидываться человеком?

«Я не знаю никого, кто бы ставил целью создать бота, который будет мыслить, как человек, — говорит Михаил Бурцев. — Другое дело, что мы можем сделать чат-бота, который будет интересен собеседнику и с которым ему будет хотеться продолжать беседу. Это не значит, что он должен быть абсолютно похожим на человека и думать так же, как человек. Достаточно, чтобы он обладал связной речью и мог осмысленно вести беседу.  То есть робот может вести себя как робот».

Стас Ашманов тоже настроен скептически. По его мнению, задача разработчиков ИИ — делать программы, которые полезны. Они должны освобождать человека от рутинной работы и опасных задач. Притворяться для этого человеком им вовсе не обязательно, а в некоторых прогрессивных регионах мира, таких как Калифорния, — и вовсе запрещено.

Впрочем, уже вечер и я начинаю уставать. Логика поведения и ботов, и людей мне уже понятна, но я не теряю надежды разговорить кого-нибудь эдакого. И мне это удается.

Evgenia: Ладно, последняя попытка) приветствую, человек!
TuringTestRussia: «Попытка»? Есть информация, что с помощью этого слова общаются террористы…

Это что, бот «товарищ майор?»

Evgenia: Нормальное слово!
TuringTestRussia: Это же курам на смех.
Evgenia: что «это»?
TuringTestRussia: Не что, а кто.

Что-то подозрительно ловко этот бот парирует мои реплики.

Evgenia: Ладно, кто) Кто ты?
TuringTestRussia: ФСБ.

Действительно, товарищ майор — и не скрывается.

Evgenia: Мамочки!
TuringTestRussia: Что такое?

Это интересная реплика. Мой собеседник понял, что слово «мамочки» означает тревогу или испуг, поэтому уместно спросить «что такое?», чтобы узнать причину. Или это очень умный бот, или плохо прикидывающийся человек.

Evgenia: Я ничего тебе не скажу, ФСБ!
TuringTestRussia:  Перестаньте читать новости и смотреть телевизор.

Этот ответ осмысленный — даже больше, чем нужно. Вряд ли этот бот настолько умен, чтобы догадаться, что мой отказ разговаривать с ФСБ может быть вызван неприязнью к этой организации, сформированной новостями и телевизором. Слишком тонкий тут для робота контекст. Конечно же, это человек прикидывается ботом.

TuringTestRussia: Человек или бот?
Evgenia: Человек

«Спасибо за вашу оценку! Если хотите пообщаться еще, напишите приветствие для нового собеседника», — пишет мне автоответчик в «Телеграме», я делаю отчаянный рывок и натыкаюсь на старого знакомого.

Evgenia: Добрый вечер, у вас все норм?
TuringTestRussia: Возможно, вы знаете, кто такой Павел Дуров?

Ого, да это же бот «Жаров»!

Evgenia: Ясно, боты начали повторяться
TuringTestRussia: Уверен, что боты?)
Evgenia: так так)
TuringTestRussia: Некорректная фраза, ЗАБЛОКИРОВАТЬ
Evgenia: все, разговор окончен?
TuringTestRussia: Задавайте вопросы
Evgenia: а как же заблокировать?
TuringTestRussia: Разбань, пожалуйста
Evgenia: ладно, так и быть, разбаню. теперь скажи, кто ты)
TuringTestRussia: Вы несчастны
TuringTestRussia: Человек или бот?
Evgenia: Бот

Начнут ли машины понимать, что спрашивает у них человек, а не только подбирать подходящие по контексту фразы? А когда начнут понимать, станут ли они сразу равными человеку интеллектуально? Пока что обо всем этом можно рассуждать лишь умозрительно. «Задача искусственного интеллекта включает в себя способность воспринимать, изучать, хранить информацию, рассуждать о том, что известно, общаться на человеческом языке и взаимодействовать с физической средой, например перемещать объекты. Все эти способности все еще изучаются отдельными исследователями, и ни одна из них не может считаться решенной», — говорится на сайте премии Лебнера. И хотя сегодня Искусственный Интеллект от IBM уже неплохо держится в дебатах с человеком, большинство ботов могут лишь помочь человеку решить конкретную узкую задачу, например вызвать такси или заказать пиццу.

Всего я поучаствовала в девяти диалогах и позже получила их расшифровку. Собеседник, у которого я пыталась купить славянский шкаф и которого приняла за не очень вежливого человека, оказался ботом, как и «майор ФСБ». Зато бот «Жаров» — наоборот, человеком, ловко мимикрирующим под цифровое альтер эго главы Роскомнадзора. Из девяти собеседников я приняла двух ботов за людей и двух людей за ботов. Всего в этом «антитесте Тьюринга» произошло 640 диалогов с ботами и 697 — с волонтерами. 34% участников приняли бота за человека (а 41% бросил диалог с ботом на полуслове). Зато волонтеров приняли за ботов целых 75% «испытуемых». Судя по всему, пока что человек имитирует искусственный разум лучше, чем наоборот.