Разработка сложных систем искусственного интеллекта в лабораторных условиях — трудная задача. Но что происходит, когда такие системы попадают в реальный мир и начинают взаимодействовать с реальными людьми? Именно это пытаются выяснить исследователи, в том числе доктор Фернандо Диас, старший руководитель по исследованиям в Microsoft Research Montreal. Сегодня доктор Диас поделится своими мыслями и ответит на наши вопросы об искусственном интеллекте и его влиянии на общество.
Вместе с коллегами Фернандо старается понять, как системы ИИ воздействуют на социум, попадая в реальный мир, и как можно справиться с последствиями. Он также расскажет о том, как технологии могут формировать музыкальные вкусы, и объяснит, почему именно сегодня так важно обучать студентов, получающих образование в сфере компьютерных наук, не только алгоритмам, но и этическим принципам.
Интервью
Когда я запускаю эксперимент, то спрашиваю себя: какие эксперименты над пользователями считаются этичными, а какие — нет? Насколько широко нужно информировать людей о том, что они стали участниками эксперимента? Как распознать и устранить необъективность данных, используемых технологиями машинного обучения? Это приходит в голову в первую очередь. В следующие годы возникнет немало других вопросов, например как разработать системы ИИ таким образом, чтобы продемонстрировать уважение к пользователям.
Вы слушаете подкаст Microsoft Research. Здесь мы знакомим вас с передовыми исследованиями в области технологий и учеными, стоящими за ними. С вами ведущая Гретчен Хьюзинга (Gretchen Huizinga).
Разработка сложных систем искусственного интеллекта в лабораторных условиях — трудная задача. Но что происходит, когда такие системы попадают в реальный мир и начинают взаимодействовать с реальными людьми? Именно это пытаются выяснить такие исследователи, как доктор Фернандо Диас, старший руководитель по исследованиям в Microsoft Research Montreal. Вместе с коллегами Фернандо старается понять, как системы ИИ воздействуют на социум, попадая в реальный мир, и как можно справиться с последствиями.
Сегодня доктор Диас поделится своими мыслями и ответит на наши вопросы об искусственном интеллекте и его влиянии на общество. Он также расскажет о том, как технологии могут формировать музыкальные вкусы, и объяснит, почему именно сегодня так важно обучать студентов, получающих образование в сфере компьютерных наук, не только алгоритмам, но и этическим принципам. Об этом и многом другом — в новом выпуске подкаста Microsoft Research.
Фернандо Диас, добро пожаловать в подкаст.
Спасибо.
Вы старший руководитель по исследованиям в Microsoft Research Montreal и работаете в сфере искусственного интеллекта, поиска и получения информации. Но вы также изучаете принципы честности, подотчетности, прозрачности и этичности (Fairness, Accountability, Transparency and Ethics, FATE). То есть, если говорить в целом (к конкретике мы перейдем позднее): что заставляет вас просыпаться по утрам? На какие серьезные вопросы вы ищете ответы, какие важные проблемы хотите решить?
Многие из систем, созданием которых мы занимаемся, весьма успешны. Поиск информации, веб-поиск, компьютерное зрение — все эти технологии разрабатывались в течение долгих лет. Сегодня они активно наполняют массовый рынок, и люди начинают использовать их каждый день. Однако кое-что ИТ-специалисты не продумали как следует при проектировании этих технологий: в каком именно социальном контексте они будут использоваться.
И в данном случае я просто пытаюсь понять, какие предпосылки социального характера существовали для создания этих систем, как влияет социальный контекст, в рамках которого они работают, не только на наши показатели, например на точность и полноту возвращаемых данных, но и на общество в целом. Мне кажется, именно этот вопрос выходит на передний план для ИТ-специалистов, поскольку многие из этих технологий, разрабатываемых изолированно, только сейчас начинают выходить на рынок.
Итак, вы ИТ-специалист, вы исследовали алгоритмы получения информации, машинного обучения и статистические методы. Однако в последнее время вас интересует взаимодействие технологий искусственного интеллекта с обществом, в частности последствия их широкого распространения или, как говорят некоторые, их выхода в свет. Почему вас это заинтересовало именно сейчас? Что вас беспокоит? Что подстегнуло ваш интерес к этому направлению?
Отличный вопрос. Сначала я, разумеется, поступил в магистратуру, получил степень. Я изучал все эти системы, так сказать, на абстрактном уровне, экспериментировал со статическими данными, полученными в автономном режиме. Вскоре после окончания учебы я попал в лабораторию промышленных исследований. Здесь я работал вместе с производственниками, мы занимались практической реализацией технологий, которые я изучал в университете.
И вот тогда я начал понимать: когда мы масштабируем эти алгоритмы и предоставляем их реальным пользователям, большинство базовых предположений, выдвинутых в лаборатории, совершенно неприменимы в реальности. Для меня это была своего рода итоговая проверка всех моих исследований, возврат к базовым принципам и попытка понять, в чем состоит проблема, как я могу точно оценить результаты и достичь конкретных показателей. То есть вам уже доводилось работать в Microsoft Research, потом вы ушли оттуда, а затем снова вернулись. Вы начинали в Нью-Йорке, а теперь переехали в Монреаль. Почему вы вернулись?
После университета я начал исследовательскую работу в Монреале и по ряду причин был вынужден оттуда уехать. Но, живя там, я понял, что в этом городе — как и в Канаде в целом — довольно сильна традиция исследований в области ИТ, машинного обучения. И в глубине души я действительно всегда хотел сюда вернуться, чтобы участвовать в этой работе. И когда представилась возможность возвратиться в лабораторию Microsoft Research в Монреале, я с радостью ею воспользовался. Особенно если учесть, что лаборатория всецело занимается разработками в сфере искусственного интеллекта. В Монреале велись очень активные исследования в этой области, и мне хотелось стать частью всего этого, внести свой посильный вклад.
Давайте скажем пару слов о Монреале. Этот город стал настоящей Меккой во всем, что касается искусственного интеллекта, и перед лабораторией SMR Montreal стоит вполне конкретная задача — научить машины читать, мыслить и общаться точно так же, как это делают люди. Расскажите о том, как далеко вы продвинулись на этом пути и как ваши собственные исследования коррелируют с работой монреальской лаборатории.
Я думаю, специальная лаборатория, занимающаяся исследованием ИИ, была создана потому, что возникло множество вопросов относительно разработки таких систем, и на них до сих пор не найдены ответы. И я думаю, что для этого нужны далеко не только специалисты по обработке естественных языков, не только специалисты по диалогическому обучению или по стимулированию обучения. На деле все они должны работать в тесном взаимодействии. И мне кажется, именно это делает нашу лабораторию действительно уникальной.
Моя задача сегодня — явиться в лабораторию, по возможности пообщаться со специалистами и рассказать им о том, как могут повести себя эти системы, когда с ними начнут взаимодействовать реальные люди. Как я говорил ранее, такие системы довольно легко разрабатывать в отрыве от реальности, изолированно. Но когда начинается их практическое внедрение, выясняется, что в ходе экспериментов было сделано слишком много допущений. Сейчас я формирую команду, задача которой — предугадывать появление подобных вопросов, оптимизировать разработку системы, повышать ее устойчивость в условиях, скажем, различий между группами населения, с которыми мы взаимодействуем, или вариаций внутри базы знаний, из которой я черпаю информацию.
Какую команду вы хотите сформировать?
Я пытаюсь создать своего рода «сестру» группы FATE, которую мы организовали в Нью-Йорке несколько лет назад. Основное внимание мы будем уделять социальным последствиям интеграции искусственного интеллекта в жизнь общества. В нашу команду войдут специалисты не только в сфере ИТ, но и в смежных дисциплинах, например в социологии. Чтобы ИТ-специалисты лучше понимали последствия для общества, нужны эксперты-социологи, антропологи и так далее. Они смогут рассказать много полезного о таких вещах, которые мы до сих пор не оценивали и не учитывали.
Да, вот об этом давайте поговорим подробнее. Применение принципов FATE при проведении различных исследований в области искусственного интеллекта и машинного обучения на сегодняшний день имеет первостепенное значение. Как вы уже сказали, причина в том, что далеко не все спорные вопросы можно должным образом изучить в лабораторных условиях. Вместе с запланированным результатом могут возникнуть совершенно неожиданные, шокирующие людей последствия. Итак, исследователи данного сообщества имеют разную специализацию и образование. Каков вклад каждого из специалистов, когда речь идет о принципах честности, подотчетности, прозрачности и этичности?
Да, социологи гораздо лучше понимают различные аспекты применения технологий в целом, знают о возможных положительных и негативных последствиях, о том, как люди реагируют на те или иные предлагаемые нами инструменты. Специалисты с юридическим образованием смогут прокомментировать политическую подоплеку отдельных разрабатываемых технологий и помогут нам глубже разобраться в таком понятии, как «честность», например.
ИТ-специалисты, в свою очередь, лучше понимают суть разрабатываемых систем, способны воплотить такие понятия, как «честность», в жизнеспособную концепцию и включить ее в систему. Однако наличие самых разных точек зрения на одну и ту же проблему просто необходимо, чтобы проектировать системы более эффективно.
Давайте вернемся к тому, чем вы занимались в прошлом и над чем продолжаете работать сейчас: системы доступа к информации, поисковые системы и получение информации. В составленном вами документе вы говорите о существовании некого разрыва между исследованием таких систем и их практической реализацией, но при этом делаете провокационное заявление, что с некоторыми проблемами лучше справятся сотрудники образовательных учреждений, чем отраслевые технические специалисты. Что это за проблемы и почему вы так считаете?
Давайте рассмотрим ситуацию, сложившуюся в сфере исследования доступа к информации. Есть научные сотрудники образовательных учреждений, много сделавшие для блага общества, однако сегодня многие исследования, скажем в области веб-поиска, осуществляются крупными поисковыми гигантами, которые располагают данными, сведениями о пользователях и так далее. А научные сотрудники в большинстве случаев не имеют доступа к таким данным, платформе для проведения экспериментов. Поэтому возможности исследования явно неравные.
И в своей статье я писал о том, что научные сотрудники образовательных учреждений не располагают большим объемом данных, зато имеют возможность привлекать разнопрофильных специалистов, что не могут сделать поисковые гиганты. В университете имеются социологи и эксперты в других науках. Есть преподаватели экономических дисциплин. Все эти потенциальные «соучастники» исследований помогут взглянуть на проблему шире, изучить ее с различных точек зрения, вместо того чтобы упереться в одну-единственную, которой придерживается какой-нибудь поисковый гигант.
Я думаю, что формирование наборов данных — всего лишь одна из стратегий. Еще один подход, или тип научной платформы, недоступный для образовательных учреждений, — эксперименты. Я могу проводить A/B-тесты. Вы можете ставить контролируемые эксперименты с участием большой выборки пользователей, которая недоступна в наборе данных.
Да, это правда.
И еще, мне кажется, стоит изучить, как на самом деле мы предоставляем образовательным учреждениям доступ к своим ресурсам для проведения подобных контролируемых экспериментов.
Интересно.
Все это происходило хаотично, бессистемно, и мне кажется, именно об этом нам, отраслевым исследователям, нужно подумать: как сделать доступ к таким возможностям более простым и удобным.
Так, давайте вернемся к данным. Скажем о них пару слов. Специалисты, которые занимались машинным обучением, пришли к согласию в том, что недостаточно иметь просто «большие данные» — я специально говорю «большие данные» в кавычках. Помимо прочего, требуются высококачественные и объективные данные. Мы знаем, что всем этим наборам больших данных в той или иной степени недостает объективности.
И нам надо это исправить. Сегодня много говорят о том, как повысить объективность данных за счет, например, аудитов поисковых систем, алгоритмов обеспечения равноправия и тому подобных вещей. Как это сделать?
Одна из причин нашего беспокойства относительно необъективности данных: обученная на основе этих данных модель будет необъективной при развертывании. То есть самое важное — иметь возможность определить, насколько объективно действует искусственный интеллект. И если он действует предвзято, нужно вернуться назад и переобучить алгоритм или добавить в него ограничения, которые не позволят перенять необъективность от данных. Моя работа на сегодняшний день в основном ориентирована на оценку и измерение.
Мы хотим понять пользователей, обращающихся к системе, понять, что им нужно, и оценить, объективно или необъективно система действует с учетом того, кто эти пользователи, к какой группе населения относятся. Для этого необходим богатый опыт, наработанный специалистами по получению информации, которые с начала таких исследований еще в 50-х годах XX века успели продумать все алгоритмы оценки и измерения. Именно это позволяет найти естественный баланс между аудитом, оценкой и получением информации. Как мы уже говорили, необъективность — это что-то вроде модного словечка среди исследователей в области обработки и анализа данных и искусственного интеллекта. Однако вы говорите, что помимо необъективности есть и другие проблемы социального характера, которые требуют решения. Что это за проблемы, и как исследования могут помочь в их решении?
Да, я действительно считаю необъективность очень важной проблемой, но почему я вообще заговорил о социальном контексте использования искусственного интеллекта? Потому что считаю, что необъективность — лишь одна из социальных проблем, которую мы можем выявить. Конечно, есть и другие. Очевидно, что одна из них связана с прозрачностью. Как мне сделать решения, принимаемые алгоритмом, прозрачными для пользователей, дать им почувствовать, что они могут контролировать ситуацию, участвовать в работе алгоритма?
Вторая проблема — культурная подоплека алгоритмов. Это все происходит в контексте, скажем, подбора рекомендаций фильмов или музыки. Например, я создаю большую систему по подбору рекомендаций музыки для пользователей. Какими будут последствия развертывания этого алгоритма для культуры, если мне известно, например, что, добавив отдельных исполнителей в рекомендацию, можно определенным образом сформировать чьи-то музыкальные вкусы? Что это будет значить для создания или сохранения культуры в долгосрочной перспективе?
Есть еще один аспект этой проблемы: алгоритмы подбора рекомендаций музыки могут оказывать существенное влияние на самих авторов или исполнителей. Как ИТ-специалист, я могу сказать, что это лучший алгоритм для подбора рекомендаций музыки. И я собираюсь его вывести на рынок. Но мы, ИТ-специалисты, вообще не думали о том, как этот алгоритм повлияет на авторов. Для меня лично это особенно важно.
Как в таком случае вы собираетесь провести исследования, которые все это будут учитывать?
Давайте вернемся к примеру с подбором рекомендаций музыки. Представьте, что вы тесно общаетесь с музыкантами и прекрасно понимаете, как это важно для них. Каково им будет узнать, что они исключены из системы? Каково чувствовать, что их жизнью управляет система подбора рекомендаций, а они совершенно не могут повлиять на нее? Мне как ИТ-специалисту просто необходимо сесть за стол с социологами и антропологами, специалистами по массмедиа, чтобы лучше понять, что собой представляет такая значительная группа населения, как музыканты.
И затем я, ИТ-специалист, смогу сесть и подумать, как создать алгоритм, который будет удовлетворять потребностям и слушателей, и музыкантов. Теперь мне уже кажется, что такая формулировка звучит слишком упрощенно. Именно поэтому я хочу, чтобы специалист по другим дисциплинам сказал мне: «Фернандо, знаешь, ты не подумал вот об этом, о том и еще о том».
Учитывая характер ваших исследований и получаемые результаты, можете ли вы сказать, что нам есть, о чем тревожиться? Есть вещи, которые мешают вам спать спокойно?
Лично меня беспокоит тот факт, что многие из технологий, разрабатываемых в нашем исследовательском сообществе, выходят в мир, запускаются в массовое обращение за считанные дни или недели. И это делают люди, которые сами не проводили никаких экспериментов. Ничего страшного нет в «открытой науке», однако я думаю, что нам стоит узнать побольше и разобраться получше в последствиях применения алгоритмов, прежде чем их куда-то внедрять. И еще меня беспокоит, что мы очень быстро выпускаем все больше и больше новых алгоритмов, не до конца оценив и поняв их последствия.
Лаборатория Microsoft Research славится тесным сотрудничеством с образовательными учреждениями. И я знаю, что образованию вы уделяете огромное внимание. Поговорим о том, что происходит с образованием с точки зрения принципов FATE — честности, подотчетности, прозрачности и этичности. Расскажите нам, как вы видите будущее образовательных программ в этой сфере.
Знаете, когда я уже поступил в магистратуру… или еще раньше, пока учился на факультете ИТ, нас практически не обучали принципам этичности и не рассказывали о том, какие последствия для общества несут технологии, разработкой которых мы занимаемся. Частично это, наверное, объясняется тем, что студенты изучают операционные системы или способы получения информации на неком абстрактном уровне. Они не думают о реальном контексте, в котором будут развертываться эти технологии. Будем честными, студентам хватает мороки и с базовыми алгоритмами.
По-моему, когда я учился, да и сегодня, вопрос последствий для общества и социальной ответственности, которую должны нести инженеры и специалисты по компьютерным технологиям, даже не возникал. Думаю, сейчас люди приходят к пониманию того, что это важно. Мне кажется, что сегодня ИТ-отделы начинают организовывать свою работу с учетом этичности, и студентов тоже начинают этому учить. Однако меня по-прежнему беспокоит тот факт, что разработкой систем все еще занимается огромное количество людей, которые этому никогда не учились. Кроме того, чтобы основать компанию, знаете ли, вовсе не требуется докторская степень в ИТ.
И вот эта сторона вопроса — наличие должного образования — меня действительно тревожит. Однако в том, что касается обучения, я прошел хорошую школу в лаборатории отраслевых исследований и могу поделиться своим опытом со студентами в аудитории, чтобы они лучше понимали не только практическую сторону масштабного развертывания систем машинного обучения, но и последствия с социальной и этической точек зрения.
Именно эти вопросы я уже поднимал раньше: «Когда я запускаю эксперимент, то спрашиваю себя: какие эксперименты над пользователями считаются этичными, а какие — нет? Насколько широко нужно информировать людей о том, что они стали участниками эксперимента? Как распознать и устранить необъективность данных, используемых технологиями машинного обучения?». Это приходит в голову в первую очередь. В следующие несколько лет возникнет еще немало других вопросов, например как нам разработать системы таким образом, чтобы продемонстрировать должное уважение к пользователям.
Знаете, наверное, можно сравнить это со знаменитой клятвой Гиппократа «не навреди». Системы, которые создаются, чтобы помочь людям, должны гарантировать, что людям не будет нанесено вреда. В первую очередь, конечно, мы соотносим этот принцип с физическим вредом. Но тем отраднее понимать, что сегодня мы начинаем задумываться об этом, когда речь идет о масштабном развертывании систем искусственного интеллекта. Хотя аналога управления по контролю за препаратами и пищевыми продуктами для искусственного интеллекта не существует, все равно мы движемся в правильном направлении.
Да. И я считаю, важно понимать, что подобное уже было в других сферах, как вы уже говорили, и мы не первые, кто через это проходит. И мы можем воспользоваться поддержкой специалистов по медицинской этике или социологов, они помогают нам осознать, что значит быть ответственным ИТ-специалистом. То есть нам не нужно начинать с нуля. У нас есть, к кому обратиться за содействием, специалисты других дисциплин помогут нам решить эту проблему.
Итак, в конце нашего разговора я спрошу: чего ждать следующему поколению исследователей в вашей области знаний? Я знаю: на этот вопрос невозможно дать короткий простой ответ, но, по крайней мере, что вы можете посоветовать нашим слушателям, многие из которых также занимаются исследованиями. Возможно, им тоже интересны последствия использования технологий ИИ для общества?
Я думаю, для тех, кто интересуется этой областью… многие исследования, проводимые сегодня, всего лишь первый шаг на очень долгом пути. Это невероятно интересно, потому что мы начинаем задавать серьезные, очень важные вопросы. И мне кажется, что в будущем предстоит искать ответы и на другие, не менее важные вопросы, и этим как раз займутся сегодняшние новички, молодые и энергичные исследователи.
Мне кажется, это исследование приобретет огромное значение для общества, поскольку сегодня уже активно используется множество таких систем. И возможность участвовать, например, в создании поисковой системы, чтобы исправить все те недостатки, о которых мы говорили сегодня, и скорректировать последствия для общества — это просто невероятно мощный инструмент влияния. Прекрасное время для молодых исследователей.
Подробнее о биографии доктора Фернандо Диаса и его исследованиях, посвященных честности, подотчетности, прозрачности и этичности (FATE) в IT, см. на веб-сайте.
