Грег Коррадо (Google): «Не называйте глубокие нейросети чёрным ящиком»

Грег Коррадо — директор исследовательского центра Google и сооснователь подразделения Google Brain Team. Он разрабатывает продукты в сфере искусственного интеллекта, нейроинформатики, внедряет machine learning в пользовательские продукты. Редактор «Секрета фирмы» Алина Толмачёва и руководитель отдела машинного обучения Rambler & Co Павел Клеменков расспросили Коррадо о будущем искусственного интеллекта, машинного обучения и нейросетей, а также о работе Google с большими массивами данных.

«Если бы я делал новый технический сервис, точно бы задумался о глубоких нейронных сетях»

Павел Клеменков: Когда в 1957 году придумали персептрон, все газеты писали, что уже через два года человекоподобные роботы полетят на Луну. В 1986 году появился метод обратного распространения ошибки, и снова возник хайп. Сейчас очередной всплеск интереса к глубинному обучению. Как вы думаете, это просто мода, которая пройдёт, или фундаментальный процесс?

— Я уверен, что машинное обучение — фундаментальная технология, которая с нами надолго. Следующий шаг — градиентные методы обучения (минимизирующие ошибку путём подсчёта производной функции. — Прим. «Секрета»). Эта область более узкая, чем машинное обучение, но более общая, чем нейронные сети. Не знаю, как долго она продержится.

Мы должны быть готовы к появлению новых алгоритмов, которые смогут использоваться в рамках машинного обучения. Глубокие нейронные сети — только один очень специфичный тип в градиентном методе машинного обучения. Это не просто мода — мы видим, что технология работает на практике. В Google мы используем её во многих продуктах и сервисах, но, я думаю, мы не должны привязываться к ней слишком сильно.

Если кто-нибудь попросит меня сделать новый технический сервис в этом году, я точно задумаюсь о глубоких нейронных сетях.

Алина Толмачёва: Как вы думаете, какая новая технология придёт на смену нейросетям?

— Существующими подходами к глубинному обучению я не сильно доволен. Пока у нас нет систем, которые точно и правильно работают с вероятностными интерпретациями: нейросети дают правильный ответ, но непонятно, как они это делают, непонятна степень точности их предсказаний. Пока что эта область — большое поле для технологических инноваций, которые создадут другие виды машинного обучения.

«Чем больше мы собираем данных, тем меньше получаем отдачи»

Толмачёва: У Google сейчас огромные массивы данных. Как компания собирается использовать их во внутренних продуктах?

— Данные приносят максимальную пользу только в том контексте, в котором они собраны. Например, мы использовали данные, когда улучшали наш почтовый сервис — он стал лучше распознавать спам. Если вы работаете над рекламой — используете системы машинного обучения для этих данных. Если улучшаете поисковые алгоритмы — собираете информацию о том, какой путь проходят пользователи, прежде чем они находят нужные сведения. Это всё работает, но у каждой сферы есть свои проблемные места.

© Михаил Голденков / Институт «Стрелка»

Мы видим уменьшение отдачи от сбора данных из-за того, что их с каждым днём становится всё больше. Например, я занимаюсь технологией распознавания речи, и тут главная трудность — множество диалектов и индивидуальных речевых особенностей, которые нужно учитывать в каждом языке. Качество этой системы сейчас достигает своего естественного максимума, и добавление большего объёма данных приводит лишь к незначительным улучшениям. Мы должны использовать разные подходы к компьютерному обучению, чтобы можно было почувствовать качественную разницу.

Для этого необходимо собирать данные и обмениваться ими в каждой конкретной области. Создание открытых дата-сетов по распознаванию изображений уже сейчас способствует прогрессу исследований в этой сфере. То же самое происходит с технологией распознавания речи и с переводами. Сбор дата-сета для внешнего использования — очень сложный процесс с массой нюансов. Чтобы добиться прогресса в этом, нужно собрать большое количество информации в каждой сфере и понять, сколько конкретно данных нужно для точных оценок.

«В итоге машинное обучение появится даже в мобильных устройствах»

Толмачёва: Как работа вашего подразделения вписывается в общую стратегию Google? Какие цели корпорации оно решает?

— Цель Google — собрать и структурировать всю информацию в мире и сделать её полезной. Моя команда сосредоточена как раз на том, чтобы сделать алгоритмы машинного обучения полезными и понятными для инженеров и потребителей. Мы проводим исследования, выясняем, как применять, интерпретировать и доставлять знания людям, чтобы сделать их жизнь лучше. Это касается самых разных сфер.

Толмачёва: Каких, например?

— Например, это автоматический перевод. Системы машинного перевода пока ещё не так хороши, как живые люди, владеющие языками, но технологии улучшаются. Они уже дают мне возможность читать статью в газете на любом языке или общаться в чате с новым знакомым. Вчера вечером я зашёл в ресторан, и меню там было только на русском. Я использовал свой телефон, чтобы найти какие-то блюда. Вот такие вроде бы простые вещи расширяют наш доступ к знаниям через коммуникацию.

Толмачёва: Какие ещё области охватывает машинное обучение кроме переводов и распознавания речи?

— Я, например, ещё работаю над созданием системы автоматических ответов на электронные письма (smart reply). Есть проекты, в рамках которых мы пытаемся использовать deep learning для медицинского диагностирования.

Клеменков: В продолжение разговора о больших дата-сетах, которые помогают в разных исследованиях. Хочется узнать, собирается ли Google сделать что-то подобное и выпустить нейросеть, предобученную на закрытых данных Google?

— Мы сейчас пытаемся сделать такое решение через фреймворк Tensorflow. Это будет полезно для некоторых исследований и при создании стартапов. Это система, которая в основном работает и адаптируется через обучение и передачу конкретных задач.

Клеменков: В каких сферах это работает?

— При машинном переводе, распознавании речи, разных классификациях, например музыкальных жанров. Это очень захватывающее открытие с научной точки зрения, поскольку концепция transfer learning заключается в идее схожести: если система смогла распознать что-то одно — она может сопоставить это с новыми данными и быстрее найти аналогии. Так, она понимает, что перед ней музыка одного жанра или предложения схожей структуры. Только в последние несколько лет применение технологии стало возможным с практической точки зрения. Дальше она будет только совершенствоваться.

© Михаил Голденков / Институт «Стрелка»

Клеменков: В России стартапы, которые специализируются на глубинном обучении, жалуются на дороговизну интегральных схем для вычислений GPU. Каким вы видите будущее deep learning в мобильных устройствах? Думаете, будет всемирное облако, которое сделает технологию доступнее?

— Я вижу некоторые трудности в этой области. Думаю, в ближайшем будущем конкуренция на рынке процессов машинного обучения приведёт к появлению более доступных систем для вычислений. Компьютерные ресурсы всегда были проблемой для машинного обучения. Тебе нужно было купить кластер и GPU, а это очень дорого. Поэтому компаниям было тяжело проникнуть в это пространство.

Облачные вычисления сделали ресурсы доступными. Теперь не нужно тратить много денег на оборудование. Это большое достижение. Я согласен, что пока эти ресурсы всё ещё довольно дорогие. К тому же спрос сейчас превышает предложение — очень многие хотят их использовать.

Но технологии GPU и ресурсы других экосистем приведут к снижению стоимости и значительному увеличению предложения в системах глобального облака. Думаю, это случится быстрее, чем мы полагаем, и в итоге машинное обучение появится в мобильных устройствах или игровых графических процессорах.

«У нас в команде есть человек, который даже школу не окончил»

Толмачёва: В одной из своих лекций сооснователь DeepMind Демис Хассабис говорил, что в компании работают 400 инженеров, у 250 из которых есть степень PhD. В каких лабораториях и университетах вы ищете сотрудников? Какие специфические навыки у них должны быть, чтобы вы взяли их в штат?

— И подразделение DeepMind, и другие отделы Google Research стараются нанимать людей с очень разным бэкграундом. Например, у нас есть один человек, который даже школу не окончил. Главное требование к новым сотрудникам — они должны быть заряжены идеей делать что-то новое. В нашей команде есть люди с PhD по нейронауке, математике, химии, физике, компьютерным наукам. Но на самом-то деле machine learning — довольно новая дисциплина, а основы математики дают некоторые общие представления, поэтому потом люди идут работать в разные направления.

Это одна из причин, по которым мы создали программу в Google Brain Team — она позволяет людям безо всяких знаний машинного обучения учиться в течение одного года под контролем экспертов. Это может быть и учёный с научной степенью в статистике, и хакер-нёрд, который разговаривает сам с собой, — неважно. Главное — технический склад ума и любовь к этой сфере. Мы видим, что эти люди — даже без специфических знаний — невероятно креативны и находчивы. Мы только недавно завершили первый год программы резидентства и теперь начинаем новый.

Толмачёва: Это что-то вроде стажировки?

— Не совсем. Программа стажировок у нас тоже есть, но это отдельная история: мы отбираем студентов, работающих у нас в течение одного лета. Программа резидентства длится год, и это не студенты и не те, у кого есть какая-то другая работа. Весь этот срок они посвящают только Google.

Толмачёва: Многие работодатели при отборе сотрудников говорят про страсть к делу и огонь в глазах, но как вы понимаете, что перед вами действительно увлечённый человек? Как он это демонстрирует? Показывает вам какие-то свои инновационные работы?

— Сейчас очень много открытых инструментов, онлайн-материалов… Человеку не составляет труда учиться самостоятельно, создавать интересные программы с помощью машинного обучения. Многие демонстрируют нам какие-то программы, которые они создали. Ведь когда вы идёте в художественную школу, это не значит, что вы совсем не умеете рисовать. Возможно, вы не владеете какими-то техниками, но вы практиковались, поэтому уже можете показать ваш талант.

«Иногда вспышка — это начало больших изменений. Но иногда вспышка — это просто вспышка»

Клеменков: В России есть бизнесы, которые серьёзно регулируются законом. Например, банки. Их руководители обеспокоены вопросом интерпретируемости нейросетей, поскольку не могут полноценно использовать весь потенциал технологий. Когда они смогут доверять глубоким сетям?

— У разных подходов к компьютерному обучению разный уровень интерпретируемости. Мы должны выбрать алгоритм, который подходит для конкретной области. Возможно, каким-то компаниям вообще не подойдёт машинное обучение, другим нужны очень специфичные системы, а третьим необходима максимальная точность. Я думаю, это справедливо — подбирать свой алгоритм к конкретному приложению.

© Михаил Голденков / Институт «Стрелка»

Также нужно понимать, что интерпретируемость систем постоянно совершенствуется. Неверно говорить, что с этим лучше всего справляются, например, нейронные сети или статистические системы. Тут много оттенков. Все технологии становятся всё более прозрачными за счёт новых исследований. То есть сегодня у нас один необходимый уровень интерпретируемости и прозрачности, который охватывает относительно небольшое количество алгоритмов, а через три-пять лет он может серьёзно разрастись и будет совсем другим.

Поэтому несправедливо называть глубокие нейронные системы «чёрным ящиком». Никто толком не изучал их, потому что раньше они просто не работали. Они стали доступны пять или десять лет назад, и сейчас существует целая наука, которая занимается изучением этих сетей.

Клеменков: Насколько глубокие нейросети схожи с мозгом?

— Нейронаука изучает, как работает наш мозг, почему мы принимаем определённые решения и какие есть потенциальные возможности у нашего мышления. Это очень интересная область.

Но у машинного обучения и искусственного интеллекта совсем другие цели. Это уже не о том, как понять работу чего бы то ни было, а о том, чтобы создать нечто, что будет работать.

Я надеюсь, когда-нибудь между двумя этими областями будет больше общего, но пока это совсем разные сферы. Нам только кажется, что машинное обучение может в точности повторить алгоритмы человеческого мышления, но пока между ними больше разницы, чем между птицами и самолётами.

Клеменков: Когда, по вашему мнению, связь между ними будет более прочной?

— Многие исследователи уже отчаялись найти эту связь, но некоторые продолжают находить параллели. Думаю, однажды сфера разовьётся, но в большинстве своём научное сообщество, заинтересованное в машинном обучении, игнорирует нейронауку.

Толмачёва: Вы можете представить себе мир, постигший искусственный интеллект? Каким вы его видите? Если раньше эта сфера казалась больше про цифры, физику, математику, то теперь мы видим, что это ещё и про творчество. В России есть группа, песни которой написаны генератором случайных слов, а одно японское рекламное агентство сделало креативного директора из искусственного интеллекта. Не думаете, что нас ждёт какой-то совсем другой мир с максимальным проникновением технологий в жизнь?

— В некоторых областях развитие не будет таким уж удивительным. Например, понятно, что компьютерная наука движется к более естественному взаимодействию с людьми. Но будут и неожиданные вещи, например новые возможности для музыкантов.

Да, искусственный интеллект уже сам создаёт музыку, компилирует звуки новыми способами. Но я тут настроен скептически. Иногда вспышка — это начало больших изменений. Но иногда вспышка — это просто вспышка. Ещё пару десятков лет назад никто не мог представить себе такие средства коммуникации, как Twitter или Instagram, но это произошло. Нас ждут другие подобные сюрпризы, но у меня нет хрустального шара, чтобы предсказать, что именно произойдёт.

В рамках политики раскрытия информации сообщаем, что «Секрет фирмы» входит в Rambler & Co.

Фотография на обложке: Михаил Голденков / Институт «Стрелка»