Квантовые нейросети: технология будущего

В начале 90-х годов Элизабет Берман, профессор физики в Университете штата Вичита, начала работать, чтобы объединить квантовую физику с искусственным интеллектом, в частности, с тогдашней технологией нейронных сетей. Большинство людей думало, что она смешивает масло и воду. «У меня было время публикации, - вспоминает она, – журналы о нейронных сетях говорили: «Что это за квантовая механика?», а журналы физики: «Что это за нервная сеть?».

Сегодня этот гибрид кажется самым естественным в мире. Нейронные сети и другие системы машинного обучения стали самой разрушительной технологией XXI века. Они уже превосходят нас в шахматах и го, не говоря уже о распознавании лиц и переводе на разные языки. Эти системы стали возможными благодаря огромной вычислительной мощности, поэтому технологические компании, для дальнейшего развития этой технологии, должны обзавестись не просто огромными компьютерами, а совершенно новым классом машин.

Квантовые компьютеры, после десятилетий исследований, имеют достаточную мощность для выполнения расчетов лучше любого другого компьютера на Земле. Как правило, их приложение-убийца факторизует большие числа, которые являются ключом к современному шифрованию. По крайней мере, в этом десятилетии. Но даже сегодняшние рудиментарные квантовые процессоры более чем соответствуют потребностям машинного обучения. Они манипулируют огромными массивами данных за один шаг, выделяют тонкие шаблоны, которые обычные компьютеры не видят, и не "задыхаются" от неполных или неопределенных данных. «Существует естественная комбинация внутренней статистической природы квантовых вычислений ... и машинного обучения», – говорит Йоханнес Оттербах, физик из Rigetti Computing, компании, занимающейся квантовыми компьютерами из Беркли, Калифорния.

Во всяком случае, маятник теперь качнулся в другую сторону. Google, Microsoft, IBM и другие высокотехнологичные гиганты вкладывают деньги в квантовое машинное обучение, а стартап-инкубатор в Университете Торонто посвящен этому. ««Машинное обучение»становится модным словом», - говорит Яков Биамонте, квантовый физик из Института науки и технологий им. Сколково в Москве. «Когда вы смешиваете это с «квантом», это становится мега-модным словом».

Но ничто со словом «квант» никогда не бывает таким, как кажется. Хотя вы можете подумать, что квантовая система машинного обучения должна быть мощной, она страдает каким-то синдромом "запертого человека". Он работает на квантовых состояниях, а не на человекочитаемых данных, и перевод между ними может отрицательно сказаться на его очевидных преимуществах. Это похоже на iPhone X, который, несмотря на все его впечатляющие характеристики, соединяется с абонентом так же медленно, как и ваш старый телефон, потому что ваша сеть так же ужасна. В некоторых особых случаях физики могут преодолеть это узкое место ввода-вывода, но не возникают ли эти случаи в практических задачах машинного обучения. «У нас пока нет четких ответов, - рассказывает Скотт Ааронсон, учёный из Техасского университета, Остин, который всегда является голосом трезвости, когда речь идет о квантовых вычислениях. «Люди часто были очень высокомерны относительно того, дают ли эти алгоритмы ускорение».

Квантовые нейроны

Основная задача нейронной сети, будь то классическая или квантовая, - распознавать закономерности. Вдохновленная человеческим мозгом, она представляет собой сеть базовых вычислительных единиц - «нейронов». Каждый из них такой же простой, как выключатель. Нейрон контролирует вывод нескольких других нейронов, как если бы они голосовали, и включается, если их достаточно. Как правило, нейроны располагаются в слоях. Нижний слой принимает входные данные (например, пиксели изображения), промежуточные слои создают различные комбинации ввода (определяющие структуры, такие как ребра и геометрические фигуры), а заключительный слой создает выход (высокоуровневое описание содержимого изображения).

В нейронной сети изначально не заложено решения той или иной задачи. Она решает их методом проб и ошибок, как человек. В сеть могут быть отправлены изображения с надписью «котенок» или «щенок». Для каждого изображения он присваивает метку, проверяет, правильна ли она, и изменяет ли нейронные соединения, если нет. Сначала его предположения случайны, но уже после 10 000 примеров, она сможет отличить котёнка от щенка. Серьезная нейронная сеть может иметь миллиард взаимосвязей, каждую из из которых необходимо настроить.

На классическом компьютере все эти взаимосвязи представлены матрицей чисел, а запуск сети означает выполнение матричной алгебры. Обычно эти операции с матрицами передаются на специализированный чип, например, на блок обработки графики. Но ничто не может так хорошо делать эти матрицы, как квантовый компьютер. «Манипуляция большими матрицами и большими векторами экспоненциально быстрее на квантовом компьютере», - сказал Сет Ллойд, физик Массачусетского технологического института и пионер квантовых вычислений.

Для этой задачи квантовые компьютеры могут использовать экспоненциальный характер квантовой системы. Большая часть объема памяти для хранения квантовой системы находится не в отдельных единицах данных - её кубитах, квантовых аналогах классических компьютерных битов, а в коллективных свойствах этих кубитов. Два кубита имеют четыре совместных состояния: оба включены, оба выключены, включены / выключены и выключены / включены. Каждый из них имеет определенный вес или «амплитуду», который может представлять собой нейрон. Если вы добавите третий кубит, вы можете представить восемь нейронов; четвертый, 16. Емкость машины растет экспоненциально. По сути, нейроны размыты по всей системе. Когда вы выполняете действие с помощью четырех кубитов, вы используете 16 чисел за раз, тогда как классический компьютер должен будет проходить через эти числа последовательно, один за другим.

Ллойд оценивает, что 60 кубитов было бы достаточно, чтобы кодировать количество данных, эквивалентное количеству, полученному человечеством в год, а 300 могли бы нести классический информационный контент наблюдаемой вселенной. (Крупнейшие на данный момент квантовые компьютеры, построенные IBM, Intel и Google, имеют 50 кубитов.) И это только если предполагать, что каждая амплитуда - всего лишь один классический бит. «Фактически, амплитуды - это непрерывные величины, и для достоверной экспериментальной точности можно хранить только до 15 бит в одной ячейке из кубитов», сказал Ааронсон.

Но способность квантового компьютера компактно хранить информацию, не ускоряет его. Вы должны иметь возможность использовать эти кубиты. В 2008 году Ллойд, физик Арам Бороу из Массачусетского технологического института и Авинатан Хасидим, компьютерный ученый из Университета Бар-Илан в Израиле, показал, как сделать алгебраическую операцию инвертирования матрицы с помощью кубитов. Они разбили задачу на последовательность логических операций, которые могут выполняться на квантовом компьютере.

Их алгоритм работает для огромного множества методов машинного обучения. И это не требует столько же шагов, сколько, скажем, нужно для факторинга большого числа. Компьютер может быстро завершить классификацию входных данных, пока шум – неизбежно присутствующая ненужная информация – сможет помешать ему. «У вас может быть квантовое преимущество только тогда, когда вы разработаете полностью универсальный отказоустойчивый квантовый компьютер», - сказал Кристан Темме из Исследовательского центра IBM Томаса Дж. Уотсона.

Природа решит проблему

Однако пока машинное обучение на основе квантовой матричной алгебры было продемонстрировано только на машинах с четырьмя кубитами. Большинство экспериментальных программ квантового машинного обучения на сегодняшний день используют другой подход, в котором квантовая система не просто имитирует сеть: она и есть сеть. Каждый кубит представляет собой один нейрон. Несмотря на отсутствие возможности возведения в степень, такое устройство может использовать другие особенности квантовой физики.

Крупнейшим подобным устройством, имеющим около 2000 кубитов, является квантовый процессор производства D-Wave Systems, расположенный недалеко от Ванкувера. Это не то, что большинство людей представляет при слове "компьютер". Вместо того, чтобы начинать с некоторых входных данных, выполняя серию операций и отображая результат, он работает, обнаруживая внутреннюю согласованность. Каждый из его кубитов представляет собой сверхпроводящую электрическую петлю, которая действует как крошечный электромагнит, ориентированный вверх, вниз или вверх и вниз - суперпозиция. Кубиты «соединены» вместе, что позволяет им взаимодействовать.

Чтобы запустить систему, вы сначала накладываете горизонтальное магнитное поле, которое устанавливает кубиты в суперпозиции вверх и вниз, фактически, создавая "чистый лист". Существует несколько способов ввода данных. В некоторых случаях вы фиксируете слой кубитов для желаемых входных значений. Затем вы позволяете взаимодействовать с кубитами. Некоторые стремятся выровняться в одном направлении, некоторые в противоположном направлении и под воздействием магнитного поля, они поворачиваются к их предпочтительной ориентации. При этом они могут запускать другие кубиты. Сначала это случается очень часто, так как многие из ячеек смещены. Со временем они приходят в норму, и вы можете отключить горизонтальное поле, чтобы зафиксировать их на месте. В этот момент кубиты находятся в позиции вверх и вниз. Это гарантирует, что выходной результат будет основываться на входных данных.

Совсем не очевидно, какова будет окончательная согласованность кубитов, и в этом все дело. Система, просто делая то, что приходит естественно, решает проблему, с которой столкнулся бы обычный компьютер. «Нам не нужен алгоритм, - объяснил Хидетоши Нишимори, физик из Токийского технологического института, который разработал принципы работы D-Wave-машин. «Это полностью отличается от обычного программирования. Природа решает проблему».

Кубит-переворот управляется квантовым туннелированием, естественной тенденцией, что квантовые системы должны искать свою оптимальную конфигурацию, а не«соглашаться на второе место». Вы могли бы построить классическую сеть, которая работала бы на аналогичных принципах, используя случайное переключение, а не туннелирование, чтобы заставить биты перевернуться, и в некоторых случаях это будет работать лучше. Но, что интересно, для типов проблем, возникающих при машинном обучении, квантовая сеть, по-видимому, достигает оптимальной скорости быстрее.

У машины D-Wave были свои недоброжелатели. Она очень шумная, да и в своей нынешней версии может выполнять только ограниченное количество типов операций. Алгоритмы машинного обучения, тем не менее, являются толерантными к шуму по своей природе. Они полезны именно потому, что могут понять беспорядочную реальность, сортируя котят от щенков на фоне красных сельдей. «Нейронные сети отлично защищены от шума», – говорит Берман.

В 2009 году команда во главе с Хартмутом Невеном, ученым-программистом в Google, который впервые выступил с идеей дополненной реальности, стал соучредителем проекта Google Glass, а затем занялся квантовой обработкой информации, показала, как ранняя версия D-Wave могла круто выполнять задания по машинному обучению. Они использовали его как, по сути, однослойную нейронную сеть, которая сортировала изображения на два класса: «с автомобилем» или «без автомобиля» в библиотеке из 20 000 уличных фото. У квантового компьютера было всего 52 рабочих кубита, которых было слишком мало, чтобы объять целое изображение. (Помните: машина D-Wave имеет совсем другой тип, чем в современных 50-кубитовых системах, выходящих онлайн в 2018 году.)

Таким образом, команда Невена объединила машину с классическим компьютером, который анализировал различные статистические параметры изображений (цвет пикселей и их расположение относительно других) и подсчитал, насколько чувствительны эти параметры к присутствию автомобиля. Некоторая их комбинация, полученная одновременно, могла бы помочь точно определить, находится ли на фото автомобиль, или нет. Но исследователям не было ясно, какая именно это должна быть комбинация. Задачей сети и было выявить её.

Команда назначила кубит каждому параметру. Если этот кубит установился в значение 1, он отметил соответствующий параметр как полезный; 0 означал обратное. Магнитные взаимодействия кубитов кодировали запросы проблемы, такие как включение только самых различающихся параметров, чтобы окончательный выбор делался как можно скорее. В результате программе удалось обнаружить автомобиль.

В прошлом году группа учёных во главе с экспертом по физике частиц Марией Спиропулу и физиком Даниэлем Лидаром применила этот алгоритм к практической проблеме физики: классификации протонных столкновений как «бозона Хиггса» или «не бозона Хиггса». Ограничивая свое внимание на столкновениях, в ходе которых вылетали фотоны, они использовали основную теорию частиц, чтобы предсказать, какие свойства фотонов могут выявить мимолетное существование бозона Хиггса: например, импульс, превышающий некоторый порог.

Они рассмотрели восемь таких свойств и 28 комбинаций из них. В общей сложности получилось 36 сигналов-кандидатов, и последняя версия D-Wave определила лучший из них. Она определила 16 полезных параметров, а затем – три лучших из них. Квантовые компьютеры требуют меньше входных данных, чем обычные, для точной идентификации. «При условии, что обучающий набор данных был небольшим, квантовый подход действительно обеспечивал преимущество в точности по сравнению с традиционными методами, используемыми в сообществе физики высоких энергий», – говорит Лидар.

В декабре Ригетти продемонстрировал способ автоматической группировки объектов с использованием универсального квантового компьютера с 19 кубитами. Исследователи дали машине список городов и расстояния между ними и попросили сортировать города по двум географическим регионам. Что затрудняет эту проблему, так это то, что обозначение одного города зависит от обозначения всех остальных, поэтому вам нужно решить всю систему сразу.

Команда Ригетти назначила каждому городу кубит, указав, к какой группе он был назначен. Благодаря взаимодействию кубитов (которые в системе Ригетти являются электрическими, а не магнитными), каждая пара кубитов стремилась принять противоположные значения – до этого их энергия была минимизирована. Ясно, что для любой системы с более чем двумя кубитами некоторые пары кубитов должны были согласоваться, чтобы попасть в одну группу. Близлежащие города согласовались легче, чем находящиеся на большем расстоянии, так как энергия их согласования была меньше.

Чтобы довести систему до самой низкой энергии, команда Ригетти создала подход, похожий в некоторых аспектах на D-Wave. Они установили все кубиты в суперпозицию всех возможных кластерных положений. Потом они позволили кубитам ненадолго провзаимодействовать, что позволило им принять те же или противоположные значения. Затем они применили аналог горизонтального магнитного поля, позволяя кубитам переворачиваться, если они достаточно наклонены, немного подтолкнув систему к её наименьшему энергетическому состоянию. Они повторяли этот двухступенчатый процесс, переворачивая кубиты – до тех пор, пока система не минимизировала свою энергию, таким образом, отсортировав города на два отдельных региона.

Эти задачи классификации полезны, но просты. Реальная задача машинного обучения – это генеративные модели, которые не просто распознают щенков и котят, но могут генерировать новые архетипы - животных, которые никогда не существовали, но кажутся такими же симпатичными, как и те, что были. Они могут даже определить категории «котёнок» и «щенок» самостоятельно или восстановить изображения, не имеющие хвоста или лапы. «Эти методы очень эффективны и очень полезны в механическом обучении, но они очень сложны», - сказал Мохаммад Амин, главный ученый из D-Wave.

D-Wave и другие исследовательские группы взяли на себя эту задачу. Обучение такой модели означает настройку магнитных или электрических взаимодействий между кубитами, чтобы сеть могла воспроизводить некоторые выборочные данные. Для этого вы объединяете сеть с обычным компьютером. Сеть выполняет тяжёлую задачу – предсказание того, какой результат даст тот или иной выбор, – и только потом компьютер использует эту информацию, чтобы произвести настройку. На одной из демонстраций в прошлом году Алехандро Пердомо-Ортис, исследователь Лаборатории квантового искусственного интеллекта НАСА, и его команда показали использование системы D-Wave для определения изображений рукописных цифр. Машина выделила 10 категорий для цифр от 0 до 9, и сгенерировала свои собственные "нацарапанные" цифры.

Узкие места

Ну, это всё были хорошие новости. Плохо то, что неважно, насколько удивительным является ваш процессор, если вы не можете получить на нём свои данные. В алгоритмах матричной алгебры одна операция может манипулировать матрицей из 16 чисел, но для загрузки матрицы в процессор требуется 16 операций. «Подготовка состояния, операция, преобразующая обычные данные в квантовые, неизбежно необходима, и я думаю, что это одна из самых важных частей», – рассказывает Мария Шульд, исследователь стартапа Xanadu, занимающегося квантовыми компьютерами и одна из первых людей, которые получили докторскую степень по квантовому машинному обучению. Системы машинного обучения, выполненные в физическом обличии, сталкиваются с двумя параллельными проблемами: как внедрить задачу в сеть кубитов и как заставить кубиты взаимодействовать самостоятельно.

Как только вам удастся ввести свои данные с помощью кубитов, вам необходимо сохранить их таким образом, чтобы квантовая система могла взаимодействовать с ним, не завершая расчётов. Ллойд и его коллеги предложили квантовую оперативную память, которая использует фотоны, но никто не знает, как сделать аналогичное приспособление для сверхпроводящих кубитов или захваченных ионов – технологий, используемых на ведущих квантовых компьютерах. «Это еще одна огромная технологическая проблема, выходящая за рамки проблемы создания простого квантового компьютера», – говорит Ааронсон. «Впечатления, которые испытывают экспериментаторы, показывают, что они испугались. Они понятия не имеют, как начать это строить».

И, наконец, как вы получаете свои данные? Чтобы это сделать, нужно произвести измерение квантового состояния машины. Сделать это непросто, потому как если вы будете получать данные о квантовом состоянии один за одним, то сможете извлечь только одну случайную величину, прежде чем система разрушится из-за вашего с ней взаимодействия. Вам нужно будет запускать алгоритм снова и снова, чтобы извлечь всю информацию.

Но все не потеряно. Для некоторых типов проблем вы можете использовать квантовые помехи. То есть, вы можете так настроить операции, чтобы неправильные ответы отменяли себя, а правильные усиливались. Таким образом, когда вы переходите к измерению квантового состояния, оно не даст вам никакого случайного значения, но будет правильным ответом. Но только несколько алгоритмов, таких как "поиск большей силы", могут эффективно использовать помехи, а ускорение обычно получается небольшим.

В некоторых случаях исследователи нашли "ярлыки" для ввода и вывода данных. В 2015 году Ллойд и Сильвано Гарнероне показали, что для некоторых видов статистического анализа вам не нужно вводить или хранить весь набор данных. Аналогично, вам не нужно считывать все данные, если будет достаточно нескольких ключевых значений. Например, технологические компании используют машинное обучение, чтобы предлагать шоу для просмотра или вещи, которые вы захотите купить на основе обширной матрицы потребительских привычек. «Если вы Netflix или Amazon или что-то еще, вам на самом деле не нужна матрица, записанная где угодно», – говорит Ааронсон. «То, что вам действительно нужно, это просто дать рекомендации для пользователя».

Все это вызывает вопрос: если квантовая машина мощна только в особых случаях, может ли классическая машина также быть мощной в этих случаях? Это главный нерешенный вопрос в этой области. Обычные компьютеры, в конце концов, чрезвычайно производительны. Обычный метод выбора больших массивов данных – случайная выборка – на самом деле очень похож по типу на работу квантового компьютера, который, как бы там ни было, в конце возвращает случайный результат. Шульд заметил: «Я сделал много алгоритмов, про которые думал: «Это потрясающе. Это позволит ускорить систему», а затем я, просто для удовольствия, писал метод выборки для классического компьютера, и понимал, что они делают это одинаково».

Если вы оглянетесь на успехи, полученные квантовыми машинами до сих пор, то заметите, все они со звездочками. Возьмите машину D-Wave. При классификации изображений автомобилей и бозонов Хиггса она была не быстрее, чем классическая машина. «Одна из вещей, о которых мы не говорим в этой статье, – это квантовое ускорение, – сказал Алекс Мотт, компьютерный ученый из Google DeepMind, который был членом исследовательской группы Хиггса. Подходы матрицы-алгебры, такие как алгоритм Харроу-Хасидима-Ллойда, показывают ускорение только в том случае, если матрицы заполнены в основном нулями. «Никто никогда не спрашивает, интересны ли редкие наборы данных в машинном обучении?», – отметил Шульд.

Квантовый интеллект

С другой стороны, даже случайное постепенное улучшение этой технологии по сравнению с нынешним уровнем, сделало бы технологические компании намного лучше. «Эти преимущества, которые вы в конечном итоге видите, они небольшие; они не экспоненциальны, но они квадратичны », - сказал Натан Вибе, научный сотрудник по квантовым вычислениям в Microsoft Research. «Создав достаточно большой и достаточно быстрый квантовый компьютер, мы можем произвести революцию во многих областях машинного обучения». При эксплуатации этих систем, учёные смогут также понять, для чего они наиболее хороши, а для чего – не совсем годятся.

Шульд также видит возможности для инноваций со стороны программного обеспечения. Машинное обучение – это не просто куча вычислений. Это комплекс проблем, которые имеют свою собственную структуру. «Алгоритмы, которые люди создают, создаются из вещей, которые делают машинное обучение интересным и красивым», - сказала она. «Вот почему я начала работать по-другому и подумала: «Если у этого квантового компьютера уже есть мелкомасштабные модели, какая на самом деле модель машинного обучения вообще должна быть реализована? Может быть, это модель, которая еще не изобретена». Если физики хотят произвести впечатление на экспертов по машинному обучению, им нужно будет делать больше, чем просто создавать квантовые версии существующих моделей.

Многие неврологи считают, что структура человеческой мысли отражает требование наличия тела. Так же воплощается и система машинного обучения. Изображения, язык и большинство других данных, которые протекают через них, происходят из физического мира и отражают его качества. Квантовое машинное обучение работает аналогично, но в более богатом мире, чем наш. Единственная область, в которой он, несомненно, будет блистать, – это обработка данных, которые уже являются квантовыми. Когда данные не являются изображением, а продуктом эксперимента физики или химии, квантовая машина будет намного превосходить обычный компьютер.

Первые квантовые системы машинного обучения могут помочь в разработке их преемников. «Одним из способов, как мы могли бы использовать эти системы, является создание самих квантовых компьютеров», – говорит Вибе. «Для некоторых задач отладки это единственный работающий подход». Может быть, они смогут даже отладить нас. Оставим в стороне вопрос, является ли человеческий мозг квантовым компьютером (очень спорный вопрос), но он иногда действует так, как если бы был одним из них. Поведение человека известно как контекстуальное; наши предпочтения формируются с помощью решений, которые мы принимаем, способами, которые бросают вызов логике. В этом мы похожи на квантовые частицы. «То, как вы задаете вопросы и делаете какой-то заказ – очень похоже на то, что характерно для квантовых наборов данных», – рассказывает Пердомо-Ортис. Таким образом, квантовая система машинного обучения может быть естественным способом изучения человеческих когнитивных предрассудков.

Нейронные сети и квантовые процессоры имеют одну общую черту: удивительно, что они вообще работают. Никто никогда не думал, что можно натренировать сеть, и в течение многих десятилетий большинство людей сомневалось, что это будет возможно. Точно так же не очевидно, что квантовая физика могла бы быть использована для вычислений, поскольку не все эффекты квантовой физики ещё изучены нами. И все же они обе работают – не всегда, но чаще, чем мы могли ожидать. В этом прецеденте кажется вероятным, что их союз также найдет свое место.

Источник: m.vk.com

Комментарии: