Глубокие нейронные сети или квантовое превосходство? Хотя, почему «или»?

«Искусственный интеллект на базе нейронных сетей невероятно глуп!» - заявил вице-президент Гугла Эндрю Мур в конце 2018 года [1]. Только представьте, как обидно звучат эти утверждения для неспециалистов. Вроде бы восстание машин ожидается со дня на день и тут такое заявление! Тем не менее господин Мур абсолютно прав. Без оговорок и скрытых смыслов. Искусственный интеллект в том виде, в котором он существует сегодня, это инструмент, который сложен, но не более интеллектуален, чем, скажем, драйвер Windows.

Если посмотреть на спектр решаемых ИИ задач, то можно увидеть, что в большинстве случаев это выявление или генерирование каких-либо шаблонов, понятных для человека. Ничего, кроме этого, нейронные сети не умеют. Искусственный интеллект бессмысленно использовать там, где не требуется распознать некий паттерн, неявно встречающийся в огромном объеме данных. Тем не менее, это бесценный инструмент, если его применять правильно. Правда, к настоящему, человеческому интеллекту ИИ имеет мало отношения. Да, принципы работы этих двух систем в чём-то похожи, но сходство это весьма отдаленное.

Способности человеческого сознания простираются гораздо дальше простого распознавания окружающих нас предметов или явлений. Например, наш мозг хорош в принятии быстрых решений на неполных данных. По-видимому, такая способность отточилась у наших предков за тысячелетия эволюции. От того, насколько правильно и быстро древний охотник мог понять, что означает шуршание в кустах - зависела его жизнь. Если это хищник – время убегать, если добыча - время охотиться. Ошибка могла стоить жизни в обоих случаях.

Наследство предков-охотников служит нам и сегодня. Вы замечали, что при чтении печатного текста нет никакого смысла точно узнавать каждую букву в слове? Мы делаем это лишь в детстве, когда у нас еще нет опыта чтения. Во взрослом возрасте - наоборот, мы воспринимаем слово по превой и полседней буквам, с определенной вероятностью додумывая то, что находится между ними. Да, при таком подходе случаются ошибки, но они некритичны для понимания смысла текста. Кроме того, как выяснили ученые, непонимание или неправильная трактовка одного или даже нескольких слов в тексте, в большинстве случаев, не искажает общий смысл прочитанного.

Несмотря на то, что искусственный интеллект – это даже при близком рассмотрении не замена и не копия человеческого сознания, он научился расширять возможности человека. Выявить неочевидные зависимости, найти закономерность там, где её на первый взгляд нет, всё это неосуществимо без нейронных сетей. Чтобы понять правила пользования инструментом под названием «искусственный интеллект» и понять границы его применимости, придется чуть-чуть поговорить о принципах его работы.

На бытовом уровне нейронную сеть можно условно представить как черный ящик, ко входу которого подключена, скажем, видеокамера, а на выходе имеется лампочка. Предположим, что вот этот наш искусственный интеллект обучен распознавать котиков, которые попадают в объектив. Если камера видит Барсика или Мурзика, на задней крышке нашей коробки немедленно загорается лампочка.

Вместо камеры и лампочки, ко входу и выходу черного ящика можно подключить микрофон и принтер и обучить ИИ распознавать человеческую речь, преобразовывать её в текст и распечатывать на принтере.

На первый взгляд всё вроде бы несложно. Обычная компьютерная система. В чем преимущество ИИ перед обычным программным обеспечением? Всё, чем так хороши нейронные сети - недоступно классическим алгоритмам последовательного выполнения.

Что произойдёт, если попытаться распознать слова в записи разговора без нейронной сети? Современному компьютеру, использующему обычный последовательный алгоритм программирования, вполне по силам проанализировать все частоты, содержащихся в звуковом файле. На основе этого анализа можно построить график амплитуды звукового сигнала или даже посчитать сколько раз та или иная частота встречается в записи и т.д. Единственное, что не получится – выделить из звукового потока слова человеческой речи. Разные люди разговаривают не одинаково: отличаются тон, скорость, особенности произношения, например «аканье» или «оканье». Всё это ведет к невозможности формализации постановки задачи. Даже если удастся собрать частотные характеристики всех слов и языковых диалектов в одной базе данных, всё равно остаются индивидуальные особенности произношения, которые портят весь праздник. Кроме того, сложный поиск индивидуальных частотных соответствий в огромной базе данных скорее всего будет происходить настолько медленно, что вся затея теряет смысл.

Нейронная сеть, запущенная на том же самом компьютере, легко справится с такой задачей. Мощности любого современного бытового компьютера вполне достаточно, чтобы распознать несколько сотен слов, без подключения к сети. Например, китайским энтузиастам удалось научить микрокомпьютер на базе ESP32 не только понимать фразу на китайском, но и распознавать лица двух-трех людей. Почему это удивительно? Чип ESP32 работает на частоте около 200 мГц, имеет 160 кб оперативной памяти и пользуется внешней флэш-памятью на 8 мб – то есть характеристики этого устройства не самые топовые даже для компьютеров двадцатилетней давности.

Основа искусственного интеллекта - нейронная сеть. Простым языком – это однослойная структура, в которой искусственные нейроны (или «ноды») соединены друг с другом с помощью весовых связей. В необученной сети всем связям присвоен одинаковый «вес» или значимость, поэтому сигнал со входа такой сети попадет на выход без изменений. Если значимость связей изменить в соответствии со стратегией обучения и желаемым результатом, сеть научится «видеть» шаблоны в подаваемых на входы данных и извещать выходы о распознанных шаблонах. Возможности такой сети зависят от её сложности. Чем сложнее структура сети, тем точнее и одновременно медленнее она работает. Кроме того, плоскую сеть довольно трудно «натаскать» на сложный результат.

Идея объединить нескольких плоских нейронных сетей в одну многослойную, «глубокую» (англ. Deep Neural Network, DNN) возникла еще в 1980е годы. Правда, вычислительная мощность компьютеров тех времен не позволяла воплотить подобные фантазии на имеющемся железе.

Информация в глубокой сети движется по слоям. Каждый слой реализует свое представление данных и позволяет рассчитать вероятность получения ожидаемого результата на выходе. Предположим, мы хотим знать, изображено ли на фотографии человеческое лицо. На вход DNN подается фото в виде пиксельной матрицы. Первый уровень представления находит и кодирует границы распознаваемого объекта. Второй уровень определяет все возможные комбинации этих границ. Третий слой ищет в границах объекта шаблон, похожий, например, на человеческие нос и глаза. Наконец, четвертый слой рассчитывает окончательную вероятность того, содержится ли на нашем фото человеческое лицо.

Глубокие сети научились распознавать картинки, предоставляемые 360° камерой, используемой в беспилотном транспорте, а также умело разгадывают генетические заболевания человека по одной лишь фотографии. DNN разбираются в искусстве и могут определить авторство картины или, наоборот, написать свой холст, копируя стиль определенного художника.

Есть направление использования глубоких сетей, которое называется «Работа с естественным языком». В этом случае ИИ осваивает грамматику и семантику человеческих языков. Конечная цель научить ИИ распознавать языковые конструкции, в том числе речь, чтобы осмысленно поддерживать беседу, самостоятельно писать тексты и делать переводы на другие языки.

Биоинформатика, токсикология и поиск новых лекарств – относительно новые области исследований, где с приходом DNN наблюдается большой прогресс. Отдельное направление глубокого искусственного интеллекта занимается управлением взаимоотношениями с клиентами CRM (от англ. Customer Relationship Management). В других случаях DNN выявляют финансовое мошенничество, строят системы рекомендаций и заведуют мобильной рекламой в наших смартфонах.

Сегодня простые нейронные сети используются нечасто. Большинство современных нейронных сетей глубокие, а большая часть исследований сосредоточена в области «глубокого машинного обучения» (от англ. Deep Machine Learning, DML). Пожалуй, самая большая проблема глубоких нейронных сетей заключена как раз в глубоком машинном обучении. Сложность структуры DNN такова, что невозможно быстро «поиграть» со всем пространством доступных параметров обучения для получения оптимального результата. Это требует больших затрат времени и вычислительных ресурсов. Дальнейшее развитие глубоких сетей может дать фантастический прорыв во многих областях, да вот печаль: современная технология изготовления процессоров вплотную подошла к своему пределу. Размер атома кремния приблизительно 0.5нм, в то время как самый совершенный на сегодняшний день процесс, позволяющий создавать процессоры для «яблочных» телефонов, подразумевает размер одного транзистора 7нм. [2] Транзистор фактически состоит из 14 атомов. При таких размерах полупроводников ключей, электроны могут пролетать транзисторы насквозь за счет «туннельного эффекта». Пока с этим явлением удаётся бороться, но вряд ли стоит ждать значительного увеличения степени интеграции микрочипов в ближайшие годы. Современные классические компьютеры практически полностью исчерпали все возможности увеличения производительности. Однако что-то придется придумывать в самое ближайшее время.

До этого мы говорили, что результат работы, генерируемый глубокой нейронной сетью, часто носит вероятностный характер, а перебор всех возможных параметров обучения для получения оптимального результата, часто занимает много времени и требует больших вычислительных ресурсов. Вероятностный результат и огромная вычислительная мощность наводят на одну мысль…

Неточными, но очень быстрыми параллельными вычислениями сегодня может похвастаться только одно устройство, которое называется «квантовый компьютер». Можно ли потенциально применить это устройство для DML глубоких нейронных сетей? Вопрос очень непростой: идеология квантовых вычислений не имеет ничего общего с классическими алгоритмами.

Разница начинается уже на уровне двоичной системы. Обычные компьютеры используют хорошо всем знакомую единицу информации «бит», который принимает значение «0» или «1», в зависимости от того, закрыт или открыт полупроводниковый транзистор, размещенный на кремниевом чипе. Квантовый компьютер тоже оперирует нулями и единицами, но они представляют собой состояние элементарной частицы - электрона.

Субатомный мир резко отличается от всего того, что нам привычно и понятно. Метод хранения и обработки информации с помощью электрона – не исключение. Помимо «нуля» и «единицы», наша элементарная электронная ячейка памяти может принимать еще и третье значение - «суперпозиция», при этом не выходя за рамки двоичной системы. Простого, «бытового» объяснения «суперпозиции» нет, а уходить в волновые функции, уравнения Шредингера и постоянные Планка и прочие премудрости квантовой физики совершенно не хочется. Скажем так, что это одновременно «не ноль» и «не единица» и в то же самое время «ноль» и «единица». Элементарная ячейка памяти, способная принимать три состояния «0», «1» и «суперпозиция» - называется «квантовый бит» или «кубит».

Для иллюстрации работы «кубита» иногда используют аналогию с системой из двух атомов водорода, в которой два протона и один электрон.

Пусть состояние системы, когда электрон принадлежит правому протону, называется «0» (рис.3), а если левому - «1» (рис.4). Неожиданность квантового мира в том, что электрон вполне способен одновременно принадлежать и левому, и правому протонам, но с разной или равной долей вероятности (рис.5). В таком случае невозможно определенно сказать, в каком состоянии находится система, поэтому говорят, что система находится в «суперпозиции». Это одновременно и «0», и «1», но в то же самое время это ни то, ни другое.

В качестве сравнительной аналогии работы битов и кубитов иногда используют сравнение с монетой. Бит – это монета, у которой есть две стороны «орёл» и «решка», кубит – это вращающаяся монета, у которой можно наблюдать решку и орла одновременно, но с разной вероятностью. Ученые используют калиброванные импульсы микроволнового излучения, чтобы поместить кубиты в суперпозицию или чтобы её разрушить, определив точные значения «0» или «1».

Третье состояние или «суперпозиция» кубита, а также вероятностный характер информации, хранимой такой ячейкой имеют интересное следствие. Если бит способен одновременно хранить всего одно значение, то кубит – четыре. Система из двух кубит способна работать с шестнадцатью значениями, из трех с двумястами пятьюдесятью шестью и так далее. Если двоичная система оперирует с разрядностью «2 в степени N», где N – число бит, то квантовый компьютер подчиняется другим законам: «2 в степени 2 в степени N», где N число кубит. Такой эффект частично достигается за счет того, что кубиты в одно и то же время содержат множество потенциальных результатов. Окончательный результат вычисления становится доступен только после того, как программист измеряет состояние кубита с помощью микроволнового сигнала, что разрушает суперпозицию и заставляет кубит «коллапсировать» в обычное состояние двоичного нуля или единицы.

Другое особенное свойство квантового мира называется «квантовая запутанность». Используя то же самое микроволновое излучение, пару электронов в кубитах можно «запутать» так, что они всегда будут существовать в одном и том же квантовом состоянии. Это позволяет ученым манипулировать парами запутанных кубитов, просто изменяя состояние одного из них, даже если они физически разделены огромным расстоянием. Прогностический характер запутывания, приводит к тому, что добавление кубитов в систему экспоненциально увеличивает вычислительную мощность квантового компьютера.

Следствия использования суперпозиции и квантовой запутанности совершенно фантастические! Восьмибитная система способна оперировать с 256 значениями чисел, в то время как восьмикубитная система способна работать с 1.15 *1077 значениями. Система из десяти кубит может одновременно работать с 21024 значений или с 1.79*10308. Разработчики говорят, что эта цифра превосходит число атомов в известной вселенной.

Наконец, третье свойство квантовых систем – интерференция. Сам характер квантовых вычислений хорошо описывается волновой функцией. Волны же, как мы все помним из курса школьной физики, при их наложении друг на друга, могут увеличивать или уменьшать результирующую амплитуду. Используя особые интерфереционные квантовые алгоритмы, ученые контролируют вычислительный процесс: усиливают сигналы, которые дают большую вероятность правильного ответа и ослабляют все остальные.

Основные достоинства квантовых компьютеров – параллельность вычислений и, как следствие, совершенно фантастическая скорость вычислений. Некоторые задачи квантовые системы способны решать в тысячи раз быстрее классических компьютеров. Правда, такой эффект возникает далеко не всегда и не на всех алгоритмах. Тем не менее, многие ученые считают, что очень скоро произойдет событие, когда квантовые системы превзойдут по вычислительной мощности любой из существующих ныне компьютеров. Этот ожидаемый момент даже получил свое особое название в науке, и называется он «квантовое превосходство». До 2019 года квантовое превосходство было скорее красивой легендой, чем практическим результатом.

В мае 2019-го Хартмут Невен, директор лаборатории квантового искусственного интеллекта Google, заявил, что рост скорости вычислений квантового процессора Google отличается от всего, что когда-либо встречалось в мире. С каждым улучшением процессора, мощность растет не по экспоненте, как в законе Мура, но по двойной экспоненте. Это означает, что человечество, вероятно, находится на расстоянии всего в несколько месяцев от начала эры практических квантовых вычислений.

В декабре 2018 года Невен и его команда испытывали новый квантовый чип Google, когда заметили странный результат. Сначала работу новейшего квантового процессора удавалось параллельно моделировать на обычном ноутбуке. Январский тест улучшенной версии устройства получилось смоделировать только на мощном настольном компьютере. В начале февраля 2019 года в Google уже не осталось обычных компьютеров, которые могли бы соревноваться со следующей версией процессора. Ученые попросили доступ к кластеру серверов, чтобы продолжить работу. «Где-то в феврале мне пришлось позвонить, чтобы сказать: эй, нам нужно больше квот!», - рассказал Невен. «Новая версия чипа соперничала с системой, состоящей из миллиона процессоров».

Беспрецедентное увеличение вычислительной мощности квантовых систем, впервые обнаруженное Невеном, уже назвали «законом Невена» по аналогии с «законом Мура» для классических вычислений. Закон Невена говорит о том, что мы можем попасть в совершенно инопланетный мир буквально через несколько месяцев [3].

Впрочем, не всё в мире квантовых компьютеров так шикарно, как хотелось бы. Прежде всего это очень нестабильные системы. Особые чипы, охлажденные почти до абсолютного нуля, управляемые микроволновым излучением, способны стабильно хранить информацию не более 100 микросекунд. По истечении этого времени процессы окружающей среды разрушают квантовые состояния кубитов. Кроме того, квантовую информацию нельзя копировать, поскольку состояние кубита в суперпозиции невозможно определить, не разрушив суперпозицию.

Тем не менее, вычислительные возможности квантовых компьютеров могут помочь взглянуть на возможности обучения глубоких нейронных сетей совершенно по-новому. Вероятно, это потребует серьезной адаптации существующих классических алгоритмов под квантовые вычисления. Квантовый вычислитель не умеет давать точные ответы, но зато он способен решать задачи очень быстро, по сравнению с классическими компьютерами. Если совместить квантовые алгоритмы с DML, то существующая проблема быстрого перебора всех возможных параметров обучения DNN – перестает быть проблемой.

Из-за необычности архитектуры, далеко не все алгоритмы способны выполняться на квантовом компьютере. Квантовые вычисления хороши для решения довольно узкого круга задач. Пока эти системы выглядят перспективными в оптимизации, взламывании шифров и сверхбыстром поиске совпадений в больших массивах данных. На первый взгляд, это весьма специализированные задачи. Впрочем, тоже самое можно сказать и о глубоких нейронных сетях. Поэтому, с точки зрения современных исследователей, будущее выглядит как симбиоз классических компьютеров с фон Неймановской архитектурой, глубоких нейронных сетей, которые будут работать на специализированных акселераторах и квантовых систем, которые, вероятно, будут использоваться для обучения глубоких сетей. Все вместе это должно дать синергетический эффект, хотя, такая связка выглядит достаточно фантастично.

В 2019 году произошло сразу несколько событий, которые говорят в пользу объединения всех существующих архитектур в единый конгломерат. В январе этого года компания IBM вывела на рынок первый коммерческий двадцати-кубитный компьютер «Q System One» [4]. Несмотря на 20 кубит, этот компьютер пока не способен показать реальную производительность, превосходящую классические компьютеры во всех задачах. Однако, это первый шаг. В 2017 году компания Microsoft выпустила Quantum Development Kit (QDK) [5], проект с открытым кодом, который включает в себя язык программирования Q#, предназначенный для создания квантовых алгоритмов. В августе 2019 компания Интел вывела на рынок комплексное решение, состоящее из двух новых процессоров, специализация которых – искусственный интеллект. Это Intel® Nervana™ Neural Network Processor for Training (NNP-T) и Intel® Nervana™ Neural Network Processors for Inference (NNP-I) [6].

Каково место России на этом празднике технологий? На конец 2019 года нет никакой информации из открытых источников, что наша страна располагает собственным, работающим прототипом квантового компьютера или интегральным акселератором искусственного интеллекта, воплощенными в железе. Единственное сообщение в прессе за январь 2019 года говорит о том, что в МГУ им. М. В. Ломоносова был успешно осуществлен первый эксперимент по созданию ловушек для массивов нейтральных холодных атомов. Это часть проекта по созданию собственного 50-кубитного компьютера. К сожалению, на сегодняшний день речь идет только об эмуляции, но не о физическом прототипе [7].

С большой вероятностью, новый, 2020 год принесет всему человечеству сюрпризы, которые сейчас, за несколько месяцев до Нового Года, невозможно даже представить. Искусственный интеллект автоматизирует всё больше ниш во многих областях знаний. Правда, если медицина, химия, беспилотный транспорт - не вызывают вопросов, то военное применение нейронных сетей – настораживает. Бывший замминистра обороны США Роберт Уорк называет искусственный интеллект «роботом – убийцей» и призывает не использовать его в системах предупреждения о ядерном нападении и системах нанесения ответного ядерного удара [8].

Ссылки:

[1] «'AI is very, very stupid,' says Google's AI leader, at least compared to humans», NOVEMBER 14, 2018, https://www.cnet.com/news/ai-is-very-stupid-says-google-ai-leader-compared-to-humans/?ftag=CMG-01-10aaa1b

[2] « What Do “7nm” and “10nm” Mean for CPUs, and Why Do They Matter? », JANUARY 22 2019,

https://www.howtogeek.com/394267/what-do-7nm-and-10nm-mean-and-why-do-they-matter/

[3] «A New Law to Describe Quantum Computing’s Rise? », June 18 2019, https://www.quantamagazine.org/does-nevens-law-describe-quantum-computings-rise-20190618/

[4] «IBM Just Unveiled Its First Commercial Quantum Computer», JANUARY 8TH 2019, https://futurism.com/ibm-q-system-one-commercial-quantum-computer

[5] «Open Source Release Welcomes Developers to Contribute and Help Solve Planet-Scale Challenges», July 11 2019, https://cloudblogs.microsoft.com/quantum/2019/07/11/microsoft-quantum-oss-available-github/

[6] «Intel® Nervana™ NNP Architecture Revealed at Hot Chips» 2019, https://www.intel.ai/nervana-nnp/#gs.2xdma8

[7] «В России совершен прорыв в создании 50-кубитного квантового компьютера», 18.01.2019, http://www.cnews.ru/news/top/2019-01-18_uchenye_mgu_dobilis_pervyh_uspehov_v_sozdanii

[8] «Campaign to Stop Killer Robots ‘Unethical’ & ‘Immoral’: Bob Work», August 29 2019, https://breakingdefense.com/2019/08/campaign-to-stop-killer-robots-unethical-immoral-bob-work/

Источник: m.vk.com

Комментарии: