Надежды на скорое появление ИИ умрут вместе с законом Мура

В продолжение темы интеллектуальных способностей и искусственного интеллекта. Прогресс в ИИ неразрывно связан с увеличением вычислительной мощности. Машинное обучение имеет свою вычислительную сложность: один backprop на одном слое имеет сложность O(n*m*d), где n - длина входного, m - длина выходного вектора, d - размер минибатча. Если подбор весов - это еще полиномиальная задача, то полный перебор гиперпараметров - комбинаторная задача. Поэтому обучение сетей с большим числом слоев является вычислительно затратной операцией, и год от года глубина сетей только растет, если брать победителей ImageNet (соревнования по распознаванию образов). Вычислительная мощность - необходимый ресурс, ограничивающий темпы прогресса машинного обучения.

Скачок ML/DL последних 10 лет я привязываю к революции вычислительной архитектуры - смену процессоров общего назначения с ограниченным числом потоков на массивно-параллельные архитектуры.

Первой в этом была Nvidia с GPGPU-архитектурой - благодаря CUDA получили широкое распространение чипы с вычислительной мощностью в несколько TFLOPS и в несколько раз лучшей энергоэффективностью (в FLOPS/W), чем CPU. Тем не менее, первое предназначение GPGPU - исполнение графических шейдеров, со всеми вытекающими последствиями.

Сегодняшний тренд - это Deep Learning-ускорители: TPU от Google, чипы от Wave Computing и Nervana. Они полностью заточены под эту задачу с точки зрения вычислительной архитектуры (практически fixed-function dataflow с пониженной точностью) и подсистемы памяти (не нужен строгий memory model).

Итак, эти шаги по переходу на оптимальные для задачи архитектуры дали скачок вычислительной мощности на порядок или два, однако эти шаги можно сделать лишь раз. После этого весь последующий прогресс снова должен обеспечиваться улучшением технологии - то есть полагаться на закон Мура. Закон Мура говорит о том, что количество транзисторов, произведенных за один доллар, приблизительно удваивается каждые два года.

Экспоненциальный рост вычислительной мощности стал привычным и выглядит полностью естественным, практически везде можно увидеть его применение дальше вплоть до сингулярности. Увы, экспоненциальный рост не может быть устойчивым, и закон Мура стагнирует с каждым новым уменьшением техпроцесса. В экологии и экономике максимальным устойчивым ростом принято считать логистический закон, который в некоторый момент достигает насыщения - но тогда сингулярность откладывается навсегда.

Другое неявное допущение состоит в том, что человечество в состоянии эффективно использовать все доступные транзисторы и наращивать вычислительную мощность теми же темпами. Это тоже очень спорно, но это тема для отдельного рассуждения.

Итак, мое мнение таково: без идей по улучшению алгоритмов обучения или смены вычислительной парадигмы, мечты на появление искусственного интеллекта в ближайшие 50 лет обречены остаться привязанными к стагнирующему закону Мура.

Комментарии: