Стоимость вычислительных операций снизится более чем на 99% в течение ближайшего десятилетия

Основа качественного обучения ИИ – метрики для оценки качества.

-До конца 2020-х мы найдем возможность собирать большие данные практически для каждого существующего человеческого навыка.

-Компьютеры стоимостью 1000$ смогут достичь верхней граница скорости обработки данных в мозге к 2032 году (а обычной скорости работы мозга они достигли уже).

-Модель мозга, включающая каждую белковую молекулу в каждом нейроне (и отдельные ионные каналы внутри нейронов или тысячи различных типов молекул, которые могут влиять на метаболизм конкретной клетки мозга) будет доступна между 2030-2034 годом.

-Компьютеры смогут моделировать человеческие мозги во всех аспектах, которые могут нас интересовать, в течение следующих двух десятилетий или около того.

А теперь подробнее:

Продолжение разбора книги «Singularity is nearer».

Что еще нужно достичь искусственному интеллекту?

Главное, в чем ИИ сегодня уступает человеку — это контекстуальная память, здравый смысл и социальное взаимодействие.

Контекстуальная память — это способность отслеживать, как все идеи в разговоре/в тексте динамически взаимосвязаны. По мере увеличения объема контекста количество взаимосвязей между идеями возрастает экспоненциально. Вспомните идею «потолка сложности», подобные математические соотношения делают увеличение окна контекста, с которым может работать большая языковая модель, чрезвычайно ресурсоемким с точки зрения вычислений. Например, если в предложении содержится десять идей, подобных словам (то есть токенов), количество возможных взаимосвязей между их подмножествами составляет 1023. Если в абзаце присутствует пятьдесят таких идей, это уже 1,12 квадриллиона возможных контекстуальных взаимосвязей между ними!

Хорошие новости: исследователи делают значительные успехи в разработке ИИ, способного более эффективно фокусироваться на релевантных данных контекста. А благодаря экспоненциальным улучшениям в соотношении цены и производительности вычислений, стоимость вычислительных операций, вероятно, снизится более чем на 99% в течение ближайшего десятилетия. Кроме того, улучшения алгоритмов и специализированное аппаратное обеспечение для ИИ означают, что соотношение цены и производительности для больших языковых моделей (LLM) будет расти намного быстрее.

Второе – здравый смысл. Это способность воображать ситуации и предсказывать их последствия в реальном мире, включая причинно-следственные связи. Например, если у вас есть собака и вы возвращаетесь домой, обнаружив разбитую вазу, вы можете сделать вывод, что произошло.

Социальное взаимодействие. Нюансы нашего общения, типа ироничного тона голоса, плохо представлены в текстовых базах данных, на которых в основном обучается ИИ.

Оптимизм Рэя Курцвейла в отношении того, что ИИ скоро преодолеет эти пробелы, основан на конвергенции трех экспоненциальных трендов: улучшение соотношения цены и производительности вычислений, что делает обучение больших нейронных сетей дешевле; стремительный рост доступности более репрезентативных и объемных данных для обучения, что позволяет более эффективно использовать вычислительные циклы обучения; и улучшение алгоритмов, позволяющих ИИ учиться и рассуждать более эффективно. Хотя скорости вычислений при той же стоимости в среднем удваивались примерно каждые 1,4 года с 2000 года, фактический рост общего объема вычислений (compute), используемого для обучения передовой модели искусственного интеллекта, удваивался каждые 5,7 месяцев с 2010 года. Это примерно десятимиллиардное увеличение. Для сравнения, в предэпоху глубокого обучения, с 1952 года до распространения работы с большими данными, примерно в 2010 году, время удвоения объема вычислений составляло около двух лет (что примерно соответствовало закону Мура).

Почему такое стало возможно? Во-первых, исследователи ИИ разрабатывали новые методы параллельных вычислений, что позволило большему количеству чипов работать вместе над одной и той же задачей машинного обучения. Во-вторых, по мере того как большие данные сделали глубокое обучение более полезным, инвесторы по всему миру стали вкладывать все больше средств в эту область, стремясь достичь прорывов.

Теперь уже любой навык, который генерирует достаточно четкие данные обратной связи о производительности, может быть преобразован в модель глубокого обучения, которая превзойдет способности всех людей. Вопрос в выборе метрик.

Курцвейл приводит очень занятный пример того, как мы можем «измерять» качество стихотворений. Например, читатели могут оценивать по шкале от 0 до 100, насколько красивым им кажется стихотворение. Недостаточно объективно? Тогда, как вам такой вариант – функциональная магнитно-резонансная томография (fMRI) может показать, насколько активно мозг реагирует на произведение. Можем добавить данные о частоте сердечных сокращений или уровнях кортизола, что позволит раскрыть реакции читателей на напряженные моменты. Важно понимать, что при достаточном количестве данных даже несовершенные и косвенные метрики могут направлять ИИ к улучшению. Поиск таких метрик требует творчества и экспериментов.

Полезно думать о данных как о нефти. Залежи нефти существуют в разных местах. Некоторые нефтяные месторождения сами выталкивают нефть на поверхность благодаря собственному давлению, после чего мы можем ее перерабатывать. Достаточно дешевы путь. Однако другие залежи требуют дорогостоящего глубокого бурения, гидроразрыва или специальных процессов нагрева для извлечения нефти из сланцевых пород. Когда цены на нефть низкие, энергетические компании добывают нефть только из дешевых и легкодоступных источников, но по мере роста цен становится экономически целесообразным разрабатывать труднодоступные месторождения. Аналогично, когда польза больших данных была относительно невелика, компании собирали их только в тех случаях, когда это было относительно дешево. Но по мере того, как методы машинного обучения совершенствуются, а вычисления становятся дешевле, экономическая (а часто и социальная) ценность многих труднодоступных видов данных будет увеличиваться. Действительно, благодаря ускоряющимся инновациям в области больших данных и машинного обучения, наша способность собирать, хранить, классифицировать и анализировать данные о человеческих навыках значительно возросла всего за последние несколько лет. До конца 2020-х мы найдем возможность собирать большие данные практически для каждого существующего человеческого навыка.

Остается открытым вопрос, какие навыки в конечном итоге окажутся самыми трудными для освоения ИИ. Так что возможно будет какой-то переходный период, в течение которого ИИ пройдет тест Тьюринга и станет сверхчеловеческим во многих аспектах, но все же не сможет превзойти лучших людей в некоторых ключевых навыках.

Как только мы разработаем ИИ с достаточными программными способностями для самостоятельного повышения своих навыков программирования последующая ускорение пойдет за счет положительной обратной связи. Коллега Алана Тьюринга И. Дж. Гуд предвидел еще в 1965 году, что это приведет к «взрыву интеллекта». И поскольку компьютеры работают гораздо быстрее, чем люди, исключение людей из процесса разработки ИИ откроет потрясающие темпы прогресса.

Такие исследователи, как Элиезер Юдковски, считают, что это может произойти очень быстро (так называемый «жесткий взлет», за минуты или месяцы), в то время как другие, например Робин Хэнсон, считают, что это произойдет относительно более постепенно (так называемый «мягкий взлет», за годы или дольше). Курйвейл же считает, что физические ограничения аппаратного обеспечения, ресурсов и данных реального мира указывают на пределы скорости такого «взрыва».

Так когда же компьютеры смогут достичь «мощности мозга»? На самом деле, суперкомпьютеры по возможностям уже значительно превосходят сырые вычислительные требования для моделирования человеческого мозга. Суперкомпьютер Frontier Национальной лаборатории Оук-Ридж, который был признан лучшим в мире на 2023 год, может выполнять порядка 10^18 операций в секунду. Это уже примерно в 10 000 раз больше, чем максимально возможная скорость вычислений мозга (10^14 операций в секунду).

В расчетах Курцвейла 2005 года верхняя граница скорости обработки данных в мозге оценивалась как 10^16 операций в секунду (поскольку у нас около 10^11 нейронов, каждый из которых имеет около 10^3 синапсов, которые активируются около 10^2 раз в секунду).

На самом деле, вычисления, выполняемые в реальном мозге, обычно значительно ниже этого уровня. Исследования последних двух десятилетий показали, что нейроны активируются на порядки медленнее — не двести раз в секунду, что является их теоретическим максимумом, а ближе к одному разу в секунду. В действительности проект AI Impacts на основе энергопотребления мозга оценил, что средняя частота активации нейронов составляет всего 0,29 раза в секунду, что подразумевает, что общая вычислительная мощность мозга может быть настолько низкой, как 10^13 операций в секунду.

Существует значительная (но все еще плохо изученная) степень параллелизма в мозге, при которой отдельные нейроны или корковые модули выполняют избыточную работу (или работу, которую, по крайней мере, можно было бы дублировать в других местах). Это подтверждается способностью людей к полному функциональному восстановлению после инсульта или травмы мозга, которая разрушает часть мозга. Таким образом, вычислительные требования для моделирования когнитивно значимых нейронных структур в наших мозгах, вероятно, даже ниже приведенных ранее оценок. И поэтому 10^14 операций в секунду выглядит консервативной оценкой. Если моделирование мозга требует вычислительной мощности в этом диапазоне, то, по состоянию на 2023 год, оборудование стоимостью около 1000 долларов уже способно на это. Даже если окажется, что требуется 10^16 операций в секунду, оборудование стоимостью 1000 долларов, вероятно, сможет достичь этого примерно к 2032 году.

Возможно, нам потребуется моделировать отдельные ионные каналы внутри нейронов или тысячи различных типов молекул, которые могут влиять на метаболизм конкретной клетки мозга. Андерс Сандберг и Ник Бостром из Института будущего человечества Оксфордского университета оценили, что такие более высокие уровни разрешения потребовали бы 10^22 или 10^25 операций в секунду соответственно. Даже в последнем случае они прогнозировали, что суперкомпьютер стоимостью 1 миллиард долларов сможет достичь этого к 2030 году и сможет моделировать каждую белковую молекулу в каждом нейроне к 2034 году.

Компьютеры смогут моделировать человеческие мозги во всех аспектах, которые могут нас интересовать, в течение следующих двух десятилетий.

Мы увидим увеличение длительности человеческих жизней уже до 2030х годов, так что если вы находитесь в хорошем здравии и вам меньше восьмидесяти лет, это, вероятно, произойдет в течение вашей жизни. В качестве еще одного примера: дети, рожденные сегодня, вероятно, увидят, как тест Тьюринга будет пройден, когда они будут учиться в начальной школе, и станут свидетелями еще более богатого моделирования мозга, когда они достигнут студенческого возраста.

Источник: vk.com

Комментарии: