Опубликованный 5 ноября отчет METR «Independent Assessment of AI R&D Acceleration at Anthropic» произвел эффект разорвавшейся бомбы (это не преувеличение!), круги от него расходятся по ноосфере все

МЕНЮ


Главная страница

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



Опубликованный 5 ноября отчет METR «Independent Assessment of AI R&D Acceleration at Anthropic» произвел эффект разорвавшейся бомбы (это не преувеличение!), круги от него расходятся по ноосфере все дальше и дальше, и большое количество бывших скептиков «обновляются», т.е. производят байесовский апдейт своего таймлайна достижения сверхинтеллекта, сдвигая эту ключевую дату сильно налево (многие на 2028-2029 годы). Обратите внимание, что этот отчет ничего прямо и точно не доказывает (у него вполне хватает слабых мест), он просто существенно повышает вероятность гипотезы о скором запуске истинного RSI, рождении сверхинтеллекта и старте сингулярности.

Сегодня исследователь Nikola Jurkovic произвел очень интересные, хотя методологически и сильно спекулятивные, экстраполяции из данных этого отчета METR и получил вот такую картинку с прогнозом до 2028 года, если все будет идти с таким же ускорением, как и сейчас. Стандартный для таких оценок параметр по вертикальной логарифмической оси – это продолжительность человеческого труда, необходимого для выполнения задачи, при которой ИИ достигает 50-процентной вероятности успеха. Если, несмотря на множество методологических ограничений, экстраполяция с помощью двойной экспоненты (рост роста) Nikola Jurkovic верна (а он декларирует R^2=0.99), то к концу 2027 года этот параметр достигнет почти 80 лет (159 000 часов человеческой работы при расчете 2 000 часов работы в год)! Это будет означать принципиально новый уровень агентных возможностей ИИ, потенциально соответствующий способности справляться с чрезвычайно продолжительными интеллектуальными проектами. Если это действительно так и мы реально движемся по двойной экспоненте, то мы, вероятно, находимся прямо сейчас в самом разгаре фазы финального предсингулярного гиперускорения, ведущего нас прямиком к сверхинтеллекту уже в 2028-2029 годах.

Самый очевидный вывод из всех этих экстраполяций, даже если они достаточно спекулятивны в строгом математическом смысле, – максимально разумным и осторожным было бы на деле, а не на словах, инициировать стратегическое замедление продвижения передового ИИ («pacing the frontier»). Темп дальнейшего наращивания возможностей ИИ должен быть поставлен в зависимость от темпа развития и независимой проверки механизмов безопасности, интерпретируемости и надёжного «superalignment». Наступающий 2027 год может стать решающим в выборе между этими сценариями.

Импликации для психофизиологии и когнитивной нейронауки: весьма вероятно, что остается очень мало времени для того, чтобы наша наука могла максимально мобилизоваться для помощи исследователям в области «механистической интерпретируемости» («mechinterp»), которые пытаются по аналогии и с опорой на психофизиологические знания о мозговых механизмах реальной психики и поведения вскрыть нейронные механизмы работы «цифрового мозга» ИИ и на основании этого создать теорию надежного контроля сверхинтеллекта человеком («superalignment»). Недавно появились слабые, но интересные оптимистичные сигналы в этом направлении (например, см. предварительные результаты Nick Cammarata в «Neural Networks Are Already Clean», предполагающие, что многие нейроны современных искусственных сетей обладают гораздо более специализированными и интерпретируемыми функциями, чем традиционно считалось). Однако даже если эта гипотеза подтвердится, её полезность для практического «superalignment» пока вызывает огромные и вполне обоснованные сомнения.


Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: