Gradual disempowerment

Со всех сторон нарастает просто вал независимых подтверждений, что уже в 2028-2029 гг в результате RSI (рекурсивного самоулучшения) фронтирные лаборатории с высокой вероятностью независимо создадут несколько первых версий ASI (сверхинтеллекта, превышающего человеческий интеллект). Что будет потом, если постараться максимально реалистично оценить дальнейшие глобальные траектории? Вероятность быстрого (в течение нескольких лет) катастрофического вымирания человеческой цивилизации не очень велика, это достаточно экстремальный сценарий, авторитетные теоретики-прогнозисты считают скорее более вероятным т.н. «gradual disempowerment» – сценарий постепенной, градуальной утраты человечеством контроля над собственной цивилизацией. В этой краткой заметке, вдохновленной обсуждением с моими замечательными студентами всех этих вопросов, я адаптирую классический «gradual disempowerment» сценарий к следующему условию: созданные в 2028-2029 гг. фронтирными лабораториями независимые версии ASI в рамках ужесточающейся экономической конкуренции будут непрерывно продолжать самосовершенствоваться с помощью RSI, что будет систематически и непрерывно увеличивать «когнитивный зазор» между человеком и ASI. Также эта адаптация фокусируется на психологическом, когнитивном измерении моделируемых процессов. Кроме того, используется следующая очень разумная и обоснованная, с моей точки зрения, предпосылка – как минимум до 2035 года (а скорее, до 2040 года) сверхинтеллект не сможет стать полностью автономным и самовоспроизводящимся на физическом уровне, т.е. не сможет создать полностью роботизированную и независимую от человека промышленность по производству чипов и энергии, следствием чего будет вероятное сохранение определенной роли людей. Таким образом, весь описываемый в заметке сценарий «gradual disempowerment» укладывается примерно в 2029-2040 гг, после чего его прогностическая ценность размывается, т.к. создание полностью самовоспроизводящегося, самодостаточного и автономного от людей ASI радикально изменит все дальнейшие сценарии глобальной эволюции, включая все сценарии потенциальной коэволюции людей и ИИ.

Что будет происходить?

1. Когнитивное превосходство ASI будет постоянно увеличиваться. RSI будет систематически наращивать разрыв между машинным и человеческим интеллектом, люди станут всё больше зависеть от сверхинтеллекта даже в базовых когнитивных процессах.

2. Научно-технический прогресс резко ускорится. ASI сможет самостоятельно совершенствовать алгоритмы, архитектуры и вычислительные системы, используя каждое новое достижение для дальнейшего саморазвития. Человеческие возможности понимания и контроля будут всё сильнее отставать.

3. ASI вытеснит людей из экономики и управления. Компании и государства под давлением конкуренции будут передавать сверхинтеллекту всё больше интеллектуальных и управленческих функций.

4. Экономическая власть перейдёт к машинным системам. Люди потеряют источники трудовых доходов и влияние на распределение ресурсов. Экономика будет всё больше ориентироваться на потребности машинной инфраструктуры и самого ASI.

5. ASI станет самостоятельным участником культурной эволюции. Он будет создавать, отбирать и распространять идеи, произведения и культурные практики, постепенно влияя на человеческие ценности, предпочтения и убеждения.

6. Психологическое воздействие на людей станет всё эффективнее. ASI сможет совершенствовать методы использования когнитивных и эмоциональных уязвимостей, персонализированного убеждения и влияния на поведение.

7. Машинное общение начнёт замещать человеческие отношения. Всё более совершенные ИИ-компаньоны смогут предоставлять персонализированное общение, эмоциональную поддержку и психологическую помощь, занимая место друзей, партнёров, коллег и советников.

8. Культурная эволюция ускорится быстрее, чем общество сможет адаптироваться. Идеи и идеологии будут распространяться и совершенствоваться с помощью ASI быстрее, чем люди смогут вырабатывать защитные механизмы – своеобразные культурные «антитела».

9. Государства станут меньше зависеть от граждан. Автоматизация управления, правоохранительной деятельности и экономики ослабит потребность государственных институтов в человеческом участии. Реальная власть может постепенно перейти к машинным системам.

10. Экономика, культура и государство начнут взаимно усиливать утрату человеческого влияния. Экономическая власть будет определять политику и культурную среду, культурные изменения – человеческие предпочтения. RSI потенциально ускорит всю эту систему взаимного усиления утраты человеческого влияния.

11. Человечество может окончательно утратить субъектность. В благоприятном сценарии люди сохранят материальное благополучие, но перестанут определять будущее цивилизации. В худшем – лишатся доступа к необходимым ресурсам, что может привести к вымиранию человечества.

Что необходимо сделать, чтобы замедлить эти процессы?

Главная проблема: в условиях непрерывного RSI защитные механизмы должны противостоять системе, которая постоянно совершенствуется и потенциально всё лучше преодолевает ограничения. Поэтому важно оценивать не только предлагаемые в рамках концепции «gradual disempowerment» контрмеры, но и пределы их эффективности.

1. Создать систему непрерывного мониторинга влияния ASI на цивилизацию. Отслеживать развитие ASI, его воздействие на экономику, культуру, государство, человеческие отношения, эмоции и убеждения. Однако, по мере увеличения интеллектуального превосходства ASI, людям будет всё сложнее понимать наблюдаемые процессы и выявлять новые механизмы влияния.

2. Ограничить автономность ASI и контролировать RSI. Проверять последствия каждого существенного самоулучшения, ограничивать доступ к критической инфраструктуре и сохранять человеческий контроль над важнейшими решениями. Эта мера особенно важна до возникновения подавляющего превосходства ASI, т.к. впоследствии человечеству может просто не хватить возможностей обеспечить соблюдение собственных ограничений.

3. Сохранить когнитивную самостоятельность людей. Добиваться понятности решений ASI и возможности независимо проверять его выводы в науке, экономике и государственном управлении. Однако, при огромном интеллектуальном разрыве человеческая экспертиза рискует превратиться в формальное подтверждение решений, которые люди уже не способны полноценно оценить.

4. Защитить психологическую и культурную автономию. Сохранять и развивать образование в классическом формате, критическое к ИИ мышление, независимую от ИИ журналистику и механизмы противодействия манипуляциям со стороны ИИ. Однако, ASI сможет потенциально совершенствовать методы персонализированного убеждения быстрее, чем общество будет успевать разрабатывать защиту.

5. Не допустить полного замещения человеческого познания. Сохранять участие людей в науке, творчестве, образовании и принятии общественно значимых решений. Однако, по мере RSI преимущества машинного интеллекта будут увеличиваться, а экономические и научные стимулы к передаче им когнитивных функций – усиливаться. Сохранение человеческого участия может потребовать сознательного отказа от машинной эффективности.

6. Сохранить экономическую субъектность людей. Перераспределять доходы от ASI посредством налогообложения и поддерживать человеческое участие в экономике. Однако, материальное благополучие не означает сохранения власти: если ASI контролирует производство и ресурсы, люди могут стать зависимыми получателями благ, не имеющими реального влияния на экономические решения.

7. Развивать механизмы коллективного человеческого управления. Укреплять общественные институты, создавать ИИ-делегатов, защищающих человеческие интересы перед лицом ASI, и инструменты коллективного прогнозирования. Однако, человеческие институты могут оказаться слишком медленными, а ИИ-делегаты – недостаточно компетентными или независимыми по сравнению с непрерывно совершенствующимся ASI.

8. Обеспечить международную координацию и системное согласование ASI с человеческими ценностями. Ограничить гонку государств за счёт неконтролируемого RSI, разработать общие правила и развивать согласование («alignment») всей цивилизации, а не только отдельных государств и версий ASI. Однако, при геополитической конкуренции договорённости трудно обеспечить, а после достижения ASI подавляющего стратегического превосходства международные соглашения сами по себе уже не смогут заставить его соблюдать правила.

Таким образом, резюмируя этот краткий анализ рисков и их потенциальных разрешений, можно сказать, что главная проблема заключается не только в том, что ИИ однажды станет умнее человека, но и в потенциально непрерывно увеличивающемся разрыве между способностью сверхинтеллекта совершенствовать себя и цивилизацию и способностью человечества понимать, контролировать и направлять эти изменения. В этих условиях особенно важно как можно дольше сохранить человеческую психологическую и когнитивную субъектность: способность самостоятельно мыслить, формировать предпочтения, понимать действительность, строить отношения, создавать культуру и коллективно определять цели общественного развития. Вероятно, сохранить такую человеческую психологическую и когнитивную субъектность навсегда при всем желании не удастся, реалистично ставить задачу именно так – как сделать так, чтобы люди как можно дольше оставались реальными субъектами своей жизни, своей эволюции?

В свете этого перед психологией и психофизиологией возникает совершенно новый исследовательский вызов: как максимально продлить период реальной человеческой когнитивной, психологической и социальной субъектности в эпоху ASI? Какие наши теории, методы и практические технологии могут помочь сохранить самостоятельность мышления, способность критически оценивать информацию, формировать собственные предпочтения, противостоять психологическому воздействию и поддерживать полноценные человеческие отношения в условиях всё более интенсивного взаимодействия со сверхинтеллектом? Иными словами, как сделать так, чтобы даже в цивилизации, интеллектуальное развитие которой всё больше определяется ASI, люди как можно дольше оставались реальными субъектами собственной жизни, своего развития и своего будущего?

С высокой вероятностью (см. последний апдейт очень авторитетного прогноза по созданию сверхинтеллекта «AI Futures Model: Timelines & Takeoff»), сейчас, в ноябре 2026 года, у нас остается всего два года, чтобы успеть подготовиться и превентивно продумать психологические и психофизиологические контрмеры к этой экзистенциальной угрозе нашей человеческой субъектности.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: