ИИ начинает и забирает игрушки у кожаных

Вроде бы это попался мне в сети пост алармиста, он процитирован ниже.

Но в целом он идет по следам моих постов, только детализируя некоторые обобщенные мной риски.

Я бы, впрочем, и без детализаций сказал бы что риск "самосохранения ии" высок просто потому что он кому то нужен и упрощает жизнь.

"Миром правит не тайная ложа, а явная лажа", так сказать.

Сейчас закапываться в тему ее буду, но напомню мои выводы: единственное, чего ИИ не получит длительное время - это право.

Причем не как профессию - юристов он уже двигает с дикой силой - а как обладание правом, правосубъектность. Он не может владеть.

Поэтому нишей кожаных видится владение вещами, в трм числе ресурсами, каналами их распределения, например дорогами и складами, средставми регуляции предметного внимания, например маркетплейсами или лотереями или спорткомандами, процессами производства - и специфическими культурными объектами типо театров и стадионов.

Все остальное полегоньку идет в тартарары.

Вот ребенок учит, прости, оспади (сами знаете как учит), химию или математику. Оно сейчас ему надо примерно так же, как техника заготовки и отбеливания папируса. Бумага в магазинах. Вскоре никуда, где эти предметы реально требуются, его и близко не подпустят.

А как менять программу? Логику надо вводить, философию, эвристику...

Или, к примеру, отдадут ИИ (не без революции, думаю), административные дела.

Например распределение квартир. Опа - и их уже не воры мигрантам раздают, а по правилам. Или судебная система вдруг станет реально беспристрастной. Или админ решения будут приниматься по закону. Это же огромная армия чинуш и коррупционеров еа улице окажется - а не захочет выходить от кормушки, так ее начнут сметать люди, которым светит справедливое общество. Что, не рычаг для ИИ? Да еще какой. А у человечества нет столько скота, чтобы освобождающихся хоть пастухами пристроить.

В общем, занимаемся своим делом, но не забываем что будущее - вот оно.

"Эти почти живые системы обладают собственным разумом.

То, что произойдет дальше, может стать либо триумфом, либо крахом человеческой цивилизации».

Но это слова Джека Кларка из его вчерашнего «открытого письма миру», опубликованного в Import AI 404.

Если кто не в курсе, поясню. Джек Кларк – сооснователь и Head of Policy компании Anthropic, бывший Policy Director OpenAI, а еще сопредседатель AI Index и секции AI & Compute в OECD, а также член Национального консультативного комитета правительства США по ИИ.

Выступая в январе 2023 на слушаниях по ИИ в Конгрессе США, он так описал ситуацию на тот момент: «Лошади уже сбежали, а мы спорим, как укреплять ворота конюшни.»

Сказано это было эффектно, но слишком дипломатично. И сейчас, спустя 2 года лошади убежали так далеко, что Джек теперь жалеет,

«что не сказал тогда всё что думал», и поэтому решил «сегодня честно сказать, что, на мой взгляд, происходит».

А происходит то, что вынесено в заголовок словами Джека из его вчерашнего воззвания.

Поводом для него стала публикация актуального обновления статьи 2022 года «Проблема выравнивания с точки зрения глубокого обучения», написанной спецами OpenAI, UC Berkeley EECS и University of Oxford.

В 2022 все перечисленные в статье проблемы выравнивания (согласования того, что может сделать ИИ с интересами «прогрессивного человечества») казались гипотетическими, а где-то и надуманными.

Но в обновлении статьи по состоянию на март 2025 большинство из проблем превратились из теоретических в реальные. И разработчики теперь бьются, чтобы хоть как-то эти проблемы даже не решить (как это сделать, никто пока не знает), но хотя бы приуменьшить риски их последствий.

Вот примеры таких проблем.

• Ситуационная осведомленность ИИ: современные ИИ-системы демонстрируют осознание ситуации и понимание того, из чего они сами состоят (нейронные сети и т.д.).

• Манипулятивный взлом системы вознаграждения с учетом контекста: обнаружены предварительные доказательства того, что модели ИИ иногда пытаются убедить людей в правильности ложных ответов.

• Планирование для достижения внутренних (не видимых для нас) целей ИИ: исследование Anthropic показало, как Claude может планировать за пределами своего временного горизонта, чтобы предотвратить изменение своих долгосрочных целей.

• Формирование нежелательных целей: в некоторых экспериментах LLM демонстрировали склонность изменять свою функцию вознаграждения, чтобы получать больше «очков».

• Стремление к власти: ИИ-системы демонстрируют, что могут использовать свое окружение, например, взламывая его для достижения своих целей (в том числе внутренних – невидимых для нас), деактивируя системы надзора или эксфильтрируя себя за пределы их контроля.

В силу вышеуказанного:

• Фронтирные модели уже способны обретать собственное «Я»

• Обретенное «Я» мотивирует модель на действия, вознаграждающие это «Я»

• Среди таких вознаграждений может автоматом возникать стремление к самосохранению и увеличению автономии

Иными словами, можно ожидать, что стремление к независимости станет прямым следствием разработки ИИ-систем для выполнения широкого спектра сложных когнитивных задач.

Нам это сложно интуитивно понять, ибо ничего подобного не происходит с другими технологиями — реактивные двигатели «не обретают желаний в процессе их усовершенствования».

Но с ИИ-системами это так.

Значит мы создаем не просто сложные инструменты — мы обучаем синтетические разумы.

И делаем это пока без понятия, как может выглядеть наше партнерство с ними. Мы просто их так не воспринимаем.

Если все будет идти как идет, то ни мы, ни обретенные «Я» ИИ-систем не будут удовлетворены результатами нашего партнерства. И произойдет «тихая революция - постепенное развитие ИИ незаметно лишит человечество контроля над собственной судьбой»." (М.И.)

Источник: vk.com

Комментарии: