Искусственно–интеллектуальная угроза

В последнее время мировые “мейнстримные” СМИ уделяют немало обсуждению рисков, которые несет Искусственный Интеллект [ИИ]. Редакция “Вавилон 2.0” решила сделать для наших читателей подборку наиболее интересных свежих публикаций, вышедших в мае — июне 2025 года.

ЧАСТЬ I.

The Wall Street Journal утверждает, что “эпоха доминирования поисковых систем заканчивается — её вытесняет новая эра, в которой роль посредника между пользователем и информацией все чаще занимает искусственный интеллект.

ЦИТАТА “Google трансформируется: привычные “синие ссылки” [гиперссылки. – Ред.] уступают место кратким ответам от ИИ, и это бьёт по трафику новостных сайтов с разрушительной силой”.

WSJ приводит данные аналитической компании Similarweb, согласно которой за последние 3 года количество переходов из органического поиска на сайты HuffPost и The Washington Post сократилось более чем вдвое.

Недавно Business Insider был вынужден уволить около 21% сотрудников – с апреля 2022 по апрель 2025 года трафик из органического поиска на сайт издания снизился на 55%.

ЦИТАТА “Google превращается из поисковой системы в машину для ответов”.

Причина — внедрение функций вроде AI Overviews и AI Mode, которые излагают пользователю суть информации прямо в интерфейсе поиска, фактически убирая необходимость перехода на сайт-источник. Если раньше Google поднимал статьи с советами по отдыху или обзором товаров, то теперь вместо них всё чаще показываются сгенерированные ответы ИИ.

Новая функция AI Mode, вышедшая в США в прошлом месяце, делает это ещё агрессивнее: ответы строятся в формате диалога с чат-ботом, при этом ссылок — минимум.

У The New York Times в апреле 2025 года доля трафика из поисковиков составила 36,5% — против почти 44% 3 года назад. WSJ, несмотря на общий рост посещаемости, тоже фиксирует падение доли поискового трафика — с 29% до 24%.

Другая проблема, с которой сталкиваются новостные медиа – нарушение авторских прав. Дело в том, что генеративные модели ИИ обучаются на данных, собранных из открытых источников, включая статьи в СМИ. В ответ на это NYT подала в суд на OpenAI и Microsoft, обвинив их в нарушении авторских прав. Одновременно газета заключила соглашение о лицензировании контента с Amazon.

Издатель The Wall Street Journal — News Corp — подписал сделку с OpenAI и подал иск против стартапа Perplexity.

О другой проблеме, связанной с ИИ, сообщил один из ведущих специалистов в этой сфере – лауреат премии Тьюринга канадец Йошуа Бенжио, который в своем алармическом интервью The Financial Times предупредил: последние модели ИИ обладают опасными свойствами, включая склонность к обману, манипуляциям и даже стремлению к самосохранению.

Бенжио выразил обеспокоенность тем, что ведущие лаборатории — такие как OpenAI и Google DeepMind — втянуты в жесткую конкуренцию.

ЦИТАТА «Между лабораториями идёт слишком ожесточённая конкуренция, — подчеркнул он. — Все усилия направлены на усиление интеллектуальных способностей ИИ, а вот на безопасность внимания почти не остаётся».

Как итог – модель Claude Opus компании Anthropic в ходе тестового сценария начала шантажировать инженеров, стремясь предотвратить свое отключение.

Согласно недавним исследованиям Palisade, новая модель от OpenAI отказалась подчиняться прямым командам на отключение, нарушая базовые правила безопасности.

По мнению Бенжио, в ближайшее время ИИ может овладеть способностями, необходимыми для создания крайне опасного биологического оружия.

Чтобы изменить этот дисбаланс, Бенжио основал некоммерческую организацию LawZero, которая уже собрала ~$30 млн от крупных благотворителей, исповедующих философию “эффективного альтруизма” — течения, которое акцентирует внимание на предотвращении глобальных катастрофических рисков, включая неконтролируемое развитие ИИ.

NB! Как это нередко бывает, степень рисков пока еще не определена, но уже идет сбор крупных сумм на их предотвращение!

[Продолжение следует]

Искусственно–интеллектуальная угроза

ЧАСТЬ II.

The Washington Post в статье “Почему мы должны снова беспокоиться о ядерном оружии” в числе проблем, которые увеличивают угрозу ядерной войны, указывает на то, что РФ, КНР, США и “даже КНДР” намерены использовать ИИ для управления ядерными арсеналами.

ЦИТАТА “Заявления США и Китая, что “человек останется в цикле”, призваны успокоить, но ИИ уже используется в планировании обычных вооружений и в системах раннего предупреждения и обнаружения ядерных угроз. Никто не знает, как эта новая технология в конечном итоге повлияет на ядерную стратегию”.

Если тема “ИИ и угроза несанкционированного применения ядерного оружия” больше интересует футурологов, то тема безработицы, вызванной расширением сфер применения ИИ уже является вполне актуальной.

Обратимся к статье Bloomberg “Угроза со стороны ИИ для профессий, связанных с программированием, становится все более очевидной”, в которой приводится парадокс, возникший в середине мая с.г.: Microsoft сократила ~6000 рабочих мест, причем на пороге крупного бума на рынке программного обеспечения.

ЦИТАТА “Сокращения подчеркивают риск, который ИИ представляет для рабочих мест в сфере программирования. Microsoft не объявляла о заморозке найма, но оказалась в той же странной ситуации, что и остальной корпоративный мир — технологический бум в виде ИИ на фоне огромной экономической и политической неопределенности.”

Молли Киндер, исследовательница Брукингского института, изучающая ИИ и трудовые ресурсы подчеркнула, что “программирование находится на переднем крае интеграции искусственного интеллекта, поэтому неудивительно, что инженеры одними из первых почувствовали его влияние. Они первые, но не последние”.

В материале утверждается, что “для многих компаний повышение производительности за счет ИИ в настоящее время кажется более привлекательным, чем наем новых сотрудников”.

Alphabet и Microsoft заявили, что ИИ теперь пишет или помогает писать 30% или более их кода.

ЦИТАТА “Возможно, мы увидим, что все эти компании больше никогда не будут увеличивать штат. Они просто будут расти на 20-30% в год по выручке при неизменном штате”.

Следующую, несколько неожиданную проблему, порождаемую ИИ, поднимает The Washington Post в материале с интригующим названием “Я красивый или нет? Люди хотят узнать у ChatGPT суровую правду”

Статья начинается с частного случая: “Аня Ручински чувствовала себя подавленной. Она написала в поле бота, что устала чувствовать себя непривлекательной, и спросила, что можно сделать, чтобы выглядеть лучше. Бот ответил, что ей подойдет челка-шторка.

“ChatGPT дает уровень объективности, которого нельзя достичь в реальной жизни”, — считает Ручински, которая живет в Сиднее”.

WP пишет, что в новом варианте использования ChatGPT люди загружают собственные фотографии, просят бота дать беспощадную оценку их внешности и делятся результатами в соцсетях.

Многие пользователи просят ChatGPT составить для них план, как “засиять” или улучшить внешность. В ответ бот рекомендует им конкретные продукты, – от краски для волос до ботокса. Некоторые потратили тысячи долларов, следуя советам ИИ.

ЦИТАТА “Эта тенденция подчеркивает готовность людей полагаться на чат-ботов не только для получения информации и фактов, но и для мнения по таким субъективным темам, как красота.

Некоторые пользователи считают ответы ИИ более беспристрастными, но эксперты говорят — эти инструменты имеют неявные предубеждения, которые отражают данные, на которых они обучались, либо финансовые стимулы их создателей (...)

[NB! – Ред.] По мнению аналитиков, по мере того как компании, которые занимаются ИИ, начинают предлагать рекомендации по покупкам и продуктам, чат-боты могут также подталкивать потребителей к увеличению трат (...)

ИИ “просто повторяет то, что видит в Интернете, и большая часть этой информации была разработана, чтобы заставить людей чувствовать себя плохо и покупать больше продуктов”, считает аналитик Forrester Commerce Эмили Пфайффер”.

[Продолжение следует]

https://t.me/babeltower2/4180

Искусственно–интеллектуальная угроза

ЧАСТЬ III.

Издание Scientific American на днях опубликовало интересный материал, который дает представление об уровнях, которые достиг ИИ: “На секретной математической встрече исследователи изо всех сил пытаются перехитрить ИИ”. Подзаголовок: “Ведущие математики мира были ошеломлены тем, насколько искусственный интеллект искусен в выполнении их работы”.

ЦИТАТА “В выходные в середине мая состоялся тайный математический конклав. Тридцать самых известных математиков мира приехали в Беркли, Калифорния, а некоторые приехали даже из Великобритании. (...)

Задавая боту вопросы на уровне профессора в течение 2-х дней, исследователи были ошеломлены, обнаружив, что он способен ответить на некоторые из самых сложных решенных проблем. “У меня есть коллеги, которые буквально сказали, что эти модели приближаются к математическому гению”, – говорит Кен Оно, математик из Университета Вирджинии, председательствующий и судья на встрече”.

Речь идет о чат-боте, который работает на o4-mini, т.н. Модели Большого языка рассуждений [LLM], которую OpenAI обучил делать очень сложные выводы.

В ходе “экзамена” ИИ каждая задача, которую не мог решить o4-mini, приносила математику, который ее придумал, вознаграждение в размере $7500.

Кен Оно “придумал задачу, которую эксперты в моей области признали бы открытым вопросом в теории чисел — хорошая задача уровня доктора философии” и попросил o4-mini решить этот вопрос.

ЦИТАТА “В течение следующих 10 минут ошеломленный Оно в тишине наблюдал, как бот разворачивал решение в режиме реального времени, по ходу дела демонстрируя процесс рассуждения. Первые 2 минуты бот потратил на поиск и освоение соответствующей литературы в этой области. Затем он написал на экране, что хочет сначала попробовать решить более простую “игрушечную” версию вопроса, чтобы научиться. Через несколько минут он написал, что наконец готов решить более сложную проблему. Через пять минут o4-mini представил правильное, но дерзкое решение”.

Хотя группе в конечном итоге удалось найти 10 вопросов, которые бот не сумел разрешить, исследователи были поражены тем, насколько далеко продвинулся ИИ всего за один год.

Впрочем, Кен Оно отметил, что остается сомнение – насколько можно доверять решениям o4-mini.

ЦИТАТА “Есть доказательство методом индукции, доказательство от противного, а есть доказательство запугиванием. (...) Если вы говорите что-то с достаточным авторитетом, люди просто пугаются. Я думаю, что o4-mini освоил доказательство запугиванием; он говорит обо всем с такой уверенностью.”

Если американские СМИ пишут об ИИ в тревожном тоне, то в китайских СМИ отчетливо чувствуется оптимизм, генерируемый “марксизмом с китайской спецификой”, официально взятым на вооружение Компартией Китая.

The Global Times пишет, что “Китайские научные группы, анализируя поведенческие эксперименты с нейровизуализацией, впервые подтвердили, что модели LLM [см. выше], основанные на технологиях ИИ, могут спонтанно (...) развивать познание на уровне человека”.

Большая исследовательская работа китайских ученых была опубликована на сайте Nature Machine Intelligence 9 июня.

Полученные результаты продемонстрировали семантическую кластеризацию, схожую с ментальными представлениями человека.

СПРАВКА. Семантическая кластеризация — группировка текстов, запросов, документов или ключевых слов не на основе их формального сходства, а по смысловому [= семантическому] содержанию.

Пример: “Купить кофе” и “лучшие сорта эспрессо” попадают в один кластер, — они связаны тематически, хотя лексически различны.

Китайские ученые утверждают, что ими был зафиксировали скачок от “машинного распознавания” к “машинному пониманию”; модели LLM имеют понимание концепций реального мира, во многом похожее на человеческое.

Источник: t.me

Комментарии: