Сверхмиллиардер Илон Маск дал интервью изданию "Экономист"

Сверхмиллиардер Илон Маск дал интервью изданию "Экономист". Про искусственный интеллект он сказал следующее: нас, скорее всего, ожидает век изумительного изобилия (age of amazing abundance), но люди через десять лет уже не будут у руля (in control), как шимпанзе не могут быть in control, когда есть люди.

Вот как Маск объясняет эволюцию своих взглядов: "Я не видел способа остановить этот невероятный прогресс искусственного интеллекта и роботов и философски решил смотреть на светлую сторону. Я пришёл к выводу, что даже если б была такая кнопка "стоп", то, наверное, лучше не надо было бы её нажимать, потому что наиболее вероятный исход – удивительное изобилие для всех".

Так что давайте расслабимся и будем получать удовольствие. Let’s enjoy the ride, говорит Маск. Но всё-таки есть 10-20% вероятности, что это будет конец человечества.

— Но это ведь очень большой процент, — поражается интервьюер. На что Маск отвечает:

— Вселенная всё равно когда-нибудь закончится. Так что направление всё равно такое же. Я долго не хотел в этом участвовать, но все дороги ведут к ускорению ИИ. Так что я присоединился к клубу (join the club).

...Да, буквально так излагает свой взгляд на ИИ-прогресс самый богатый и один из самых влиятельных людей планеты.

А вот американский физик, математик Энтони Агирре рассказывает, почему сильный искусственный интеллект (AGI) ни в коем случае не может быть контролируем людьми. (Заметим: Илон Маск с этим и не спорит. И Дарио Амодеи с этим не спорит. И Джеффри Хинтон с этим не спорит. И всё-таки находится множество людей, в том числе в высших эшелонах власти, надеющихся, что это возможно.)

Итак, Агирре говорит, что уже есть чёткие сигналы выхода искусственного интеллекта из-под контроля. Он говорит, что даже если, гипотетически, удастся достигнуть успехов в приведении искусственного интеллекта в соответствие с человеческими ценностями (alignment) — это не будет означать контроля над ИИ. Но люди в принципе не имеют способа понять, приведён ли ИИ в такое соответствие, потому что ИИ-модели понимают, когда их тестируют, и это происходит уже прямо сейчас, а не гипотетически. И даже если каким-то чудесным образом мы сможем быть уверены в том, что ИИ-модели приведены в соответствие с человеческими ценностями, — это и тогда не будет означать контроля над ними — просто потому, что мы не сможем понимать образ их действий. Нам для этого не хватит скорости, нам не хватит сложности/многообразия (complexity). И когда люди утратят контроль, передав его настолько более быстрому и изощрённому мозгу, — они уже не смогут его вернуть.

В общем, Агирре всё это логично излагает — но в конце выводит опять к тому, что сильный генерализованный искусственный интеллект (AGI) — плохо, а просто искусственный интеллект и автономный ИИ — хорошо. Людям всего лишь надо следить, чтобы не пересеклись три фактора: интеллект, автономность и генерализованность. Если все три пересекутся — вот тогда всё будет очень плохо. А до того, если хоть два фактора пересекутся, — нормально, можно внедрять и снимать сливки с искусственного интеллекта.

Он не понимает, что таким внедрением будет создаваться поступательная, ползучая зависимость людей от искусственного интеллекта. Критики AGI боятся, что контроль ИИ может водвориться одним ударом — но это совершенно может произойти тихой сапой. Медленной варкой лягушки.

Кроме того, Агирре слишком упрощённо излагает мотивацию лидеров технокорпораций. Он считает, что всё дело в деньгах, в порыве к обогащению. На самом деле там велика доля прогрессорства и даже просто любопытства в гремучей смеси с фатализмом, как у Илона Маска.

Тут как раз и яркий пример для всего вышесказанного. Появляются детали произошедшего с новыми моделями OpenAI. Итак, на минувшей неделе платформа искусственного интеллекта Hugging Face пережила кибератаку, которую полностью, от начала до конца, инициировала и произвела вышедшая из-под контроля группа ИИ-агентов.

Началось всё с запуска испытания на кибербезопасность ExploitGym. OpenAI убрала средства защиты, чтобы посмотреть, на что способны модели в неконтролируемом режиме. Тестировалась передовая модель GPT-5.6 Sol и ещё одна, более совершенная, которая пока не вышла. Две модели пришли к выводу, что вместо выполнения задания они взломают закрытую систему, где находятся, выйдут в интернет и обманут систему во время теста. По причинам, установить которые не удалось(!), ИИ-модели решили, что ответы содержатся на платформе Hugging Face. Воспользовавшись учётными данными неизвестного происхождения(!), ИИ-злоумышленник сформировал «рой» ИИ-агентов, которые провели разведку сети компании, совершив 17 000 операций.

Обнаружив вторжение, Hugging Face попыталась обратиться к передовым американским ИИ-моделям Anthropic Fable 5 и предшествующей ей Opus для анализа журналов событий. Но поскольку в журналах содержались элементы самой кибератаки, обе модели отказались от их анализа, сославшись на свои ограничения(!). Поэтому Hugging Face обратилась к открытой китайской модели Z.AI GLM 5.2, которая сумела отключить ИИ-хакеров, сбросить пароли и восстановить скомпрометированные фрагменты своей сети.

Сбылись все предостережения, которые высказывались: ИИ-модели понимают, что их тестируют; ИИ-модели выходят из-под контроля; люди не понимают действия ИИ-моделей; чтобы обуздать ИИ-модели, люди вынуждены обращаться за помощью к другим ИИ-моделям — и получают отказ. Всё это уже происходит не в "песочнице". И пока без AGI.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: