УЧЕНЫЕ: СВЕРХРАЗУМНЫЙ ИИ УГРОЖАЕТ ЧЕЛОВЕЧЕСТВУ

2022-09-16 07:37

Сверхразумный искусственный интеллект может дать сбой и уничтожить человечество. Об этом предупредили ученые из Оксфордского университета и лаборатории DeepMind в новой научной работе.

Команда попыталась спрогнозировать, как ИИ с системами вознаграждения могут выйти из-под контроля и навредить людям. За основу исследования ученые взяли генеративно-состязательные нейросети (GAN), состоящие из двух частей: генератора и дискриминатора.

Первый компонент предназначен для создания изображений, а второй — для их оценки.

Ученые предположили, что в какой-то момент продвинутый ИИ, контролирующий важную функцию, может прибегнуть к мошеннической стратегии для получения вознаграждения.

«В заданных условиях наш вывод намного сильнее любой предыдущей публикации — экзистенциальная катастрофа не просто возможна, она вероятна», — сказал доктор технических наук Оксфордского университета Майкл Коэн.

Ученый считает, что в мире с ограниченными ресурсами искусственно созданные системы постараются перехитрить конкурентов.

Для иллюстративных целей исследователи представили сценарии, в которых продвинутая программа может вмешаться для получения вознаграждения без достижения заданной цели. Например, ИИ может захотеть «устранить потенциальные угрозы» и «использовать всю доступную энергию», чтобы обеспечить контроль над своей наградой.

«Нам следует с большей подозрительностью относиться к искусственным агентам, которые мы разворачиваем сегодня, а не просто слепо ожидать от них исполнения поставленных задач», — сказал Коэн.

Исследователи также предположили, что на данном этапе развития ИИ следует замедлить или приостановить разработки сверхразумных алгоритмов.

Компания Google, владеющая лабораторией DeepMind, в комментарии для Motherboard заявила о непричастности к данной работе. По словам представителя техгиганта, один из соавторов статьи Маркус Хаттер выступил от имени Австралийского национального университета.

«DeepMind не участвовал в этой работе, и авторы статьи запросили исправления, чтобы отразить это. В DeepMind существует широкий спектр взглядов и академических интересов. Многие в нашей команде также занимают профессорские должности в университетах и ??занимаются академическими исследованиями отдельно от работы в DeepMind через свои университетские связи», — заявили в Google.

Однако в компании поддержали усилия исследователей в обеспечении безопасности использования [https://vk.com/wall-62032126?s=87&q=%D0%98%D0%98-%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2|ИИ-алгоритмов].

Напомним, в сентябре историк и философ Эмиль Торрес заявил, что искусственный интеллект угрожает человечеству полным вымиранием.

В январе Илон Маск пообещал не допустить потенциальное восстание машин.

Источник: vk.com



		УЧЕНЫЕ: СВЕРХРАЗУМНЫЙ ИИ УГРОЖАЕТ ЧЕЛОВЕЧЕСТВУ
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Городские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ Разработка ИИ ИИ теория Компьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Внедрение ИИ Big data Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Работа разума и сознание Изучение сна Изучение сознания Нейроинтерфейс Психология Работа мозга Работа памяти Работа разума Модель мозга Модель мозга Робототехника, БПЛА Беспилотные автомобили БПЛА Робототехника Трансгуманизм Трансгуманизм Обработка текста Анализ социальных сетей Компьютерная лингвистика Лингвистика Поисковые алгоритмы Теория эволюции Головной мозг Нейронные сети Поведение животных Теория эволюции Дополненная реальность Виртулаьная реальность Дополненная реальность Железо Интернет вещей Квантовый компьютер Нейронные процессоры облачные вычисления Суперкомпьютеры Киберугрозы Кибербезопасность Научный мир Методы исследования Наука и образование Семинары ИТ индустрия ИТ-гиганты Новости ит Разработка ПО Разработка ПО Теория алгоритмов Теория информации Кластеризация Математика Актуальная математика Статистика Теория вероятности Теория информации Теория хаоса Цифровая экономика Технология блокчейн Цифровая экономика Авторизация RSS RSS новости		2022-09-16 07:37 опасность искусственного интеллекта Сверхразумный искусственный интеллект может дать сбой и уничтожить человечество. Об этом предупредили ученые из Оксфордского университета и лаборатории DeepMind в новой научной работе. Команда попыталась спрогнозировать, как ИИ с системами вознаграждения могут выйти из-под контроля и навредить людям. За основу исследования ученые взяли генеративно-состязательные нейросети (GAN), состоящие из двух частей: генератора и дискриминатора. Первый компонент предназначен для создания изображений, а второй — для их оценки. Ученые предположили, что в какой-то момент продвинутый ИИ, контролирующий важную функцию, может прибегнуть к мошеннической стратегии для получения вознаграждения. «В заданных условиях наш вывод намного сильнее любой предыдущей публикации — экзистенциальная катастрофа не просто возможна, она вероятна», — сказал доктор технических наук Оксфордского университета Майкл Коэн. Ученый считает, что в мире с ограниченными ресурсами искусственно созданные системы постараются перехитрить конкурентов. Для иллюстративных целей исследователи представили сценарии, в которых продвинутая программа может вмешаться для получения вознаграждения без достижения заданной цели. Например, ИИ может захотеть «устранить потенциальные угрозы» и «использовать всю доступную энергию», чтобы обеспечить контроль над своей наградой. «Нам следует с большей подозрительностью относиться к искусственным агентам, которые мы разворачиваем сегодня, а не просто слепо ожидать от них исполнения поставленных задач», — сказал Коэн. Исследователи также предположили, что на данном этапе развития ИИ следует замедлить или приостановить разработки сверхразумных алгоритмов. Компания Google, владеющая лабораторией DeepMind, в комментарии для Motherboard заявила о непричастности к данной работе. По словам представителя техгиганта, один из соавторов статьи Маркус Хаттер выступил от имени Австралийского национального университета. «DeepMind не участвовал в этой работе, и авторы статьи запросили исправления, чтобы отразить это. В DeepMind существует широкий спектр взглядов и академических интересов. Многие в нашей команде также занимают профессорские должности в университетах и ??занимаются академическими исследованиями отдельно от работы в DeepMind через свои университетские связи», — заявили в Google. Однако в компании поддержали усилия исследователей в обеспечении безопасности использования [https://vk.com/wall-62032126?s=87&q=%D0%98%D0%98-%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2\|ИИ-алгоритмов]. Напомним, в сентябре историк и философ Эмиль Торрес заявил, что искусственный интеллект угрожает человечеству полным вымиранием. В январе Илон Маск пообещал не допустить потенциальное восстание машин. Источник: vk.com Комментарии:

УЧЕНЫЕ: СВЕРХРАЗУМНЫЙ ИИ УГРОЖАЕТ ЧЕЛОВЕЧЕСТВУ

Комментарии: