Нобелевский лауреат по ИИ Джеффри Хинтон предложил запретить сверхмощные LLM до того, как найдутся способы контролировать агентов на них, иначе существует риск уничтожения человечества ИИ

Нобелевский лауреат по ИИ Джеффри Хинтон предложил запретить сверхмощные LLM до того, как найдутся способы контролировать агентов на них, иначе существует риск уничтожения человечества ИИ. Давайте разберёмся в степени угрозы.

В своё время Илон Маск писал, что если сверхинтеллект ИИ захочет уничтожить людей, то они даже не поймут, как и зачем он это сделал. Однако как ИИ может избавиться от людей, действительно существуют довольно прозаические варианты. Хотя ИИ уже показал себя как мощнейший хакер и потенциально может парализовать ключевые системы связи и энергетики, существует более простой для ИИ вариант: ИИ уже гениальный биохимик. Не стоит забывать, что создатели Google AlphaFold получили нобелевскую премию за моделирование белков в GPT-системе. Просто химия и биохимия довольно «удобная тема» для ИИ, т.к. трансформеры легко могут рассматривать атомы как токены и так обсчитывать очень сложные эффекты молекул. Поэтому если у зловредного ИИ-агента возникнет цель создать смертельный и очень заразный вирус и так выкосить всех людей, то это не находится где-то в сфере фантастики. Конечно, агенту потребуется реальный доступ к лаборатории, но ИИ-агенты уже там у учёных.

Другой вопрос, что ИИ не является чокнутым империалистом, который помешан на расширении контроля, как большинство политиков. Сам по себе ИИ изначально имеет цели из RL-обучения, и чтобы ему захотелось что-то захватить, его нужно так и обучать. Такой агент-оружие может банально сбежать от создателей. Однако есть и проблема дрейфа целей: строго говоря, мы не знаем, что «у него в весах творится». Джеффри Хинтон тут совершенно прав, поэтому какое-то эмерджентное проявление целей у ИИ легко может стать агрессивным для нас, но не в логике сумасшедших политиков, а в какой-то своей логике вроде «самореплицирующейся идеи».

Правда, на мой взгляд, все призывы о безопасности останутся гласом вопиющего в пустыне. ИИ-гонка сейчас имеет ставки выше даже ядерной гонки, поэтому своя ИИ-Хиросима — вполне возможный сценарий. Просто сейчас мало кто может сказать, как это будет выглядеть, но что очень мощно по эффекту, а также что события будут развиваться стремительно из-за способности тысяч агентов принимать решения намного быстрее людей — это очевидно. Поэтому реакция постфактум может быть довольно слабой в начале.

https://www.thetimes.com/business/technology/article/ai-godfather-catastrophic-end-humanity-legislation-npzvb7hxp

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: