Ученые нервничают: управлять сверхразумным ИИ будет невозможно

Ученые постоянно заняты разработкой сверхумных машин, которые могут управлять другими умными машинами. Гипотетический сверхразум, обладающий интеллектом, намного превосходящим разум самых ярких и одаренных людей, пугает некоторых специалистов. В научном мире давно ведется дискуссия о потенциально катастрофических рисках, связанных с неконтролируемым сверхразумным искусственным интеллектом.

При помощи теоретических расчетов команда ученых из Германии, Италии и других стран доказала, что, скорее всего, у человека не получится управлять сверхразумным ИИ. Также ученые изучили основные предложения по сдерживанию подобной системы и пришли к неутешительным выводам.

Представим сверхразумную систему ИИ, запрограммированную таким образом, чтобы она могла самостоятельно и независимо обучаться. Такая система при подключении к Интернету вполне может получить доступ ко всем данным, которые за все это время накопило человечество. В конечном итоге она будет способна заменить все ныне действующие программы и контролировать машины во всем мире.

Да, звучит как антиутопия (или все-таки утопия?), но ученые-компьютерщики решили исследовать эти риски при помощи теоретической информатики. Сможет ли ИИ излечить смертельные болезни, прекратить войны и предотвратить худшие сценарии климатической катастрофы? Или его создание уничтожит нас и машины захватят Землю, как в кино? Получится ли у нас вообще контролировать сверхразумные машины? Ведь нужны хоть какие-то гарантии, что они не будут угрожать человечеству.

В рамках своей теории ученые изучили разные подходы к управлению сверхразумным искусственным интеллектом.

В первую очередь, они рассматривали идею ограничения возможностей ИИ. Например, отрезать контакты с внешним миром — не давать ему доступ к Интернету и исключить связь с другими устройствами. Но это значительно бы уменьшило мощность системы и, возможно, она не смогла бы выполнять какие-то задания.

Вторая идея — с самого начала запрограммировать систему так, чтобы ее цели отвечали интересам человечества и, например, определенным этическим принципам. Однако и у этого подхода нашелся ряд ограничений.

В процессе исследования был разработан алгоритм сдерживания ИИ — фактически, это была гарантия невозможности причинить вред человечеству ни при каком развитии событий. В рамках этого алгоритма поведение ИИ моделируется таким образом, что он просто останавливается, когда становится опасным. Но анализ показал, что в существующей сейчас парадигме вычислений выстроить такой алгоритм принципиально невозможно.

Если рассмотреть проблему с точки зрения теоретической информатики, то выясняется: алгоритм, который мог бы дать ИИ задачу не уничтожать мир, способен случайным образом прекратить свои же операции. Если бы это случилось, то мы бы даже не знали, сработал ли алгоритм сдерживания опасного ИИ или еще ведется анализ угрозы.

То есть, фактически, любые алгоритмы сдерживания не работают и задача сдерживания ИИ невыполнима. Проще говоря, ни один алгоритм просто не способен определить, может ли ИИ нанести вред миру и человечеству, поэтому полное сдерживание ИИ в принципе невозможно из-за фундаментальных ограничений, присущих самим вычислениям.

Более того, исследователи говорят, что мы можем даже не знать, когда конкретно появятся сверхразумные машины. Точно по таким же причинам невозможно определить, превосходит ли интеллект той или иной машины человеческий разум.