Безопасный ИИ в эпоху нейросетей

Безопасный ИИ в эпоху нейросетей

Краткое содержание: ИИ на нейросетях может быть создан, и он будет относительно безопасен, но это не надолго. Эра нейроИИ (с 2015) будет характеризоваться экспоненциальным ростом суммарного интеллекта человечества с периодом удвоения порядка 1 года, в первую очередь за счет обмена информации между самыми разными агентами и разными способами ее обработки, и будет продолжаться 10-20 лет, после чего возможен hard-takeoff сильного ИИ, либо создание Синглетона на базе интеграции разных ИИ систем.

-----

Сам факт того, что ИИ обладает доступом к своему исходному коду, еще не делает его способным самоусиливаться. Представим, что я - это ИИ, и у меня есть доступ к моему исходному коду, который представляет собой 10 TB описания некой нейросети. Но у меня нет ни малейших знаний о том, что означает в нем что по двум причинам: во-первых, я не специалист по ИИ, а во вторых исходный код уже скомпилирован. То есть ИИ должен быть специалистом по системам ИИ, причем именно по той области, на основе которой он сделан. Ок, он может этому научиться по учебникам.

Но во-вторых, ему нужен исходный код свой собственной программы, то есть набор порождающих ее принципов, а не огромный и запутанный массив данных. То есть, например, ему нужен исходник нейросети и тот массив объектов, на которой ее обучали. И если исходник он может вычислить, пронаблюдав за собой, то с массивом сложнее.

Возможны следующие идеи, делающие ИИ основанный на нейросетях безопаснее:

1. Чтобы улучшать себя, ИИ должен обладать очень точным пониманием, что есть что в его внутреннем устройстве (тоже касается и человека).

Это даем нам определенную возможность по его контролю: если не предоставить ему такие данные, то ему будет крайне сложно себя улучшить. То есть, если наш ИИ не является специалистом в области ИИ, то он в некоторой степени безопаснее.

2. Кроме того, этого можно достичь и физически, разделив область хранения базы данных ИИ и область хранения тела его программы, которая может исполняться, но не становится данными (Хотя это, конечно, слабое решение, но оно полезно).

3. Мы должны хранить отдельно исполняемый скопмилированный код ИИ и его исходник на высокоуровневом языке программирования. Если ИИ начнет пытаться его достичь, то это будет для нас знаком, что он выходит из-под контроля.

4. Мы можем использовать туманную архитектуру ИИ, которую очень сложно оптимизировать, так как в ней ценности и главные свойства ИИ затеряны среди массы других деталей. Такой структурой является нейронная сеть.

Сама архитектура нейросетей не предполагает возможности быстрого самоулучшения. Новая сеть требует длительного обучения, затратного с точки зрения ресурсов, то есть эффективность ИИ снизится на время выращивания своей новой версии, так как большая часть его ресурсов будет уходить на улучшение его следующей версии.

5. Еще одна тема - это, так сказать, проблема -неудачных детей-. Ии может создать другой ИИ, но потом ему придется его долго тестировать, чтобы выяснить, соблюдает ли он его ценности, нет ли в нем ошибок и на самом деле ли он лучше исходного варианта. Такое тестирование трудоемко и в целом не тривиально и даже невычислимо. Особенно эта задача сложна для нейронных сетей, которые содержат огромное количество случайных элементов, принципиально не точны и математически не доказуемы на безошибочность. (Более того, есть масса примеров, когда даже небольшой сдвиг изображения приведет к ошибке в распознавании).

Однако эта проблема не неразрешима, так как человеческое общество развивается именно таким образом: дети рождаются, тестируются и обучаются.

Следовательно, нейроные сети требуют мира ИИ-агентов для создания эффективного ИИ цивилизационного уровня. Нейронные сети делают проблему неудачных детей более острой, так как там много может быть ошибок, и в результате процесс самоусиления ИИ имеет встроенный ограничитель скорости.

6 Ошибочна мысль о том, что ИИ, достигший человеческого уровня, сможет быстро начать самоусиливаться. Большинство людей вообще ни к чему не способны. Способностью к прогрессу обладает лишь цивилизация в целом, но не отдельный человек. Для удобства можно ввести термин:

Интеллект цивилизационного уровня - это суммарный IQ цивилизации, которым она обладает за 100 лет существования, собственно измеряемый как сложность научных и научно-технических задач, который она может решить. Например, за 20 век удалось создать ядерное оружия, но не удалось решить проблемы рака, старения, и создания ИИ. Значит, сложность этих задач выше.

Чтобы ИИ представлял реальную угрозу человечеству, его IQ должен значительно превосходить суммарный цивилизационный IQ, примерно так в 1000 раз.

7. Сила ИИ на нейросетях примерно пропорциональна силе компьютеров, на которой он работает, времени и размеру базы, на которой обучался. В силу этого ему довольно трудно пережить экспоненциальное самоулучшение, так как ля первого ИИ уже будут задействованы лучшие вычислительные мощности. В силу огромного размера его нейросети ему будет трудно утечь в сеть в виде вируса. Думаю, что размер сети будет порядка терабайт.

8. Агент, созданный на основе нейросетей, например, робот, будет антропоморфен по структуре своего мозга. Даже если мы не будем специально подражать человеческому мозгу, у нас получится примерно тоже самое. В некотором смысле это хорошо, так как даже если такие объекты вытеснят людей, они будут почти люди все равно, и будут отличаться от обычных людей как примерно другое поколение людей. При этом возможны архитектуры ИИ, которые совершенно бесчеловечны (например, если эволюцию рассматривать как изобретателя)

В некотором смысле ИИ на нейросетях подобен ракетам на химическом топливе: да, они летают, и могут облететь всю Солнечную систему, но потенциал развития их ограничен и они громоздкие и неуклюжие.

Как это все может пойти не так. Если будет создан некий сверхагент, который способен создавать нейросети, но сам нейросетью не является, то он может иметь довольно небольшие размеры, и в силу этого в частности, испытывать более быструю эволюцию. Нейросети обладают довольно слабой концентрацией интеллекта на единицу кода, и наверное тоже самое можно сделать более оптимально, уменьшив ее размер на порядки, например, создав программу, которая анализирует уже обученную нейросеть и выясняет все нужное из нее.

Когда через 10-20 лет хардвер подтянется, то множество нейросетей сможет эволюционировать в одном компьютере одновременно или передаваться по интернету, что сделает возможным их быстрое развитие.

Умный нейро ИИ может проанализировать все имеющиеся методы анализа данных и создать новую ИИ-архитектуру, способную к более быстрому разгону.

Эра нейроИИ будет характеризоваться экспоненциальным ростом суммарного интеллекта человечества с периодом удвоения порядка 1 года, в первую очередь за счет обмена информации между самыми разными агентами и разными способами ее обработки, и будет продолжаться 10-20 лет, после чего возможен hard-takeoff сильного ИИ.

Фейсбук, однако, рулит.

Источник: www.facebook.com

Комментарии: