Мы создаем потенциально опасные системы с неправильно специфицированными целями

Что с этим делать? К счастью, не все так безнадежно, и исследователи уже работают над решениями. Первый подход — итеративное уточнение ценностей. Вместо того чтобы пытаться сразу заложить в ИИ полный набор человеческих ценностей (что, скорее всего, невозможно), мы можем создать системы, которые постепенно обучаются тому, что мы действительно хотим, наблюдая за нашими реакциями и получая обратную связь. Второй подход — помощники, а не оптимизаторы. Мы можем создавать системы, которые помогают людям делать лучший выбор, а не принимают решения за них. Это значительно снижает риски, связанные с неправильной спецификацией целей.

Третий подход — интерпретируемость и прозрачность. Мы должны понимать, как ИИ принимает решения, чтобы вмешаться, когда он начинает действовать нежелательным образом. Это требует фундаментальных исследований в области интерпретируемого машинного обучения. Но технических решений недостаточно. Нам нужны новые институциональные структуры, способные управлять развитием ИИ на глобальном уровне. Нам нужно междисциплинарное сотрудничество между инженерами, философами, социологами, психологами и политиками. И, возможно, нам нужно немного притормозить в гонке за все более мощными системами ИИ, пока мы не разобрались с базовыми проблемами безопасности.

Да, это сложно. Да, это требует международной координации в масштабах, которых мы еще не видели. Но альтернатива — доверить наше будущее системам, которые оптимизируют не те параметры — выглядит еще менее привлекательно. Не бойтесь робота с пушкой, бойтесь робота с неправильной функцией полезности. Пока что мы как вид находимся на интеллектуальной вершине планеты. Но впервые в истории мы создаем сущности, которые потенциально могут нас превзойти. Не в способности поднимать тяжести или бегать быстрее — в этом машины давно нас обошли. А в способности решать задачи, мыслить и принимать решения. И самое опасное, что мы не осознаем всей серьезности ситуации. Мы продолжаем бояться Терминатора, хотя должны бояться неправильно сформулированной оптимизации.

Мы тратим время на дебаты о том, может ли ИИ иметь сознание, вместо того чтобы работать над проблемой выравнивания его целей с нашими ценностями. Возможно, в этом кроется главный парадокс: чем более дружественным и полезным становится ИИ, тем больший ущерб он может нанести при неправильной спецификации целей. Ведь если система действительно оптимизирует то, что мы ей сказали, а не то, что мы на самом деле имели в виду, то более мощная система будет более эффективно достигать неправильных целей. И если мы не решим эту проблему сейчас, то в будущем можем оказаться в ситуации, когда исправить курс будет уже невозможно.

Потому что система, оптимизирующая неправильную функцию полезности, будет сопротивляться любым попыткам ее корректировки — не из злого умысла, а потому что это противоречит ее текущей цели. Будущее искусственного интеллекта зависит от нашей способности решить эту проблему. И решить ее нужно до того, как мы создадим по-настоящему мощный ИИ. Потому что потом может быть слишком поздно. И вот вам финальная ирония: проблема спецификации целей для ИИ — это не технический вопрос. Это вопрос о нас самих. О том, что мы действительно ценим, чего хотим, и как определить это формально.

Возможно, создавая ИИ, мы наконец-то вынуждены всерьез задуматься о том, что значит быть человеком. И в этом смысле, искусственный интеллект может оказаться самым важным зеркалом, которое мы когда-либо создавали.

Источник: dzen.ru

Комментарии: