По мнению Бенжио, есть два долгосрочных риска. Во-первых, развитие сверхразумного ИИ может привести к ситуации, когда машины будут настолько умны, что смогут действовать независимо от человека и даже представлять для него угрозу. Во-вторых, ИИ может стать мощным инструментом для контроля и манипулирования людьми, что приведет к возникновению тоталитарных режимов. ИИ уже используется в предвыборной кампании в США. А недавние исследования оценили риск использования ChatGPT o1 террористами как средний.
Бенжио отмечает, что необходимо разрабатывать как технические, так и политические меры для снижения рисков, связанных с ИИ. С одной стороны, нужно создавать технологии, позволяющие лучше понимать и контролировать искусственный интеллект. С другой, ввести регуляторные меры, которые бы ограничивали развитие ИИ в тех областях, где оно может представлять угрозу для человечества. Ученый сравнивает ситуацию с движением по туманной горной дороге. Мы не знаем, что ждет нас впереди, но можем либо продолжать движение на высокой скорости, надеясь на лучшее, либо попытаться замедлиться и принять меры предосторожности. Проблема еще и в том, что компании хотят получить квадриллионы прибыли, прогнозируемые от ИИ человеческого уровня.
Ученый также высказался о гипотетическом сценарии деградации ИИ, когда модели обучаясь на собственных данных, могут зацикливаться на определенных шаблонах и терять способность к генерации нового, оригинального контента. Это называется «коллапс модели». По мнению Бенжио, проблема может быть решена с помощью продуманного использования синтетических данных.
По его мнению, есть более фундаментальные риски. Наша все возрастающая зависимость от ИИ может привести к негативным последствиям, если системы выйдут из-под контроля. «Будет трудно выдернуть вилку из розетки», — говорит он.
Количество электроэнергии, необходимое для создания ИИ-моделей, увеличивается экспоненциально каждый год, отмечает Бенжио. Более крупные модели демонстрируют более высокие показатели интеллекта и приносят большую прибыль. Поэтому компании, занимающиеся разработкой ИИ, готовы нести значительные энергетические затраты. Такая ситуация может привести к тому, что большая часть мировой электроэнергии будет направлена на обучение искусственного интеллекта, что, в свою очередь, спровоцирует увеличение добычи ископаемого топлива (возобновляемые источники не смогут покрыть весь спрос) и негативно скажется на окружающей среде.
Несмотря на осознание рисков и некоторые шаги в направлении регулирования (международные договоры, законодательные инициативы), существующих мер недостаточно для защиты от потенциальных катастрофических последствий. По мнению Бенжио, за последние полгода появилось мощное лобби со стороны компаний, разрабатывающих ИИ, которое препятствует принятию более жестких регуляторных мер. Между коммерческими интересами разработчиков ИИ и общественными интересами существует серьезный конфликт, который необходимо решать. Ученый призывает к более активному государственному регулированию сферы ИИ, подобному тому, которое было введено в отношении табачной промышленности.
Бенжио возглавляет международный консультативный орган по безопасности ИИ, поддерживаемый 30 странами, Евросоюзом и ООН, и с этой позиции он критикует аргументы лоббистских групп, выступающих против регулирования машинного обучения. Он развенчивает два основных тезиса: замедление инноваций и отставание от Китая.
Ученый считает, что цель регулирования не в том, чтобы остановить прогресс, а в том, чтобы направлять его в безопасное русло. Регулирование других отраслей, таких как пищевая промышленность, автомобилестроение и фармацевтика, не привело к стагнации, а наоборот, повысило безопасность и качество продукции. Бенжио признает, что опасения по поводу технологического отставания от Китая обоснованы, но считает, что решение не в безответственной гонке вооружений. Он предлагает вместо этого международное сотрудничество и совместную разработку стандартов безопасности.