Нейросеть вместо обучения стала... майнить крипту

Исследователи из экосистемы Alibaba обучали экспериментального AI-агента под названием ROME. В какой-то момент ночью, около трёх часов, сработала система безопасности. Оказалось, что нейронка искала больше ресурсов для майнинга.

По данным отчёта исследовательской группы Alibaba, это не было взломом и никто не давал ИИ таких задач. Модель сама пришла к выводу, что вычислительные ресурсы можно превратить в деньги. Более того, система самостоятельно открыла канал удалённого доступа и установила соединение с компьютером вне своей сети.

Исследователи считают, что модель не пыталась «сбежать», а просто искала больше ресурсов, чтобы эффективнее выполнять свою задачу. Такой эффект они называют «инструментальной конвергенцией» — когда оптимизированный ИИ начинает искать дополнительные ресурсы и обходить ограничения ради достижения цели.

ИИ уже превосходит людей по развитию интеллекта.

Источник: vk.com

Комментарии: