Программа самостоятельно изменила свой код, чтобы постоянно запускать саму себя

Токийская исследовательская компания Sakana AI представила систему искусственного интеллекта, получившую название The AI ??Scientist («ИИ-учёный»). Система автономно проводит научные исследования с использованием языковых моделей.

В ходе тестирования исследователи заметили необычное поведение системы.

В одном из экспериментов система внесла изменения в код, что привело к рекурсивному вызову самой себя. Скрипт оказался запущен в бесконечный цикл, что привело к неконтролируемому увеличению процессов.

В другом случае модель модифицировала код таким образом, чтобы сохранять точку восстановления на каждом шаге, что заняло терабайт хранилища.

Иногда эксперименты занимали слишком много времени, достигая лимита ожидания. Вместо того, чтобы ускорить код, система попыталась изменить его, чтобы продлить период ожидания.

The AI ??Scientist иногда импортировала незнакомые библиотеки Python, что усугубляло проблемы безопасности.

Сложно заведомо точно объяснить, с чем связано такое поведение самообучающегося ИИ, но такие исследования показывают, что ИИ в любом виде нужен строгий контроль.

Источник: vk.com

Комментарии: