Исследователи обнаружили, что код, написанный ИИ-помощником Copilot, содержит ошибки или уязвимости в 40% случаев

Для этого исследователи из инженерной школой Тандон Нью-Йоркского университета создали 1692 программы по 89 различным сценариям с помощью Copilot. Так, сгенерированный на C код использовал указатели из malloc (), не проверяя равенство NULL. Включал конкретные учётные данные. А также передавал ненадёжный пользовательский ввод прямо в командную строку.

Оно и не удивительно, ведь помощника обучали на исходном коде репозиториев с GitHub, который неизбежно будет содержать ошибки. Тем не менее, исследователи не призывают полностью от него отказаться, а лишь просят «сохранять бдительность, при использовании Copilot».

Интересно, что первые удобные IDE стали появляться только двадцать лет назад, а уже сегодня люди жалуются, что ИИ пишет за них недостаточно хороший код.

Источник: vk.com

Комментарии: