ИИ-ассистенты захламляют код ошибками вместо того, чтобы повышать производительность программистов

Исследование показало, что помощники по программированию, в основе которых лежат алгоритмы искусственного интеллекта, не только не повышают производительность разработчиков, они не предотвращают их выгорание. В ИИ-ассистентов вкладывают миллиарды долларов, в том числе и в России, и большинство из них платные. Но российские программисты очень часто используют их.

Шума много, толку мало

ИИ-помощники программиста на поверку оказались не такими уж и полезными. Согласно недавнему исследованию аналитической компании Uplevel, о котором пишет TechSpot, в большинстве своем они не упрощают работу разработчикам и совершенно не снимают с них часть забот, то есть не разгружают их, что приводит к дополнительным переработкам и, как следствие, к выгоранию. Например, из-за таких ассистентов количество ошибок в коде растет, и приходится тратить дополнительное время на их исправление.

Казалось бы, разработчики ПО должны быть одними из крупнейших бенефициаров шумихи вокруг генеративного ИИ, поскольку за последние годы специально для них были придуманы десятки помощников, которые, по плану, должны ускорить и упростить процесс написания кода. Но, согласно исследованию Uplevel, роста производительности программистов что-то не материализуется – по крайней мере, на данный момент.

Авторы исследования опросили около 800 разработчиков и сравнили результаты их работы и производительность с использованием и без использования ИИ-помощника. Для чистоты эксперимента все они должны были использовать одного и того же ассистента, самого известного в мире – Copilot корпорации Microsoft. Он появился еще летом 2021 г. и работает в составе репозитория GitHub. CNews писал, что разработчики уличили его в воровстве их программного кода и попытке выдать его за свой и подали в суд на его разработчиков.

Изучив результаты, эксперты Uplevel не обнаружили существенных улучшений производительности труда разработчиков при использовании несуществующего ассистента. Возможно, разница все же есть, но она, вероятнее всего, совсем невелика.

Надежды не оправдались

Авторы исследования были уверены, что Copilot поможет программистам писать код быстрее и эффективнее и выдавать больше результатов за отведенное время. По словам аналитика данных в Uplevel Мэтта Хоффмана (Matt Hoffman), предполагалось также, что количество ошибок должно снизиться при использовании виртуального ассистента.

Однако результаты исследования пошли вразрез с чаяниями его авторов. Оказалось, что Copilot, не только не помогает программистам в их труде, но и, наоборот, мешает им.

Фактически, исследование показало, что разработчики, использующие Copilot, вносили на 41% больше ошибок в свой код. Специалисты Uplevel также не увидели доказательств того, что помощник ИИ помогает предотвратить выгорание разработчиков.

Вывести на чистую воду

Открытия, сделанные экспертами Uplevel, опровергают слова создателей Copilot и других активных сторонников ИИ-помощников разработчика о том, что эти ассистенты помогают значительно нарастить производительность труда, пишет TechSpot. В частности, такие заявления делают авторы совершенно другого исследования, результаты которого демонстрируют, что благодаря Copilot программисты пишут код на 55% быстрее.

Спонсором этого исследования выступил непосредственно GitHub, частью которого и является Copilot. Этот помощник основан на нейросети компании OpenAI, в которую корпорация Microsoft инвестировала минимум $1 млрд. И именно корпорации Microsoft сервис GitHub принадлежит целиком и полностью, притом уже довольно давно – с лета 2018 г.

Кто виноват

Разработчики Copilot и ему подобных сервисов действительно преследовали благую цель и на самом деле хотели помочь программистам и упростить им работу. В первые дни после запуска Copilot почти 30% нового кода на GitHub был сгенерирован ИИ. Спустя три с половиной года это количество, вероятно, выросло.

Но, как показала практика, опыт работы с ИИ-помощниками программиста пока неоднозначен. Генеральный директор компании по заказной разработке ПО Gehtsoft USA Иван Гехт (Ivan Gekht) заявил, что код, сгенерированный ИИ, сложен для понимания и отладки. По его словам, иногда проще и эффективнее не «отлаживать» такой код, а переписать его с нуля и без использования ассистента.

Гехт добавил, что разработка программного обеспечения – это «на 90% работа мозга: понимание требований, проектирование системы и учет ограничений». Преобразование всего этого в код – наиболее простая часть работы, по его словам.

Также в 2023 г. было проведено исследование, показавшее, что нашумевший сервис ChatGPT неправильно отвечает на более чем половину вопросов по программированию. Впрочем, за минувший год ситуация наверняка могла улучшиться, поскольку чат-бот регулярно обновляется.

Не все так однозначно

В России тоже замечают, что от ИИ-помощников программиста больше вреда, нежели пользы. В конце сентября 2024 г. CNews писал, отечественные программисты в последнее время стали в разы чаще пользоваться ассистентами при написании кода. Вероятнее всего, часть современного ПО уже не написана людьми, а сгенерирована роботами, потому что частота обращения к ИИ с запросом о помощи в создании программы всего за пару лет в России выросла почти в 60 раз. Но популярность подобного рода сервисов негативно отражается на собственных знаниях разработчиков – из-за них компетенции самих программистов катастрофически снижаются.

Однако некоторые, напротив, уверены, что генеративный ИИ действительно помогает им в работе. Такого мнения придерживается технический директор компании – поставщика облачных решений Innovative Solutions Трэвис Рел (Travis Rehl). По его словам: производительность труда программистов в компании выросла сразу в три раза благодаря виртуальным помощникам Claude Dev и Copilot.

Источник: vk.com

Комментарии: