Продолжаем рассказывать о том, почему разные базы данных могут по-разному влиять на результат работы нейросетей.

Продолжаем рассказывать о том, почему разные базы данных могут по-разному влиять на результат работы нейросетей. На недавнем CVPR 2020 группа исследователей из университета Беркли и компании Adobe представила алгоритм, который с высокой точностью распознаёт монтаж и ретушь на цифровых фотографиях — подробнее о нём можно прочитать тут: https://arxiv.org/pdf/1906.05856.pdf.

Но так ли проницателен этот алгоритм?

Мы взяли готовое решение от авторов алгоритма, которое они опубликовали на GitHub (https://github.com/PeterWang512/FALdetector), и обернули в Telegram-бот для удобства пользования. Дополнительно никакого обучения нейросети мы не проводили — она была запущена в том виде, в котором её тестировали авторы доклада на CVPR.

Что получилось из нашего эксперимента?

Оказалось, что нейросеть научилась точно и качественно распознавать изменения только на тех снимках, которые входят в коллекцию авторов алгоритма. Как только мы предложили ему собственные фотографии и изображения из сети, точность его работы резко упала: он видел ретушь там, где её нет, и пропускал очевидный монтаж.

Какой вывод из этого мы можем сделать?

Новый популярный алгоритм - это с большой вероятностью не 100% ожидаемой точности в работе. Для его перехода в готовое решение «взял и получил результат» нужно время на доработки, допиливание и ансамблирование решений.

Проверить работу алгоритма можно самостоятельно, наш бот на его основе доступен в Telegram — t.me/CVLPhotoshopChecker_bot

На иллюстрациях ниже — работа алгоритма на датасете разработчиков (слева) в сравнении с работой на других изображениях.

Источник: github.com

Комментарии: