FaceForencis - датасет для распознавания фейковых фото и видео

FaceForencis — набор данных изображений, созданных с использованием методов Face2Face, FaceSwap и DeepFakes. Данные собраны исследователями из Италии и Германии, чтобы улучшить точность моделей распознавания поддельных фото. Кроме набора данных исследователи предложили новый метод распознавания поддельных фото и видео с использованием domain knowledge.

Проблема

Стремительный прогресс в создании синтетических образов и манипулировании ими вызывает серьезные опасения. Распространение ложной информации и фальшивые новости приведут, как минимум, к потере доверия к цифровому контенту и росту дезинформации для манипулирования общественным мнением.

Сбор данных

Набор данных FaceForencis содержит 510 207 поддельных изображений лиц с целевой ground truth, чтобы исследователи могли обучать модели распознавания фейков, используя метод обучения с учителем.

Разработчики использовали 1000 видео, взятых из блогов, новостных каналов и интервью на Youtube, и применили методы Face2Face, FaceSwap и DeepFakes для создания датасета поддельных изображений. Набор данных содержит полмиллиона неизмененных лиц, полмиллиона поддельных и по 1000 видео с лицами, сделанными с использованием каждого из методов фальсификации.

Метод обнаружения подделок

Насколько хорошо люди отличают поддельные видео? В проверке приняли участие 143 человека. Если видео высокого качества, то человек способен отличить подделку в 71% случаев, 61% — точность распознавания, если качество видеозаписи низкое.

FaceForensics может быть использован для обучения моделей обнаружению поддельных изображений лиц. «Информация, относящаяся к конкретному домену, в сочетании с классификатором XceptionNet, показывает лучшую производительность в каждом тесте», — пишут ученые в статье, оценивая пять потенциальных методов фальсификации.

Входное изображение обрабатывается с помощью метода отслеживания лица. Модель извлекает информацию из области изображения, где находится измененная с помощью Face2Face, FaceSwap и DeepFakes часть лица, и отправляет ее в сеть классификации, которая определяет — эта область была изменена или нет. Эффективность подхода зависит от количества обучающих данных.

Разработчики создали самый большой общедоступный датасет с поддельными видео. Он опубликован на GitHub.