К Как это сделано

В прошлом видео был уже готовый результат; а теперь о том, как он был получен.

Процесс называется «сегментация изображения с помощью нейросети».

То есть сначала нужна нейросеть – в данном случае это была сеть SegNet в MATLAB. Потом нужны сами изображения – кадры видеозаписи. Вот один из кадров:

Исходный кадр

Он уже загружен в инструмент Image Labeler для ручной разметки. Нейросеть ведь пока не знает, чего мы от неё хотим. Поэтому дальше нужно вручную указать, где на картинке дорога, где машины, где знаки, люди и так далее. Выглядит это так, как будто маленький ребёнок добрался до Paint'а из Windows 95:

Я умею рисовать!

Но тем не менее это серьёзная работа, при это довольно кропотливая и муторная – нужно «раскрасить» несколько десятков, а лучше сотен кадров. Для нашего ролика за несколько полных дней было размечено 200 изображений-кадров. Потом сегментированные вручную изображения отдаются нейросети в качестве обучающей выборки, и нейросеть обучается. На GPU GeForce GTX 1080 обучение проходит примерно за два часа. Затем результат проверяется на другом отрывке видеоролика, огрехи заново сегментируются вручную, и процесс повторяется.

В результате нейросеть наконец-то начинает понимать, где что на картинке, и может сама его сегментировать:

Human casualties: 0.0

Едем!

Источник: m.vk.com

Комментарии: