Об исследованиях и разработках в области компьютерного зрения

Чтобы познакомить вас с Machine Learning Lab поближе, мы решили сделать серию статей о проектах, которыми занимаются наши сотрудники и студенты. В этой статье научный сотрудник и аспирант лаборатории Валерия Ефимова рассказывает о её исследованиях и разработках в области компьютерного зрения.

— Я занимаюсь исследованиями в области компьютерного зрения, а именно — генерацией изображений, удовлетворяющих некоторым условиям. В этом проекте я решаю разные задачи, которые объединены целью создания новых изображений. Сюда входят создание наборов синтетических изображений для улучшения качества распознавания текста, генерация обложек художественных книг по их краткому содержанию, удаление объектов с фотографий, фотореалистичный перенос стиля и освещения между изображениями.

Эти исследования полезны и для решения прикладных задач. Так, создание обложек книг, открыток и просто изображений к тексту реализовано в стартапе Deflamel Design, сооснователем которого я являюсь. А алгоритм удаления объектов с фотографий позволяет убрать с них дорожные знаки, припаркованные машины и велосипеды. Это особенно полезно для фотографий исторических зданий, которые находятся в современных городах.

Проект по созданию синтетического набора изображений с текстом начался в 2018 году в рамках работы над моей магистерской диссертацией. Тему предложил мой научный руководитель Фильченков Андрей. В некоторых частях проекта помогал коллега Шаламов Вячеслав.

В исследовании я использую как классические алгоритмы компьютерного зрения и машинного обучения, так и нейронные сети. В генерации изображений наиболее успешны порождающие состязательные сети, я использую их с некоторыми модификациями архитектуры.

Сейчас я разрабатываю алгоритм, который позволит быстро, без добавления артефактов и искажения границ объектов перенести стиль с одного изображения на другое. На данный момент по теме генерации синтетического набора изображений с текстом опубликована статья на ICMV (International Conference on Machine Vision) и принята ещё одна по теме удаления объектов.

Источник: m.vk.com

Комментарии: