Расшифровка скрытого текста и «говорящая» розетка: лучшие нейронные сети 2020-ого

В этом году действительно сложно подводить итоги в сфере нейросетей — она была очень богата на события в 2020-ом. Но для этой статьи я попытался подобрать лучшие и выдающиеся по моему мнению нейросети уходящего года только с открытым исходным кодом, а в конце поделюсь мыслями о дальнейшем направлении разработок нейросетей и алгоритмов.

Подборка составлена в произвольном порядке, а всё сказанное в статье — субъективное мнение автора. Если вашей любимой нейросети в списке нет, можете рассказать о ней в комментариях, буду только рад. Также стоит упомянуть, что я никакой не специалист по теме, просто мне интересны современные технологии, включая нейросети. И ещё: я впервые на vc.ru и надеюсь на вашу конструктивную критику, если такая будет.

P.S. Я добавил к каждой нейросети в списке Google Colab (если существует), GitHub и станица проекта для удобства — вдруг захочется самому протестировать или прочитать исследовательскую работу.

Без лишних аннотаций начну с:

Эта нейросеть от OpenAI летом впечатлила многих — она умеет очень реалистично, будто реальный человек, писать или дописывать тексты. Предлагаю вспомнить эту статью, на самом деле полностью написанную нейросетью GPT-3 — тогда даже никто не заметил подвоха, что спровоцировало бурный «всплеск» новостей на тему.

Новое «детище» от OpenAI за полгода успели протестировать по достоинству — разработчики уже использовали её в генерации кода, новостей и статей, и многим понравились результаты. Можете заглянуть на этот сайт, если интересно больше примеров — там подобраны лучшие из лучших. GPT-3 стала одной из самых популярных нейросетей в этом году, и думаю, что заслуженно, качество генерации текста определённо завораживает!

GitHub | Страница проекта

Один из самых забавных алгоритмов года, который умеет создавать анимацию под любую звуковую дорожку — в общем, метод похож на популярную технологию DeepFake, только «на вход» для анимации берётся не видео, а аудио.

У «MakeltTalk», над разработкой которого трудились в Азии, большой спектр использования — например, можно «оживить» розетку или рисунок, а также сделать анимацию лиц Мона Лизы и Эд Ширана.

Google Colab | GitHub | Страница проекта

В этом году много разных исследователей с разных уголков мира представили свои алгоритмы, способные превращать «плоские» изображения в 3D-версии, но своё предпочтение я отдаю именно этому проекту. Качество определённо на уровне — можете посмотреть больше примеров на их странице.

Кстати, с помощью «3d-photo-inpainting» создали целое расширение для Chrome, которое позволяет листать Instagram, в котором все фотографии — в 3D, можете попробовать запустить его у себя, правда говорят, что для этого придётся заморочиться.

Google Colab | GitHub | Страница проекта

Эта программа вышла ещё в апреле, с помощью неё можно «разбить» изображение на объекты и «передвигать» их. По-моему наглядно показывает хороший кейс использования нейросетей, способных удалять фон с изображений — только здесь всё немного под другим «углом», ведь фон удаляется частично и только создаётся новый слой. Ну а те, кто тестировали разработку сообщают, что поражены её качеством.

GitHub | Страница проекта

А этот алгоритм в отличии от других в статье, представили совсем недавно — в декабре. С помощью нового инструмента можно расшифровывать «пиксельный» текст, необходимо только указать пикселизированное изображение и алфавит, набранный предполагаемым шрифтом в таком же размере.

А после можно увидеть относительно точную догадку, что скрывается за пикселизацией — и результаты одновременно удивляют и пугают, посмотрите сами. Пусть и работает алгоритм с довольно примитивной пикселизацией, многие исследователи говорят, что он всё равно хороший и функцию свою выполняет.

GitHub

«ObstructionRemoval» в свою очередь тоже «навела шуму» в своё время — программа удаляет с изображений преграды (например стекло или решётку). Так это можно использовать в приложениях для обработки фото — у многих пользователей часто бывает, что фотографии вовсе не получаются из-за преграды в снимке.

Правда, многие вскоре отметили, что добиться качественного результата можно только при долгой обработке изображения — изображение с 720p для наилучшего результата будет обрабатываться около получаса. Однако если постоянно совершенствовать нейросеть, наверняка можно добиться неплохого результата.

Google Colab | GitHub | Страница проекта

Этот проект не был бы столь примечательным, если бы его представили не так, как это произошло. Но давайте всё по порядку: нейросеть научили красиво и «динамично» «заменять» небо в видео, к примеру добавлять НЛО, молнии, планеты, дождь или солнце. Можете посмотреть демонстрационное видео проекта, которое с первых секунд впечатляет, а также заглянуть на их страницу, где можно найти ещё больше примеров работы нового инструмента.

Google Colab | GitHub | Страница проекта

Есть ещё очень много нейронных сетей, которые не попали в статью — посмотреть вы их можете в моём Telegram-канале «Not Boring Tech» по хэштегу и по запросам в поиске «нейросеть», «алгоритм». В канале я каждый день пишу простым языком о новых технологиях — включая ИИ, алгоритмы, VR, AR и многом о чём другом. Пользуясь случаем, не мог не порекомендовать его, думаю вам там понравится: t.me/notboring_tech

И судя по разработкам, которые попали в статью лучших нейросетей, можно заметить, что многие алгоритмы были созданы ради эксперимента (например озвучивать розетку будут не для эксперимента?). Многие из них показали себя хорошо, а значит, в 2021 году они могут быть усовершенствованны и разработаны их более лучшие аналоги — в нейронной сфере такое часто бывает. Ну и конечно, в следующем году мир не обойдётся без новых экспериментальных нейроразработок. Возможно и GPT-4 появится?

С наступающим новым годом, успехам всем причастным и не причастным!