Нейросети приспособили для поиска по тексту в аудио и видео

Iwan Gabovitch / Flickr

Американская компания Lexika запустила сервис поиска по тексту в аудио- и видеофайлах. Кратко о новом онлайн-сервисе рассказывает The Next Web, воспользоваться поиском можно после регистрации на сайте DeepGram.

Пользователь сервиса может ежемесячно загружать до 40 часов аудио и видео. Файлы можно загружать с локального диска или по ссылке с популярных видеохостингов, после чего DeepGram проиндексирует их и функция поиска будет доступна. Пользователь может как просмотреть текстовую транскрипцию файла целиком, так и найти непосредственно место, где звучит искомая фраза - искомые места будут отмечены красными точками на временной шкале.

Подробностей о работе сервиса не сообщается, однако отмечается, что DeepGram использует методы глубокого обучения и ориентируется при поиске не на написание проиндексированного текста, а на фонетическую транскрипцию. Такой подход позволяет онлайн-платформе искать и находить не только точно совпадающие слова и фразы, но и те, которые звучат похоже при разном написании. Однако у фонетического поиска есть и негативный эффект - из-за него в результатах может содержаться большое количество ошибок.

deepgram.com

deepgram.com

deepgram.com

Как отмечает The Next Web, сервис может пригодиться всем, кто работает с большими объемами аудио и видео. Например, подобный сервис может помочь в поиске нужного участка в подкасте, при работе с записанным интервью или сориентировать в записанной на мобильный телефон лекции. Также сервис предоставляет доступ к API - таким образом, возможностями DeepGram могут воспользоваться в своих проектах и сторонние разработчики.

Это не первый случай, когда нейросети используются для поиска внутри видеофайлов. В 2015 году исследователи из Амстердамского университета представили поисковую систему для видеороликов на YouTube, которая в качестве запроса принимает от пользователя последовательность эмодзи.

Николай Воронцов

Источник: nplus1.ru

Комментарии: