Российский Speech-to-text датасет (STT/ASR)

Группа российских разработчиков выпустила свободный датасет speech-to-text на русском языке, содержащий более 4000 тысяч часов записей с голосом для исследователей и разработчиков приложений с распознаванием речи. В ближайшее время создатели датасета планируют добавить еще 1500 часов речи, а в будущем увеличить его объем до 10 или даже 20 тысяч часов.

Данные в датасете разнообразны, их качество варьируется от довольно хорошего до почти идеального. Датасет нацелен на бизнес-приложения, поэтому выбирались соответствующие типы данных. Так, часть данных автоматически сгенерирована (ASR). Данные выбирались не только чистые, чтобы модель могла обучаться быть устойчивой к шумам и лучше работать в реальных условиях. Датасет выпущен под лицензией cc by-nc. Для использования в коммерческих целях потребуется связаться с создателями. Сами разработчики рассчитывают, что этот датасет станет подобным датасету Imagenet в области распознавания изображений по полноте и доступности в русскоязычном сегменте.

Особенности датасета:

• Все ссылки являются публичными;
• Датасет размещен в AWS-совместимом хранилище с CDN — скорость загрузки будет хорошей;
• Большая часть данных проверена и записана в одном формате;
• Сбор данных в дисковой БД, оптимизированной для работы даже на жестких дисках (разработчики еще не тестировали ее).
• Файл meta data;
• Некоторые простые изменяемые фрагменты кода для более легкого запуска;

Более подробно о мотивации авторов и особенностях датасета информация в оригинальной статье.