CCMatrix: FAIR опубликовали датасет для обучения моделей машинного перевода

CCMatrix — это самый крупный датасет параллельных текстов для обучения моделей машинного перевода. Данные включают в себя 4.5 миллиарда параллельных предложений на 576 пар языков. Предложения собирали из открытого датасета с веб-страницами CommonCrawl. CCMatrix в 50 раз больше, чем WikiMatrix. WikiMatrix — это параллельный корпус, который FAIR опубликовали в прошлом году. Чтобы решить задачу поиска переводов среди предложений из CommonCrawl исследователи использовали параллельную обработку и библиотеку FAISS для поиска близких предложений.

Исследователи опубликовали код для воспроизведения результатов сбора данных. Модель машинного перевода, которую обучили на CCMatrix, обошла state-of-the-art NMT подход на задаче WMT’19 на четырех парах языков. В том числе и на переводе из русского в английский. 

Подробнее про датасет

Параллельные тексты — это тексты, которые содержат пары с предложением на одном языке и его переводом на другом языке. NMT модели (нейронные модели машинного перевода) обучаются на параллельных текстах. При этом чем больше обучающая выборка текстов, тем лучше модель научается переводить. Сбор больших параллельных корпусов на множестве языков является ресурсоемкой задачей. В FAIR автоматизировали и распараллелили процесс сбора параллельных данных. Система обрабатывала по 50 миллионов примеров за раз на машине с 8 GPU. Чтобы рассчитать расстояние между всеми эмбеддингами предложений, они использовали библиотеку FAISS. Операции считались параллельно. 

CCMatrix позволяет исследователям машинного перевода собирать большие датасеты для обучения моделей. Это может спровоцировать появление более эффективных NMT систем.