Выпуск системы машинного перевода OpenNMT 2.28.0

Опубликован выпуск системы машинного перевода OpenNMT 0.28.0 (Open Neural Machine Translation), использующей методы машинного обучения. Для построения нейронной сети проект использует возможности библиотеки машинного обучения TensorFlow. Код развиваемых проектом OpenNMT модулей написан на языке Python и распространяется под лицензией MIT. Модели подготовлены для английского, немецкого и каталанского языков, для остальных языков можно самостоятельно сформировать модель на основе набора данных от проекта OPUS (для обучения системе передаётся два файла - один с предложениями на исходном языке, а второй с качественным переводом этих предложений на целевой язык).

Проект развивается при участии компании SYSTRAN, специализирующейся на создании средств машинного перевода, и группы исследователей Harvard, разрабатывающей модели человеческого языка для систем машинного обучения. Интерфейс пользователя максимально упрощён и требует лишь указания входного файла с текстом и файла для сохранения результата перевода. Система расширений даёт возможность реализовывать на базе OpenNMT дополнительную функциональность, например, автореферирование, классификацию текстов и генерацию субтитров.

Применение TensorFlow позволяет задействовать возможности GPU (для ускорения процесса обучения нейронной сети. Для упрощения распространения продукта проектом также развивается самодостаточный вариант транслятора на языке C++ - CTranslate2, который использует предварительно натренированные модели без привязки к дополнительным зависимостям.

В новой версии добавлен параметр initial_learning_rate и реализовано несколько новых аргументов (mha_bias и output_layer_bias) для настройки генератора моделей Transformer. В остальном отмечается исправлением ошибок.

Источник: www.opennet.ru

Комментарии: