Машинный перевод: основы, алгортмы, проблемы

Ученые из Новосибирска создали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию почти без человеческого участия. Изобретение сможет делать работу редакторов, а у исследователей появился дополнительный инструмент для анализа текстов.

Математик Варвара Логачева о диалоговых системах, генерации текстов на естественных языках и перспективах машинного перевода

Перспективы ИИ видятся очень интересными в лингвистике - большинство из нас регулярно пользуется Google-переводчиком и множество умов работают над его совершенствованием и созданием универсальных алгоритмов для устной и письменной речи.

Регионы России — это не просто границы на карте. В каждом регионе есть свои культурные традиции, во многих — свои языки. Машинный перевод мог бы помочь сохранять и применять эти языки — в частности, публиковать статьи в Википедии. Но как быть, если данных для обучения машинного интеллекта недостаточно?

«Одним из главных факторов, влияющих на становление «университета будущего», является внедрение в образовательный процесс технологий искусственного интеллекта и, прежде всего, машинного перевода. Он сравняется, да уже сравнялся с переводом, выполненным человеком».

Ректор РАНХиГС Владимир Мау

Представляю вашему вниманию перевод статьи "Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)" автора Jay Alammar.

Практически все системы нейронного машинного перевода создавались для одной языковой пары — обработать несколько языковых пар, не изменяя базовую модель НМП, было невозможно.

Что ж, сегодня мы развеем эти нечистые мысли! :)

Представляем вам...

10 ПРИЧИН, ПОЧЕМУ МАШИННЫЕ ПЕРЕВОДЧИКИ НИКОГДА НЕ СМОГУТ ЗАМЕНИТЬ ЧЕЛОВЕКА

Алексей Приходько разработал прототип системы перевода с языка глухих и слабослышащих людей на русский язык с использованием технологий искусственного интеллекта. Машинный перевод дарит глухим людям новую возможность общаться с людьми вокруг. Пожалуйста, пройдите по ссылкам ниже, поддержите и проголосуйте за этот проект до 15 декабря:

В последние годы машинный перевод стал более эффективным благодаря новым разработкам в области искусственного интеллекта. В чем особенности этой технологии? Каковы ее преимущества и возможные последствия для качественного лингвистического образования?

Von Ральф Крюгер

0:00:07 Разбор теста по предыдущей лекции

0:10:20 Вводная часть лекции

0:11:33 Историческая справка

0:23:06 Neural Machine Translation

0:23:46 Seq2Seq

0:38:16 BeamSearch

0:46:05 Quality Evaluation

1:00:26 Attention

1:11:32 Ответы на вопросы по лекции

Нейронный машинный перевод (НМП) позволяет преодолеть многие недостатки традиционных систем перевода по фразам. Но в то же время нейронные модели более сложны как в обучении, так и в самом переводе. Мы подготовили статью, в которой Google представила новую систему нейронного перевода GNMT для решения этих проблем.

Коэффициент интеллекта машинного перевода

Нейросеть переводит речь напрямую, пропуская этап конвертации аудио в текст.

Google разработала алгоритм Translatotron, который напрямую переводит устную речь на разные языки, минуя конвертацию в текст. Система также умеет сохранять голос и интонацию пользователя. Об этом компания сообщила в своём блоге.

С наступлением эры нейросетей СМИ любят писать, что машинный перевод вот-вот сравнится по качеству с продуктом профессионального переводчика. «Искусственный интеллект в машинном переводе догоняет человека», уверяют заголовки уважаемых технологических медиа. Но так ли это?

«Сердцебиение всадника — самая дальняя точка лошади»

«Яндекс.Браузер» теперь переводит страницы с помощью искусственного интеллекта. Программа анализирует содержимое, расположение, оформление и тип текста. Всё это делает перевод точнее.

Материал автора блога «Вастрик.ру» о типах машинного перевода и будущем этого направления.

Как всегда, в нелёгком деле исследователям помог продвинутый искусственный интеллект.

Математик Варвара Логачева о системах машинного перевода, источниках параллельных текстов и статистических методах в переводе

ПостНаука продолжает рассказывать о современных технологиях в проекте «Банк знаний», подготовленном совместно с Корпоративным университетом Сбербанка.

Аккаунт, посвященный странному багу гугловского машинного перевода выкладывает такие пёрлы. Загружаются бессмысленные комбинации букв, а на выходе нейросеть переводчика выдает необычные результаты. Иногда абсурдные, иногда мотивирующие, а порой очень мрачные.

Описание процессов машинного перевода основанного на базе правил (Rule-Based), машинного перевода на базе фраз (Phrase-Based) и нейронного перевода

Переведено и озвучено: vertdider.com

На базе исследовательской организации OpenAI занимаются разработкой систем нейронных сетей для обучения роботов.

Перевод: Владимир Киц

Редактура: Алексей Малов

Озвучка: Тим Эрна

Монтаж видео: Кристина Утёсова

Обложка: Андрей Гавриков

Незадолго до этого в Translate внедрили машинное обучение, чтобы улучшить качество переводов.