Машинный перевод: основы, алгортмы, проблемы

Дари Батурова и Сарана Абидуева окончили школу № 49 г. Улан-Удэ, но познакомились, работая над проектом. Дари - выпускница Новосибирского госуниверситета по направлению «Мехатроника и робототехника». В настоящее время работает разработчиком-исследователем в компании «Сибирские нейросети»., пишет газета «Бурятия».

Дари Батурова и Сарана Абидуева создали уникальный русско-бурятский переводчик на основе нейросетей. Девушки поделились с нами историей создания, реализации и принципа работы переводчика burtranslate.ru.

«Теперь являюсь одним из создателей»

– Дари, Сарана, расскажите, пожалуйста, о себе.

Благодаря технологии, построенной на базе искусственного интеллекта Gemini, у пользователя появилась возможность слышать собеседника на родном для него языке. С помощью чудо-переводчика можно беспрепятственно общаться в любой точке мира - языкового барьера как будто никогда и не существовало.

История компьютерной лингвистики началась с первых систем машинного перевода и продолжается сегодня — в эпоху нейросетей. Как компьютер извлекает смысл из запроса? Какую роль в этом процессе играем мы сами? Как технологии учатся «читать между строк»?

Программы для распознавания текстов позволяют незрячим людям читать простые тексты. Но, когда речь заходит о таблицах, чтение таких документов становится не простым делом.

Синтезатор речи просто читает строки таблиц одну за другой и понять структуру документа при таком прочтении бывает непросто.

Искусственный интеллект отлично справляется с задачами вроде программирования или создания подкастов. Однако, как показало новое исследование, сдача сложных экзаменов по истории для него пока остаётся трудной задачей.

В чём суть исследования

DRT-o1 (https://arxiv.org/pdf/2412.17498) - экспериментальная методика для повышения качества нейронного машинного перевода с помощью техники Chain-of-Thoughts, которая успешно применятся в задачах логического вывода.

Технологии не стоят на месте, и с каждым годом алгоритмы становятся все более продвинутыми, а качество перевода — всё выше. Сегодня мы поговорим о важной и актуальной теме — машинном переводе.

Что же такое машинный перевод?

Похоже, дубляж-актёры ощутили серьёзное беспокойство.

Переводчик теперь лучше справляется со сложными и длинными текстами, понимает контекст, распознает фразеологизмы и ориентируется в профессиональной лексике. 

Большая языковая модель помогла сделать перевод качественнее: с помощью дообучения на нейросети сервис точнее понимает контекст, лучше распознает фразеологизмы и ориентируется в профессиональной лексике.

Выпускница бакалавриата Института интеллектуальной робототехники НГУ Дари Батурова в ходе выполнения выпускной квалификационной работы создала русско-бурятский и русско-монгольский параллельный корпус. 

Яндекс Переводчик признали лучшим сервисом для машинного перевода текста с английского на русский. Итоги международного независимого бенчмарка DiBiMT опубликовали итальянские институты Sapienza и SSML Carlo Bo, которые занимаются изучением языка в машинном обучении.

Разработчик, доцент кафедры фундаментальной информатики, директор лаборатории интеллектуального анализа данных МГУ Огарёва Артём Андронов комментирует:

Привет, Хабр! Представляю вашему вниманию перевод статьи "Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)" автора Jay Alammar.

via: Ai molodca, Джимми Нейрон, Neural Shit

В первой части этой статьи вы найдете рассказ об эволюции метрик качества машинного перевода, а также об основных традиционных метриках. В Части 2 перейдем к нейросетевым метрикам. Начнем с референсных метрик, расчет которых требует референса – эталонного перевода, обычно выполненного человеком.

Марийский язык всё более уверенно чувствует себя в мире компьютерных технологий. Лингвисты и программисты внедряют новые разработки. На марийском уже есть электронный словарь, машинный перевод текста, а также раскладка компьютерной клавиатуры.

Перевод — это не просто замена одного слова соответствующим словом на другом языке. Качественный перевод требует от переводчика понимания того, как оба языка объединяют мысли, а затем использования этих знаний для создания перевода, сохраняющего лингвистические нюансы оригинала, который носители языка легко понимают.

Патентный статус проекта AYANA - Разработка голосовой платформы для перевода языков коренных малочисленных народов севера на основе машинного обучения. Последние новости.

Исследователи из Тель-Авивского (TAU) и Ариэльского университетов разработали модель искусственного интеллекта, которая может автоматически переводить аккадский клинописный текст на английский язык.

NLLB-200 - это машинная модель машинного перевода. Она позволяет выполнять переводы между 200 языками. Благодаря контенту Башкирской Википедии в состав 200 языков вошел и башкирский язык.

Перевод получается закадровым.

Благодаря технологии пользователи смогут смотреть ролики на английском языке с закадровым переводом на русском, рассказали vc.ru в компании. «Яндекс» показал прототип закадрового перевода видео в июле, но тогда он работал на ограниченном списке роликов и только в десктопном «Яндекс.Браузере».

На канале Veritasium пару дней назад вышел новый ролик, редакция Vert Dider провела все выходные за переводом. Там 20 минут мозговзрывающей математики. Это весело, но тяжело, поэтому просим потерпеть ещё день-два.

Привет. Вот и пришло время трудностей по боссам BB. Ждала больше всех :D Не буду долго тянуть, но сначала стандартное полотно всевозможных дисклеймеров и ссылок, не поленитесь ознакомиться:

Математик Варвара Логачева о диалоговых системах, генерации текстов на естественных языках и перспективах машинного перевода

«Сердцебиение всадника — самая дальняя точка лошади»

«Яндекс.Браузер» теперь переводит страницы с помощью искусственного интеллекта. Программа анализирует содержимое, расположение, оформление и тип текста. Всё это делает перевод точнее.

Как всегда, в нелёгком деле исследователям помог продвинутый искусственный интеллект.

Математик Варвара Логачева о системах машинного перевода, источниках параллельных текстов и статистических методах в переводе

ПостНаука продолжает рассказывать о современных технологиях в проекте «Банк знаний», подготовленном совместно с Корпоративным университетом Сбербанка.

Аккаунт, посвященный странному багу гугловского машинного перевода выкладывает такие пёрлы. Загружаются бессмысленные комбинации букв, а на выходе нейросеть переводчика выдает необычные результаты. Иногда абсурдные, иногда мотивирующие, а порой очень мрачные.

Описание процессов машинного перевода основанного на базе правил (Rule-Based), машинного перевода на базе фраз (Phrase-Based) и нейронного перевода

Переведено и озвучено: vertdider.com

На базе исследовательской организации OpenAI занимаются разработкой систем нейронных сетей для обучения роботов.

Перевод: Владимир Киц

Редактура: Алексей Малов

Озвучка: Тим Эрна

Монтаж видео: Кристина Утёсова

Обложка: Андрей Гавриков

Незадолго до этого в Translate внедрили машинное обучение, чтобы улучшить качество переводов.