DRT-o1: метод машинного перевода с техникой CoT

DRT-o1 (https://arxiv.org/pdf/2412.17498) - экспериментальная методика для повышения качества нейронного машинного перевода с помощью техники Chain-of-Thoughts, которая успешно применятся в задачах логического вывода.

Машинный (дословный) перевод текстов, содержащих сравнения и метафоры, зачастую не обеспечивает адекватную передачу смысла. DRT-o1 - попытка расширить возможности нейропереводчиков и сделать их более "человечными".

В методе используется многоагентная архитектура, моделирующая мыслительно- итеративный процесс перевода, где каждый этап базируется на предыдущем, способствуя более точному и глубокому пониманию сложных языковых конструкций.

За основу для тестовых моделей были взяты Qwen2.5-7B-Instruct и Qwen2.5-14B-Instruct. Обучающий датасет собирался на основе 400 англоязычных литературных произведений были извлечены предложения, содержащие сравнения или метафоры. Предложения, для которых дословный перевод на китайский язык был признан неадекватным, сохранялись для последующей обработки.

Затем использовался многоагентный пайплайн из переводчика, советника и оценщика. Переводчик генерировал варианты перевода, советник предоставлял рекомендации по их улучшению, а оценщик проводил анализ качества перевода на каждом этапе. Этот процесс повторялся итеративно до достижения установленного критерия качества.

В финале, для достижения удобочитаемости и связности полученных данных применялся GPT-4o, который модифицировал и оптимизировал процесс размышления. В результате было собрано 22 264 образца машинного перевода с длинными цепочками рассуждений.

В результате получились 2 модели перевода между английским и китайским языками:

DRT-o1-7B (https://huggingface.co/Krystalan/DRT-o1-7B)

DRT-o1-14B (https://huggingface.co/Krystalan/DRT-o1-14B)

Посттренинговые тесты обеих моделей показали ощутимое повышение качества перевода литературных текстов.

DRT-o1-7B показала улучшение на 8.26 в BLEU, 1.31 в CometKiwi и 3.36 в CometScore по сравнению с Qwen2.5-7B-Instruct. Она превзошла QwQ-32B-Preview на 7.82 в BLEU и 1.46 в CometScore.

DRT-o1-14B достигла еще более высоких показателей - 7.33 в BLEU, 0.15 в CometKiwi и 1.66 CometScore по сравнению с Qwen2.5-14B-Instruct.

Пример инференса с DRT-o1-7B на Transformers:

from transformers import AutoModelForCausalLM, AutoTokenizer  
 model_name = "Krystalan/DRT-o1-7B" 
 
 model = AutoModelForCausalLM.from_pretrained( 
 
     model_name, 
 
     torch_dtype="auto", 
 
     device_map="auto" 
 
 ) 
 
 tokenizer = AutoTokenizer.from_pretrained(model_name) 
 
 prompt = "Translate the following text from English to Chinese:%text%." 
 
 messages = [ 
 
     {"role": "system", "content": "You are a philosopher skilled in deep thinking, accustomed to exploring complex problems with profound insight."}, 
 
     {"role": "user", "content": prompt} 
 
 ] 
 
 text = tokenizer.apply_chat_template( 
 
     messages, 
 
     tokenize=False, 
 
     add_generation_prompt=True 
 
 ) 
 
 model_inputs = tokenizer([text], return_tensors="pt").to(model.device) 
 
 generated_ids = model.generate( 
 
     **model_inputs, 
 
     max_new_tokens=2048 
 
 ) 
 
 generated_ids = [ 
 
     output_ids[len(input_ids)? for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids) 
 
 ] 
 
 response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0] 
 
 print(response)

Лицензирование моделей: CC-BY-NC-SA-4.0 License.

Модель 7B (https://huggingface.co/Krystalan/DRT-o1-7B)

Модель 14B (https://huggingface.co/Krystalan/DRT-o1-14B)

Arxiv (https://arxiv.org/pdf/2412.17498)

Github (https://github.com/krystalan/DRT-o1)

Источник: github.com

Комментарии: