В Новосибирске студентка создала приложение для анализа тибетских текстов

Студентка Новосибирского государственного университета (НГУ) создала приложение для автоматического распознавания, оцифровки и анализа классических тибетских текстов.

"Уникальная программная платформа, предназначенная для автоматизированной обработки документов на тибетском языке, будет востребована исследователями, архивными работниками и библиотекарями. Новый фреймворк должен способствовать сохранению тибетского текстового наследия, являющегося в том числе частью культурного достояния бурятского народа", — заявили в вузе.

Система ориентирована на старопечатные документы на основе тибетского слогового письма, восходящего к древнеиндийскому письму брахми. Ее автором стала студентка направления "Фундаментальная и прикладная лингвистика" гуманитарного института НГУ Анна Мурашкина, работающая в Институте вычислительной математики и математической геофизики Сибирского отделения РАН.
Она использовала изображения страниц классических тибетских текстов XVIII-XX веков из архивов.

"Старопечатные документы, рукописи и ксилографы содержат уникальные сведения о философии, религии, медицине, истории и искусстве, играя ключевую роль в изучении культурных традиций региона. Эти знания передаются в Тибете из поколения в поколение. Однако со временем, под воздействием природных и антропогенных факторов, бумажные носители подвержены физическому разрушению, что ведет к утрате бесценной информации и ограничивает доступ к этим уникальным материалам. В настоящее время в Тибетском фонде Института монголоведения, буддологии и тибетологии СО РАН хранятся до 70 тысяч единиц хроники, которые рискуют быть утерянными. Один из наиболее надежных способов сохранения и систематизации исторических документов — их оцифровка", — рассказала исследовательница.

Мурашкина решила построить модель с применением машинного обучения. Ее задачей было распознавать символы тибетского алфавита и переводить тексты в машиночитаемый вид, показывая при этом большую точность, чем уже существующие открытые решения.

Для этого исследовательница вручную выполнила лингвистическую разметку строк тибетского текста и разработала систему оценки качества оптического распознавания символов с учетом специфики тибетской графики. Затем она сравнила существующие архитектуры и выбрала модель сверхточной нейросети, которая потребовала дообучения.

В результате Мурашкина создала полный модульный алгоритм оптического распознавания символов, включающий этапы предобработки, сегментации, распознавания и постобработки. У ученых появились новые возможности оцифровки древних тибетских рукописей.