Значения часто используемых технологических терминов – в регулярной рубрике «Словарь технологий».

Значения часто используемых технологических терминов – в регулярной рубрике «Словарь технологий». Сегодня рассказываем о ключевом этапе обработки естественного языка – семантическом анализе текста.

Под семантическим анализом (семантика – от др.-греч. «обозначающий») понимают один из этапов действий алгоритма с целью определения содержательной интерпретации текста. В анализе выделяют два основных шага: смысловое толкование слов и конструкций и установление семантических отношений между текстовыми элементами. Именно на этапе определения смысла слов и текста системы сталкиваются со сложностями. Трактовка образов и понимание заложенного автором смысла относятся к задачам, с которыми легко справляется человек, но пока не может одолеть компьютер. Слово может принимать разные значения, делая его многозначным для понимания. Например, слово «ключ» может быть трактовано по-разному: устройство для открывания замка, строительный инструмент, знак в начале нотной строки. И именно определение компьютером значения «ключа» будет ключом к пониманию смысла всего предложения. Для получения данных из текста можно применять один из двух методов семантического анализа: модель классификации текста и текстовое извлечение. Классификационная модель состоит из трех модулей:

- Тематическая классификация позволяет сортировать информацию по определенным категориям. Например, система на основе машинного обучения для службы поддержки анализирует жалобу и относит ее или к «платежной проблеме», или к «проблеме доставки».

- Анализ настроения позволяет определить положительный или отрицательный настрой в тексте. Эту систему некоторые компании используют в Twitter, чтобы идентифицировать недовольных клиентов в режиме реального времени.

- Классификация намерений анализирует текст и предполагает дальнейший шаг. Например, в тексте электронного письма можно определить настроенность потенциального покупателя на покупку.

Текстовая выборка при семантическом анализе помогает извлекать ключевые слова и значения для дальнейшего анализа. Например, в Twitter применяют такой метод для анализа массива сообщений с ключевым словом. Результаты демонстрируют, какие темы чаще всего связаны с фокус-словом.

Комментарии: