Как NLP учит компьютеры понимать людей

NLP расшифровывается как Natural language processing, или обработка естественного языка. Это коллаборативная область компьютерной лингвистики и искусственного интеллекта, которая учит компьютеры понимать текст и произносимые слова по аналогии с тем, как это делают люди.

По сути это моделирование человеческого языка на основе правил со статистическими моделями, нейронными сетями для машинного обучения и глубокого обучения. Самые простые примеры реализации NLP: голосовые GPS-системы, цифровые помощники, ПО для диктовки речи в текст и обнаружения спама, виртуальные агенты и чат-боты для обслуживания клиентов. NLP также помогает обобщать огромные массивы текстовых данных и анализировать настроения в социальных сетях.

Обработка естественного языка используется и в корпоративных, и в банковских решениях. NLP помогает оптимизировать и упростить критически важные бизнес-процессы и повысить производительность труда. Ранее мы уже рассказывали, что одной из приоритетных задач для Банка России сейчас является разработка платформы сценарного планирования и стресс-тестирования через NLP.

В работе инженеры в основном используют Python и набор инструментов для естественного языка:

1. Коллекции библиотек, софта и образовательных ресурсов с открытым исходным кодом для создания программ NLP.

2. Библиотеки для реализации таких возможностей, как семантическое мышление, способность делать логические выводы на основе фактов, извлечённых из текста.

3. Библиотеки для подзадач: синтаксического анализа предложений, сегментации слов, вывода и лемматизации, маркировки.

Источник: vk.com

Комментарии: