NLP: немного истории и футурологии

Набросал для себя, но вдруг кому-нибудь будет интересно. В том числе объясняет для непричастных, почему «Обработка естественного языка» является таким привлекательным направлением (в том числе привлекающим сотни миллионов долларов инвестиций)

Писал где-то год назад, сейчас занимаюсь планированием (время подходящее), просматриваю рабочие материалы, написанное не потеряло актуальность.

XIXвек Общая лингвистика - зародилась, как системная наука во второй половине 19 века (элементы присутствовали уже до нашей эры)

1950-1970 Появилась "компьютерная лингвистика" (60е годы 20 века). Математики и программисты пришли к лингвистам, чтобы "разобраться в лингвистических проблемах и поставить точку в развитии лингвистики".

1970-1990 активно используются статистические алгоритмы, привнесенные математиками, например, TF-IDF, появляется и активно развивается "корпусная лингвистика", лингвистика перестает быть сугубо "гуманитарной" профессией

1990-2014 Машинное обучение приходит в лингвистику, появляются такие алгоритмы, как LSI, активно развиваются и применяются статистические алгоритмы, благодаря развитию Интернета появляется мощный стимул для развития "компьютерной лингвистики"

2014-2020 Deep Learning приходит в лингвистику, появлюятся word2vec и doc2vec, RNN, LSTM, CNN начинают применяться к лингвистическим задачам. Появляются Трансформеры и создаются "большие модели" типа BERTA, прорыв в машинном переводе. Старт бурного развития "чат-ботов", "умных колонок" и т. п.

2020-2025 активно развивается и применяются большие модели, прогресс в переводе с разных языков, машина переводит лучше человека. Создание единой языковой модели <==> единый человеческий язык (т. е. нет проблем с автоматическим переводом между большинством языков планеты). Разработка лингвистических (разговорных систем). Создаются узкие языковые и голосовые ассистенты, чат-боты становятся все умнее, человек активно замещается на роботизированные системы в коммуникациях с обслуживанием большого количества пользователей (колл-центры). Появляются автоматизированные системы по работе с документами (юридическими, бухгалтерскими, школьными, новостными, чтением книг и т. п.). В анализе данных для различных целей текстовая (лингвистическая) информация становится такой же неотъемлемой частью, как "параметрическая" и числовая.

2025-2030 Системы для решения узких задач на основании семантического понимания языковых конструкций. Возможно, системы, участвующие в интеллектуальной деятельности совместно с человеком (понимают определенные области на основании анализа как лингвистической так и других доступных данных). Человек активно замещается робототехническими системами, умеющими коммуницировать с человеком (продавцы, официанты, секретари, т. п.). Вендинговые аппараты переходят на голосовые интерфейсы. Голосовые интерфейсы активно внедряются в гаджеты, не имеющие клавиатуры (такие, как умные браслеты, часы, умные очки и т. п.)

2030-2040 Система, умеющая описывать при помощи естественного языка (или специального языка, который можно "перевести" на естественный) разные типы информации (численную, звуковую, видеоряды, картинки). Умеет обобщать разрозненные данные и делать выводы. Тест Тьюринга пройден окончательно (нет никакой возможности отличить общение с человеком от общения с машиной по большинству доступных человеку тем)

2040-2080 Система перевода с человеческого языка на машинный - язык взаимопонимания человека и машины. Под машиной понимаются сложные системы - "черные ящики", сложность которых такая, что их программирование не доступно человеческому разуму и нужны машины для программирования других машин, а человек взаимодействует с роботами-программистами машин. Или по-другому, появляется интерфейс взаимодействия с кибернетическими системами.

Источник: m.vk.com

Комментарии: