Компьютерная лингвистика, анализ текстов, корпусная лингвистика

Значения часто используемых технологических терминов – в регулярной рубрике «Словарь технологий». Сегодня рассказываем о ключевом этапе обработки естественного языка – семантическом анализе текста.

Что такое NER?

Основную информацию в разговоре мы получаем не из самих слов собеседника, а из его невербальной составляющей. Письменная речь гораздо беднее устной, поэтому одна из труднейших задач, над которой бьются создатели виртуальных ассистентов - как научить компьютер чувствовать тон человеческой речи?

Фокус будет на обзоре и примерах задач, которые можно решать с помощью анализа текстов. Посмотрим как на элегантные решения, которые делают нашу жизнь лучше, так и на то как бизнес экономит большие деньги (и поймем почему датасаентистам столько платят).

В НЛП существует множество задач от классификации текста до ответов на вопросы, но независимо от того, что вы делаете, объем данных, который вы должны обучить своей модели, сильно влияет на производительность модели.

Что вы можете сделать, чтобы увеличить свой набор данных?

Простой вариант -> получить больше данных :).

В данном видео приведен пример второй стадии решения NLP задачи классификации текстов на языке программирования Python. Приведен пример преобразования корпуса текстов в числовые вектора с помощью алгоритмов BOW и TF-IDF.

Ссылка на код: https://gist.github.com/MachineLearningIsEasy/375f68fe596ba7efc9b8a50804f8339d

Её можно обучить на русской литературе, новостях и «Википедии».

Сбер выложил в открытый доступ русскоязычную модель для генерации текстов GPT-3 Large с 760 миллионами параметров. Об этом на «Хабре» рассказал управляющий директор департамента SberDevices Сергей Марков.

Существует много библиотек NLP, например Natural Language Toolkit (NLTK), TextBlob, CoreNLP, Gensim, и spaCy. Также есть множество способов обобщения текстов — покажу самый простой, в три предложения без NLP. Понадобятся библиотеки для предварительной обработки и сортировки данных.

В данном видео приведен пример первой стадии решения NLP задачи классификации текстов на языке программирования Python. Приведен пример обработки текста, продемонстрирован разница алгоритмов лемматизации и стемминга.

Ссылка на код: https://gist.github.com/MachineLearningIsEasy/925fa164e2b0687f3553502ff6b11124

15-16 октября состоялась одна из основных российских конференций по обработке естественного языка, а именно AIST (Analysis of Images, Social Networks and Texts). В числе работ на текстовом треке были и два доклада четверокурсниц ОТиПЛа, и , сделанных на материале их курсовых работ прошлого года. Передаём им слово.

Ульяна Исаева:

1. Функция Unique

Функция Unique (диапазон) возвращает уникальные строки в указанном диапазоне, удаляя дубликаты. Строки возвращаются в том же порядке, в котором они расположены в диапазоне.

Этот движок завершения кода может написать целую функцию только из названия! OpenAI демонстрирует, что происходит, когда вы изучаете языковую модель на тысячах репозиториев GitHub Python.

От расшифровки голосовых сообщений до модерации — Большое интервью с директором по исследованиям в области искусственного интеллекта «ВКонтакте»

Алгоритм выдаёт текст, который лишь кажется осмысленным, и на самом деле просто связывает уже созданные людьми данные.

Демонстрация прошла на конференции Build 2020 во время презентации одного из самых мощных суперкомпьютеров в мире.

Профессия Python-разработчик. Курс с индивидуальной проверкой заданий, огромной скидкой и подарками!

Окей, гугл, краткий пересказ…

Deep Learning: весна 2020

Лекция. Введение в NLP. Эмбеддинги слов

Семинар: Основы отработки текста и Word Embeddings

Лекция: Рекуррентные нейронные сети и классификация текстов

Семинар: Введение в рекуррентные нейронные сети

Лекция по языковым моделям

Семинар по языковым моделям

Математик Варвара Логачева о диалоговых системах, генерации текстов на естественных языках и перспективах машинного перевода

1. Тренировка моделей машинного обучения на больших объемах данных

2. Детектирование людей в толпе

3. Сonversational AI: как сделать бота, который говорит как человек

4. Имитатор поэта, или как Пушкин писал бы через 200 лет

Пользователи твиттера обратили внимание на нейросеть «Порфирьевич» — алгоритм GPT-2 компании OpenAI. Её обучили на русской прозе, затем для неё написали веб-интерфейс, и теперь любой желающий может получить связный текст на основе нескольких строк.

26 декабря пользователи Твиттера обратили внимание, что некто обучил нейросеть GPT-2 от некоммерческой компании OpenAI, используя русскую прозу, и запустил для неё веб-интерфейс.

Таким образом, каждый теперь может попробовать сгенерировать связный текст на основе заданного вступления.

Нейронные сети для обработки естественного языка

Представление текста в цифровом виде для нейросети

Анализ тональности отзывов на фильмы IMDB

Представление текста вектором One Hot Encoding

Представление текста плотным вектором

Рекуррентные нейросети