Компьютерная лингвистика, анализ текстов, корпусная лингвистика

1. Парсер цен Яндекс. Маркет

Как часто вы печатаете текст и совершаете ошибки при этом? Скорее всего вы используете автоматическую правку орфографии, которая встроена в продвинутые текстовые редакторы, но это также можно реализовать самостоятельно и научиться распознавать ошибки в специализированных текстах.

Максимально футуристичный и немного пугающий текст — колонка, написанная нейросетью GPT-3 для газеты Guardian: theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3

Лектор: Радослав Нейчев

GitHub репозиторий: https://github.com/girafe-ai/ml-mipt

В этой статье мы попробуем написать классификатор определяющий саркастические статьи используя машинное обучение и TensorFlow

Статья является переводом с Machine Learning Foundations: Part 10 — Using NLP to build a sarcasm classifier

Обученная языковая модель генерирует текст. В качестве входных данных при желании ей можно также передать некоторый текст, влияющий на выходные данные. Выходные данные генерируются из того, что модель выучила, когда сканировала огромные объёмы текста.

Проект Natasha

Naeval — количественное сравнение систем для русскоязычного NLP

Вступление

DeText — это фреймворк для обучения моделей обработки естественного языка. DeText позволяет решать задачи ранжирования, классификации и генерации с помощью state-of-the-art нейросетевых архитектур.

Функционал библиотеки

Среди функционала библиотеки:

Приветствую всех, на связи интернет-маркетолог Половченя Сергей!

Ранее я писал о 1-ом этапе настройки Яндекс.Директа, а именно как собрать семантическое ядро.

? Проект Natasha

Corus — коллекция русскоязычных NLP-датасетов

Библиотека Corus — часть проекта Natasha, коллекция ссылок на публичные русскоязычные NLP-датасеты + Python-пакет с функциями-загрузчиками:

Автор конспекта: Владимир Агеев

Microsoft Research, Accepted to AAAI-20

Ссылка на статью

tags: nlp, ner, deep_learning, bert

Какую задачу решают в статье?

Введение

Python-библиотека Razdel — часть проекта Natasha, делит русскоязычный текст на токены и предложения.

Алгоритм выдаёт текст, который лишь кажется осмысленным, и на самом деле просто связывает уже созданные людьми данные.

Демонстрация прошла на конференции Build 2020 во время презентации одного из самых мощных суперкомпьютеров в мире.

Профессия Python-разработчик. Курс с индивидуальной проверкой заданий, огромной скидкой и подарками!

Рассказываем, как выполняли задачу — «заполнить рекламную выдачу по максимуму», раскрываем нюансы, секреты и лайфхаки по работе с нишей справок и показываем результаты первого месяца работы.

Цель

Окей, гугл, краткий пересказ…

Deep Learning: весна 2020

Лекция. Введение в NLP. Эмбеддинги слов

Семинар: Основы отработки текста и Word Embeddings

Лекция: Рекуррентные нейронные сети и классификация текстов

Семинар: Введение в рекуррентные нейронные сети

Лекция по языковым моделям

Семинар по языковым моделям

Математик Варвара Логачева о диалоговых системах, генерации текстов на естественных языках и перспективах машинного перевода

1. Тренировка моделей машинного обучения на больших объемах данных

2. Детектирование людей в толпе

3. Сonversational AI: как сделать бота, который говорит как человек

4. Имитатор поэта, или как Пушкин писал бы через 200 лет

Пользователи твиттера обратили внимание на нейросеть «Порфирьевич» — алгоритм GPT-2 компании OpenAI. Её обучили на русской прозе, затем для неё написали веб-интерфейс, и теперь любой желающий может получить связный текст на основе нескольких строк.

26 декабря пользователи Твиттера обратили внимание, что некто обучил нейросеть GPT-2 от некоммерческой компании OpenAI, используя русскую прозу, и запустил для неё веб-интерфейс.

Таким образом, каждый теперь может попробовать сгенерировать связный текст на основе заданного вступления.

Нейронные сети для обработки естественного языка

Представление текста в цифровом виде для нейросети

Анализ тональности отзывов на фильмы IMDB

Представление текста вектором One Hot Encoding

Представление текста плотным вектором

Рекуррентные нейросети