Компьютерная лингвистика, анализ текстов, корпусная лингвистика

Классификация оскорбительных и агрессивных комментариев в VK.

Благодаря 540 миллиардам вложенных в языковую модель PaLM параметрам, нейросеть способна выстраивать многосложные языковые конструкции, зависящие от контекста, в том числе и объяснение смысла шуток, например:

Все медиа мира взахлеб обсуждают новую языковую модель PaLM от Google. Эта супергигантская ИИ-система обучалась на 540 миллиардов параметров (втрое больше, чем у знаменитой GPT-3), за счет чего удалось совершить очередной прорыв в качестве обработки языка.

Обработка естественного языка. Постановка основных задач. Способы извлечения признаков предложений. Контекстная семантика и эмбеддинги слов. Word2Vec

Генеративные языковые модели уверенно обосновались в практике Natural Language Processing (NLP). Большие предобученные трансформеры двигаются сразу в трёх направлениях: мультимодальность, мультизадачность и мультиязычность. Сегодня мы расскажем про последнюю — о том, как учили модель на основе GPT-3 на 61 языке мира.

Всем добрый день! Предлагаю рассмотреть архитектуру новой модели W2NER для решения задачи распознавания сущностей в текстах и обучить её работе с русским языком.

Библиотека NLTK, или NLTK, — пакет библиотек и программ для символьной и статистической обработки естественного языка.

Понедельник 28 февраля, 19.00 по Москве

(Нестандратный день !!!)

Предположим, у вас большая коллекция текстов (как минимум несколько сотен, и вы хотите узнать, о чем они — и не просто узнать, а сопоставить с чем-то, что вам уже об этих текстах известно, например, с их жанром. Как же определить содержание автоматически?

Алгоритмы машинного обучения показали, что Пол Фурбер и Рон Уоткинс с вероятностью более 93% писали сообщения от Q. Сами они это отрицают.

Южноафриканский разработчик Пол Фурбер и общественный активист Рон Уоткинс, изображение Адама Ферриса

Сегодня я хочу рассказать о своем опыте участия в соревновании Artificial Intelligence International Junior Contest и о решении моей команды, которое заняло первое место в треке NLP.

Обработка естественного языка (Natural Language Processing, NLP) — это набор методов, помогающих компьютерной системе понимать человеческую речь.

Наконец то мои волосатые руки дошли и до GPT-3 и я подумал, что поскольку здесь на Youtube стало популярным среди программистов и не программистов давать советы по тому как стать программистом и с чего начать, я подумал, что в перерывах между попилом роликов для курса по машинному обучению, я задам GPT-3 пару вопросов.

Привет! Чем еще заняться на каникулах любителю Data Scienсe как не анализом тональности комментариев под новогодними обращениями?! На эту мысль меня натолкнули алгоритмы YouTube, выдавшие к просмотру первого января 2022 года два видео, с очень разными по эмоциональной окраске комментариями.

«Мы сможем знать о человеке всё, куда бы он ни пошёл», заявила MT-NLG.

Профессора Оксфордского университета провели социально-технологический эксперимент, организовав дискуссию на тему искусственного интеллекта между студентами и системой машинного обучения.

Время от времени я выкладываю интересное из мира ИИ, GPT-3 ... и всегда в комментах есть "а как это сделать для себя?". Т.к. в рунете работающей и бесплатной GPT-3 модели нет, а то что есть - пока очень ограниченно.

Есть решение :)

Алгоритм действий:

Одним из простых алгоритмов порождения текста является Марковская цепь. Метод можно строго формализовать в терминах теории вероятностей, но нам достаточно самой сути.

Возьмём какое-нибудь небольшое число — например, 3 — и крупное собрание текстов. С их помощью мы будем генерировать какие-то высказывания.

Модель ruGPT-3 XL с 1.3 млрд параметров выложили в открытый доступ и добавили к ней веб-интерфейс.

ruGPT-3 — это та самая модель, которую собрали на основе научных публикаций от Open AI разработчики из Сбера. Только на русском языке и кодовой базе GPT-2.

Алгоритм выдаёт текст, который лишь кажется осмысленным, и на самом деле просто связывает уже созданные людьми данные.

Математик Варвара Логачева о диалоговых системах, генерации текстов на естественных языках и перспективах машинного перевода

1. Тренировка моделей машинного обучения на больших объемах данных

2. Детектирование людей в толпе

3. Сonversational AI: как сделать бота, который говорит как человек

4. Имитатор поэта, или как Пушкин писал бы через 200 лет

Пользователи твиттера обратили внимание на нейросеть «Порфирьевич» — алгоритм GPT-2 компании OpenAI. Её обучили на русской прозе, затем для неё написали веб-интерфейс, и теперь любой желающий может получить связный текст на основе нескольких строк.

26 декабря пользователи Твиттера обратили внимание, что некто обучил нейросеть GPT-2 от некоммерческой компании OpenAI, используя русскую прозу, и запустил для неё веб-интерфейс.

Таким образом, каждый теперь может попробовать сгенерировать связный текст на основе заданного вступления.

Нейронные сети для обработки естественного языка

Представление текста в цифровом виде для нейросети

Анализ тональности отзывов на фильмы IMDB

Представление текста вектором One Hot Encoding

Представление текста плотным вектором

Рекуррентные нейросети