Компьютерная лингвистика, анализ текстов, корпусная лингвистика

Иногда возникает необходимость провести анализ большого количества текстовых данных, не имея представления о содержании текстов. В таком случае можно попытаться разбить тексты на кластеры, и сгенерировать описание каждого кластера. Таким образом можно в первом приближении сделать выводы о содержании текстов.

Тестовые данные

OpenAI объявила, что прогресс в обеспечении безопасности позволили компании открыть API генератора текстов GPT-3. Разработчики из поддерживаемых стран смогут зарегистрироваться и сразу же начать экспериментировать с ним.

В этой статье я расскажу о том, как создавался проект HuggingArtists и что у него под капотом. Мне будет очень приятно, если вы поставите сразу звезду в репозитории:

Тогда вот вам история.

Бот, работающий на языковой модели GPT-3 от OpenAI, Под именем пользователя /u/thegentlemetre бот общался с людьми на /r/AskReddit. Он публиковал сообщения с частотой примерно раз в минуту. Пипл хавал, как говаривал Боня Титомир.

NLP расшифровывается как Natural language processing, или обработка естественного языка. Это коллаборативная область компьютерной лингвистики и искусственного интеллекта, которая учит компьютеры понимать текст и произносимые слова по аналогии с тем, как это делают люди.

Семантическое сходство является важным аспектом обработки естественного языка и одной из фундаментальных проблем для многих приложений NLP и смежных дисциплин. Семантическое текстовое сходство можно описать как меру, применяемую к набору документов с целью определения сходства их содержания.

В данном видео приведен пример решения NLP задачи классификации текстов. Использовалась нейронная сеть на основе BERT архитектуры в python фреймворке tensorflow.

Ссылка на код:

https://gist.github.com/MachineLearningIsEasy/c82093fbcd61b6cccb36bc0418808142

LMU Munich, 2019

https://arxiv.org/abs/1904.06707

Какую задачу решают авторы?

Сегодня поговорим о NLP-методах векторизации слов - Word Embeddings. Векторы слов лежат в основе многих систем обработки естественного языка и повсеместно используются в современном мире. Рассмотрим работу Word Embeddings на примере нейронной сети Word2Vec.

Учёные и их наука? Совместный спецпроект, полезные ресурсы и курсы про лингвистику и NLP

На днях мы запустили проект вместе с каналом «Русские норм!» — серию выпусков про современных учёных. Тема первого видео лежит на стыке лингвистики и компьютерных наук. В нём участвуют:

По определению, обработка естественного языка (NLP) - это область искусственного интеллекта (AI), информатики и лингвистики. Она помогает машинам взаимодействовать между компьютерами и человеческим языком.

Как работает NLP

Microsoft и NVIDIA объединились для создания Megatron-Turing Natural Language Generation ? генеративной языковой ИИ-модели с 530 млрд параметров. Это крупнейшая в мире монолитная трансформаторная языковая модель.

Компании Nvidia и Microsoft анонсировали разработанную ими совместно крупнейшую на сегодняшний день языковую модель на архитектуре трансформер, получившую название Megatron-Turing Natural Language Generation (MT-NLG).

Языковые модели от Google и Microsoft — T5 + Meena и DeBERTa — показали себя лучше человека в тесте SuperGLUE, который проверяет понимание и логику текста на английском языке.

Сложные обороты типа брат матери моего дяди по-научному называются посессивные конструкции с терминами родства. Название происходит от латинского possessio – вла­де­ние, об­ла­да­ние, отсюда же произошел английский глагол to possess — иметь, обладать.

Это третья публикация в рамках цикла статей по изучению московской базы ковидных больных. В настоящей работе были созданы векторные представления медицинских терминов, которые теперь доступны на Github. Любой разработчик может использовать их в своих исследовательских целях.

Предыдущие мои публикации можно найти по ссылкам:

3 октября 2021 года Сергей Владимиров, выпускник факультета информатики и прикладной математики ПСТГУ 2021 года и магистрант богословского факультета, представил свою выпускную квалификационную работу участникам международного конкурса NEUROTECH CUP 2021.

Масштабирование человеческого надзора за системами искусственного интеллекта для задач, которые трудно оценить.

Время от времени я выкладываю интересное из мира ИИ, GPT-3 ... и всегда в комментах есть "а как это сделать для себя?". Т.к. в рунете работающей и бесплатной GPT-3 модели нет, а то что есть - пока очень ограниченно.

Есть решение :)

Алгоритм действий:

В OpenAI обучили нейросеть пересказывать содержание книг. Модель основана на GPT-3 и использует метод рекурсивного разложения, то есть сначала создает пересказы небольших частей книги и затем объединяет их.

Для задач обработки естественного языка (NLP) широко используются как общие, так и специфические для конкретной области модели BERT.

Попытки привить нейросетям «хорошие манеры» приводят к жёсткой цензуре в духе антиутопий.

Одним из простых алгоритмов порождения текста является Марковская цепь. Метод можно строго формализовать в терминах теории вероятностей, но нам достаточно самой сути.

Возьмём какое-нибудь небольшое число — например, 3 — и крупное собрание текстов. С их помощью мы будем генерировать какие-то высказывания.

Простой способ сгенерировать много текста, который будет похож на настоящий.

В «Коде» уже вышло несколько проектов, где мы генерировали какой-то случайный текст, чтобы показать его пользователю:

Модель ruGPT-3 XL с 1.3 млрд параметров выложили в открытый доступ и добавили к ней веб-интерфейс.

ruGPT-3 — это та самая модель, которую собрали на основе научных публикаций от Open AI разработчики из Сбера. Только на русском языке и кодовой базе GPT-2.

Пару дней назад мы подводили ИИ итоги 2020-го года в мире машинного обучения. 2021-й год только начался, но мы определенно видим одну из важнейших работ в области ИИ текущего года.

15-16 октября состоялась одна из основных российских конференций по обработке естественного языка, а именно AIST (Analysis of Images, Social Networks and Texts). В числе работ на текстовом треке были и два доклада четверокурсниц ОТиПЛа, и , сделанных на материале их курсовых работ прошлого года. Передаём им слово.

Ульяна Исаева:

1. Функция Unique

Функция Unique (диапазон) возвращает уникальные строки в указанном диапазоне, удаляя дубликаты. Строки возвращаются в том же порядке, в котором они расположены в диапазоне.