Компьютерная лингвистика, анализ текстов, корпусная лингвистика

Какие технологии приведут нас к AGI? — Татьяна Шаврина (Исполнительный директор в управлении экспериментальных систем машинного обучения SberDevices, Руководитель исследовательских проектов в области NLP, Институт Искусственного Интеллекта AIRI) Семинар русскоязычного сообщества AGI 26 января 2023

Многие хотят написать простой классификатор текста, но теряются в тоннах книг по машинному обучению, и сложных математических формулах. Сегодня я покажу вам относительно простой пример классификации на Python, который работает просто и понятно.

В общем случае схема работы машинного обучения такова:

К моему удивлению, в открытом доступе оказалось не так уж много подробных и понятных объяснений того как работает модель GPT от OpenAI. Поэтому я решил всё взять в свои руки и написать этот туториал, в котором разобраны следующие темы:

Откуда взялась GPT и какую задачу она решает

Токенизация текста

Технологии NLP, OCR, саммаризация... Узнать значение этих терминов ты сможешь из нового подкаста проекта «100 дней первокурсника» — в нем говорим о технопредпринимательстве! ?

Иллюстрация: Midjourney v4 по запросу artificial intelligence sci-fi setting into the computer schemes

Казалось бы, чатбот и чатбот, хрен с ним.

Но он оказался просто черной дырой со своими приколами.

Сначала я попросил представить нейросетку будто она может генерировать картинки и создал с помощью неё иллюстрацию.

11. Безопасность на Python

12. Инструменты MLOps

13. Разбор вопросов Python Quiz от КРОК

14. Про тренды 2022 в NLP

Выпускница НИУ ВШЭ Любовь Поповец провела и опубликовала интересное дата-исследование, проанализировав цветовую палитру в романах классиков русской литературы. Наиболее популярным цветом у всех русских классиков был черный, а более всего его употреблял для описаний Набоков.

LEX выглядит как минималистичная версия «Google Документов». Если не получается закончить предложение или абзац, встроенная нейросеть GPT-3 сделает это по команде «+++». К проекту присоединились уже 24 тыс. писателей.

Оказывается, алгоритмы неотличимы от людей в соцопросах. И это, наверное, - самое потрясающее открытие последних лет на стыке алгоритмов обработки естественного языка, когнитивистики и социологии. Ибо оно открывает огромные перспективы для социохакинга.

«Фейковые» новости обычно обладают рядом отличий: они содержат больше эпитетов, воздействуя на эмоции, имеют утвердительный тон и т.д. Я предлагаю научить нейронную сеть вылавливать из текста подобные ключевые слова и с их помощью определять «фейковость» новости.

Знакомая ситуация

Наверняка вы часто замечали за собой, что быстро отвечая на, казалось бы, простые вопросы, часто ошибаетесь? Этот феномен можно объяснить моделью человеческой психики, предложенной психологом Даниэлом Канеманом, автором книги «Думай медленно… решай быстро».

00:00 - Примеры приложений естественного языка

04:10 - Почему сейчас?

06:29 - Как устроен курс

08:08 - Предварительные требования

Рекомендуемый предварительный курс "Программирование глубоких нейронных сетей на Python" – https://openedu.ru/course/urfu/PYDNN/

Уже завтра наши друзья из Института AIRI (https://vk.com/airi_institute) проводит новую ИИшницу «Искусственный интеллект в индустрии». Делимся расписанием:

15:30 – Открытие, модератор мероприятия – Илья Макаров

15:40 – «ИИ в Индустрии 5.0» Илья Макаров, AIRI, НИУ ВШЭ

Предварительно обученные модели представления языка

Привет!

В двух словах: этот бот позволяет генерировать продолжение к заданному тексту при помощи различных нейросетей. Чтобы начать использование, можете просто отправить ему любое сообщение:

Благодаря 540 миллиардам вложенных в языковую модель PaLM параметрам, нейросеть способна выстраивать многосложные языковые конструкции, зависящие от контекста, в том числе и объяснение смысла шуток, например:

Привет! Чем еще заняться на каникулах любителю Data Scienсe как не анализом тональности комментариев под новогодними обращениями?! На эту мысль меня натолкнули алгоритмы YouTube, выдавшие к просмотру первого января 2022 года два видео, с очень разными по эмоциональной окраске комментариями.

«Мы сможем знать о человеке всё, куда бы он ни пошёл», заявила MT-NLG.

Профессора Оксфордского университета провели социально-технологический эксперимент, организовав дискуссию на тему искусственного интеллекта между студентами и системой машинного обучения.

Время от времени я выкладываю интересное из мира ИИ, GPT-3 ... и всегда в комментах есть "а как это сделать для себя?". Т.к. в рунете работающей и бесплатной GPT-3 модели нет, а то что есть - пока очень ограниченно.

Есть решение :)

Алгоритм действий:

Одним из простых алгоритмов порождения текста является Марковская цепь. Метод можно строго формализовать в терминах теории вероятностей, но нам достаточно самой сути.

Возьмём какое-нибудь небольшое число — например, 3 — и крупное собрание текстов. С их помощью мы будем генерировать какие-то высказывания.

Простой способ сгенерировать много текста, который будет похож на настоящий.

В «Коде» уже вышло несколько проектов, где мы генерировали какой-то случайный текст, чтобы показать его пользователю:

Модель ruGPT-3 XL с 1.3 млрд параметров выложили в открытый доступ и добавили к ней веб-интерфейс.

ruGPT-3 — это та самая модель, которую собрали на основе научных публикаций от Open AI разработчики из Сбера. Только на русском языке и кодовой базе GPT-2.

Алгоритм выдаёт текст, который лишь кажется осмысленным, и на самом деле просто связывает уже созданные людьми данные.