Компьютерная лингвистика, анализ текстов, корпусная лингвистика

Курс «Высшая математика» объединяет разных специалистов. Мы выпускали химиков, биологов, физиков, программистов, аналитиков и инженеров различных направлений, но с компьютерным лингвистом мы познакомились впервые.

Каждый вызов generate() запускает на GPU две фазы с совершенно разным характером. Prefill обрабатывает ваш промпт и упирается в вычисления. Decode генерирует токены по одному и упирается в память. Почти любая оптимизация бьёт либо по одной фазе, либо по другой, поэтому сначала важно понять, какая из них стала узким местом.

С 24 по 26 июня на факультете вычислительной математики и кибернетики МГУ имени М.В. Ломоносова прошла 31-я международная конференция по компьютерной лингвистике и интеллектуальным технологиям «Диалог». Конференцию открыла проректор МГУ имени М.В. Ломоносова Татьяна Владимировна Кортава.

Особенно - "художественных" текстов. Которые вызывают эмоции. Можно потерять свой разум. Сойти с ума, если есть предрасположенность. Если уже находится человек в пограничном состоянии. Вплоть до психоза.

Пока большинство моделей работают с десятками или сотнями тысяч токенов, MiniMax M3 способен удерживать в памяти целые книги, большие проекты кода, длинные видео и объемную документацию.

Что умеет M3:

Контекст до 1 млн токенов — можно анализировать огромные массивы информации за один запрос.

Ты пишешь вопрос и нажимаешь Enter. Через секунду начинают появляться слова. Кажется, будто кто-то думает и печатает. Но внутри не происходит ничего похожего на мышление — зато происходит кое-что куда более странное и интересное.

Главное заблуждение

ИИ начал писать «как великие авторы». И читатели выбрали ИИ

Представьте писателя, который 40 лет собирал свой стиль:

- ритм фраз

- способ начинать сцену

- интонацию

- вес каждого слова

- годы отказов, черновиков и переписываний

Что такое агент и чем он отличается от LLM?

LLM — статистическая модель, генерирующая текст по входному контексту; у неё нет встроенной долгосрочной логики планирования или управления внешними инструментами, если только это не реализовано в окружении.

Автор собрал целую базу конструкций, по которым текст сразу пахнет ChatGPT: вводные фразы, драматичные тире, пассивный залог и пустые «умные» формулировки

Что делает скилл:

Чистит типичные ИИ-фразы и канцелярит.

Ломает шаблонную структуру предложений.

Трансформеры с помощью fine-tuning узнают, написал ли эссе искусственный интеллект или человек. Рассказываем о различных методах идентификации ИИ-текста и актуальных моделях

Галлюцинация ИИ — уверенный, но вымышленный ответ машины, не соответствующий реальности или доступным источникам.

Студенты массово жалуются в ЛДПР: система «Антиплагиат» помечает самостоятельные работы как сгенерированные нейросетью — и не допускает до защиты.

Алгоритм работает настолько криво, что реальные студенты переписывают дипломы по десять раз — лишь бы получить справку. Эффект массово проявился сейчас, как раз в преддверии летней сессии.

Я тут недавно облажался - в одном из книжных обзоров похвалил роман, который, как меня заверили, написала нейросеть.

Во время всенародного осмеяния добрые люди подкинули мне ссылку на сервис "Яндекса", который был выложен несколько недель назад - https://yandex.ru/lab/neurodetector

Несколько раз в ленте мне попадались посты, которые хайпуют на громких «разоблачениях», мол, тот или иной автор использует ИИ, вот доказательство. И с одной стороны — согласен, ИИ сегодня не может написать так, как напишет человек. Но, с другой стороны, у меня возникло желание — проверить, может ли написать человек так, как пишет ИИ?

Tongyi Lab (Alibaba Group) опубликовала VimRAG (https://github.com/Alibaba-NLP/VRAG) - фреймворк агентного RAG для работы с текстом, изображениями и видео.

Представьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.

Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».

Наглядный пример: Пол Спикер, ученый с мировым именем, закинул в «умный» сканер свою первую научную статью, опубликованную 45 лет назад. В 1981 году, когда пределом мечтаний был кассетный плеер, а не ChatGPT.

Результат просто ахуенный: сервис выдал, что 77% текста сгенерировано нейросетью.

Почему это происходит?

Стартап Percepta зашил полноценный интерпретатор языка C прямо в веса трансформера. Раньше нейросети умели лишь угадывать следующий токен и беспомощно дёргать внешние песочницы с кодом. Теперь модель самостоятельно крутит скомпилированные программы со скоростью 30 000 токенов за 1 секунду на обычном CPU.

Меня давно интересовала тема emergent behavior в мультиагентных системах. Все пишут про AI-агентов, которые пишут код или отвечают на письма. Я хотел другое: что будет, если дать агентам абстрактную цель и ограниченные ресурсы? Будут ли они сотрудничать? Конкурировать?

Это избавит текст от канцелярита и уберёт «ненатуральные» слова! Забираем бомбовый промпт и добавляем свой текст в конец:

Перепиши этот текст, сохранив ту же структуру, информацию и объем. Измени только используемый язык.

Между прочим, уважаемые коллеги, значительная часть текстов, которые вы прочитали в российском интернете за последний год, написана китайской нейросетью DeepSeek, секрет популярности которой среди соотечественников объясняется её бесплатностью и доступом без ВПН и всяких танцев с бубнами.

Система работает в два этапа:

Предсказание скелета:

- Использует трансформер, подобный GPT, для определения структуры скелета с помощью новой схемы токенизации.

Предсказание весов и атрибутов:

Исследование, опубликованное в журнале Cell, предлагает свежий взгляд на то, какие признаки действительно лежат в основе диагноза аутизма — и этот взгляд сформирован не врачами, а большой языковой моделью искусственного интеллекта.

И, разумеется, пользуюсь изредка ИИ. Для поиска информации, для того чтобы обработать массивную статью, да и просто так быстрее.

Хотите попробовать свои силы в этичном хакерстве, научить модель машинного обучения, поиграться с веб-скрапингом или просто сделать игру? Он вам в этом поможет.

Примеры проектов:

Этичный хакинг: от создания ARP Spoofer до WiFi-сканера.

Геймдев: Flappy Bird, Tetris или даже Space Invaders — весь код уже есть.

В октябре на конференции Рекламное право РКН озвучили, что с января по октябрь выписано штрафов на 21,3 млн. рублей.

Введение и задача