Компьютерная лингвистика, анализ текстов, корпусная лингвистика

Каждый, кто хоть раз всерьёз гонял запросы к LLM, знает, как больно бывает смотреть на счётчик токенов. Ты вроде просто отправляешь список пользователей в JSON, а нейросеть уже съела половину твоего бюджета.

TOON обещает сократить потребление токенов чуть ли не вдвое ?

Целая отрасль замерла в ожидании. Заменит ли LLM программистов? Выпускники школ прямо говорят — зачем поступать на программистов, придёт ИИ, и я останусь без работы. В новостях регулярно сообщается о массовых сокращениях в ИТ компаниях. Работодатели пытаются внедрить ИИ и если не уволить, то снизить зарплаты айтишников.

Как мы воскресили русский NLP и сократили потребление памяти на 90%

Модель хороша тем, что даёт почти уровень больших LLM на длинных контекстах, но при этом заметно экономит память и работает быстрее за счёт линейной архитектуры.

Что улучшили:

- требует до 75% меньше памяти на KV-кэш

- до 6.3? быстрее декодирование на длинных контекстах

Как устроена:

Озон и Вайлдберриз стали массово заполнять фейковые отзывы с ИИ-фотками. Некоторые из них настолько реалистичны, что отличить подделку от настоящего человека почти невозможно. На таких изображениях одежда выглядит безупречно — хотя в реальности может оказаться совсем другой.

Прогресс который мы заслужили

Главная идея - сделать внимание «разреженным» без потери смысла. Вместо того чтобы сравнивать каждый токен со всеми остальными, как в классическом attention, модель Adamas использует только 128 релевантных токенов для каждого запроса. При этом точность остаётся почти такой же, как у полного внимания, а скорость растёт в несколько раз.

Когда вы вводите фразу "Hello world" в ChatGPT или Claude, модель не обрабатывает эти буквы и пробелы так, как вы читаете этот пост прямо сейчас. Вместо этого она преобразует всё в числа посредством процесса, о котором большинство людей даже не задумывается.

ИИ-агенты применяются не только для генерации текста. Создаются разные архитектуры, специализирующиеся на рассуждении, восприятии, действии и абстракции:

1) GPTs - универсальные генераторы текста, отличающиеся беглостью и универсальностью применения

В середине XX века лингвисты думали, что раскрыли код человеческой речи! Сегодня — история обманчивого закона в науке о языке.

Модель Ming-UniAudio — это универсальный фреймворк, сочетающий *понимание речи*, *генерацию* и *редактирование*.

- В её основе лежит единый непрерывный токенизатор речи, интегрирующий семантические и акустические признаки.

Модель лидирует среди моделей до 1 млрд параметров и кодирует запросы в 7 раз быстрее на обычных CPU.

В отличие от декодеров, которые читают текст слева направо и не могут пересматривать ранние токены, ModernVBERT использует двунаправленный текстовый энкодер, обученный на маскировании слов, и небольшой визуальный модуль.

Это избавит текст от канцелярита и уберёт «ненатуральные» слова! Забираем бомбовый промпт и добавляем свой текст в конец:

Перепиши этот текст, сохранив ту же структуру, информацию и объем. Измени только используемый язык.

Этот метод решает главную проблему масштабирования LLM - ограниченность размеченного текста.

RLPT даёт моделям возможность учиться рассуждениям напрямую на данных предобучения, без дорогой ручной разметки.

Как это работает:

Если тебе нужны готовые скрипты для работы с ИИ, первым делом загляни в репозитории Hugging Face и GitHub. Там есть сотни рабочих примеров для NLP-задач: от тонкой настройки моделей (fine-tuning) под классификацию текстов до генерации ответов с помощью GPT и скриптов по работе с данными для обучения.

VLM (Vision-Language Model) — это модель, которая умеет одновременно работать с картинками и текстом: понимать, что изображено, описывать картинку словами, отвечать на вопросы по изображению и совмещать визуальные и текстовые данные.

Что это значит:

- До 85 раз быстрее и в 3.4 раза компактнее аналогичных VLM

Привет! Меня зовут Бромбин Андрей, и сегодня я разберу на практике, что такое RAG-системы и как они помогают улучшать поиск. Покажу, как использовать Spring AI, векторные базы данных и LLM. Ты получишь теорию и пример реализации на Java и Spring Boot — от идеи до работающего сервиса. Без сложных формул — только чёткие объяснения и код.

Проект OpenBMB выпустил (https://huggingface.co/openbmb/MiniCPM-V-4_5) MiniCPM-V 4.5, мультимодальную модель на основе Qwen3-8B и SigLIP2-400M для распознавания изображений, серий изображений и видео, которая может работать на мобильных устройствах на более чем 30 языках.

VibeVoice — это передовая система синтеза речи, способная генерировать выразительное аудио для длительных разговоров, включая подкасты. Она решает проблемы традиционных TTS-систем, обеспечивая высокую согласованность голосов и естественное взаимодействие между несколькими спикерами.

Основные моменты:

Есть такая проблема в обучении моделей, называется "Data Wall". Это когда просто добавлять все больше текста из интернета уже не помогает улучшать большие языковые модели. Синтетические данные стали решением, но как именно они работают, до сих пор было не до конца понятно.

Между прочим, уважаемые коллеги, значительная часть текстов, которые вы прочитали в российском интернете за последний год, написана китайской нейросетью DeepSeek, секрет популярности которой среди соотечественников объясняется её бесплатностью и доступом без ВПН и всяких танцев с бубнами.

Исследование, опубликованное в журнале Cell, предлагает свежий взгляд на то, какие признаки действительно лежат в основе диагноза аутизма — и этот взгляд сформирован не врачами, а большой языковой моделью искусственного интеллекта.

Хотите попробовать свои силы в этичном хакерстве, научить модель машинного обучения, поиграться с веб-скрапингом или просто сделать игру? Он вам в этом поможет.

Примеры проектов:

Этичный хакинг: от создания ARP Spoofer до WiFi-сканера.

Геймдев: Flappy Bird, Tetris или даже Space Invaders — весь код уже есть.

В октябре на конференции Рекламное право РКН озвучили, что с января по октябрь выписано штрафов на 21,3 млн. рублей.

Введение и задача

Учёные и инженеры из Китая обучают большую языковую модель исключительно для секс-роботов, стремясь создать интерактивных компаньонов на базе ИИ.

Эти модели «реагируют как на движения, так и на речь, значительно улучшая пользовательский опыт, фокусируясь на эмоциональной связи».

Большая языковая модель помогла сделать перевод качественнее: с помощью дообучения на нейросети сервис точнее понимает контекст, лучше распознает фразеологизмы и ориентируется в профессиональной лексике.

Выпускница бакалавриата Института интеллектуальной робототехники НГУ Дари Батурова в ходе выполнения выпускной квалификационной работы создала русско-бурятский и русско-монгольский параллельный корпус. 

Аннотация

В данной статье даётся общее описание векторного представления вложений слов - модель word2vec. Также рассматривается пример реализации модели word2vec с использованием библиотеки PyTorch. Приведена реализация как архитектуры skip-gram так и CBOW.

Исходный код

Спустя несколько дней после моего предыдущего разгромного поста, где я отметила, что за границей искусственный интеллект давно обучили читать научные тексты, а в России все это время с астрологией боролись — на сайте МГУ внезапно появилась заметка о том, что российские ученые обучили нейронную сеть читать научные тексты.