Компьютерная лингвистика, анализ текстов, корпусная лингвистика

Как языковые модели "видят" изображения? Посмотрим их глазами.

Думаю, большинство из нас пользуются нейросетевыми сервисами для описания изображений на естественном языке, такими как Claude Sonnet, ChatGPT и работающем на его основе Be my AI.

LG AI Research не так давно опубликовала (https://www.lgresearch.ai/blog/view?seq=507) 3 новые инструктивные двуязычные (английский и корейский) модели EXAONE 3.5 с контекстным окном в 32 тыс. токенов:

2.4B (https://huggingface.co/LGAI-EXAONE/EXAONE-3.5-2.4B-Instruct) – компактная модель для использования на устройствах;,

Вот все, что вам нужно знать.

ERNIE 4.5

- Мулльтимодальная модель, превосходит GPT 4.5 в нескольких бенчмарках всего за 1% от цены GPT 4.5

- OpenAI GPT 4.5 - Input: $75 / 1M токенов, Output: $150 / 1M токенов;

- ERNIE 4.5 - Input: $0.55 / 1M токенов, Output: $2,20 / 1M токенов

ERNIE X1

Исследовательская группа под патронажем Centrale Sup?lec (Университет Париж-Сакле) выпустила в открытый доступ EuroBERT (https://huggingface.co/blog/EuroBERT/release) — семейство мультиязычных энкодеров, обученных на 5 трлн. токенов из 15 языков, включая русский.

DeepSeek выкатил подробный обзор своего инференса для моделей DeepSeek-V3/R1 – с акцентом на архитектурные инновации и невероятную экономическую эффективность.

DeepSeq R1 ежедневно приносит более $560 000, причем затраты на GPU составляют всего $87 000. Что озночает рентабельность в 545 %.

Современная технология идет вперед. И неважно, пользуется ли преподаватель сам нейросетевыми моделями, все чаще он сталкивается с их проявлением в учебном процессе. Вопросов у ученых и преподавателей становится все больше, а ответов пока нет.

Энтузиаст Бинь Фам создал USB-устройство на базе Raspberry Pi Zero для локального запуска языковой модели искусственного интеллекта, генерирующей художественные тексты.

Step-Audio – платформа с открытым исходным кодом, объединяющая понимание и генерацию речи для поддержки мультиязычных диалогов (китайский, английский и японский).

Step-Audio способна передавать эмоциональные оттенки, региональные диалекты, различные стили речи и вокала.

NSA (Natively Sparse Attention) — новый механизм внимания, предложенный на замену Full Attention, который значительно ускоряет обработку длинных последовательностей текста без потери качества модели.

Экспериментальная архитектура LLM, которая способна масштабировать вычисления за счет скрытых рассуждений в латентном пространстве путем итеративного применения рекуррентного блока, что дает возможность развернуть вычисления на произвольную глубину.

RT-DETRv2 - новая версия RT-DETR, альтернативы YOLO. RT-DETRv2 получила ряд улучшений: повышение гибкости, практичности и производительности.

Такие ИИ, как GPT-4, показывают впечатляющие результаты, но исследование MIT выявляет их серьёзные ограничения. Эти системы могут создавать правдоподобные ответы, но не обладают настоящим пониманием мира.

Это Python-фреймворк с открытым исходным кодом, в котором используется LLM для создания SQL-запросов на основе естественного языка.

Всё просто: сначала обучаете модель на своих данных, а потом можно задать вопросы на обычном языке.

Gated DeltaNet - экспериментальная архитектура, разработанная NVIDIA для управления памятью в контексте линейных трансформеров, которая может решить проблемы с забыванием в моделях, обрабатывающих длинные последовательности данных.

И, разумеется, пользуюсь изредка ИИ. Для поиска информации, для того чтобы обработать массивную статью, да и просто так быстрее.

DRT-o1 (https://arxiv.org/pdf/2412.17498) - экспериментальная методика для повышения качества нейронного машинного перевода с помощью техники Chain-of-Thoughts, которая успешно применятся в задачах логического вывода.

Авторегрессионное моделирование использует последовательный принцип "токен за токеном" с отличными результатами, но, с развитием качества генерации и размеров моделей, требует больших вычислительных ресурсов, замедляя процесс инференса.

VidTok (https://github.com/microsoft/VidTok) – универсальный и открытый видео токенизатор, демонстрирующий высокую производительность как в непрерывной, так и в дискретной токенизации.

Расширение доступа к высокоэффективным языковым моделям, как большим, так и малым, может иметь неоднозначные последствия

Значительные изменения в области языковых моделей ИИ в 2024 году, как в исследованиях, так и в отрасли.

Хотите попробовать свои силы в этичном хакерстве, научить модель машинного обучения, поиграться с веб-скрапингом или просто сделать игру? Он вам в этом поможет.

Примеры проектов:

Этичный хакинг: от создания ARP Spoofer до WiFi-сканера.

Геймдев: Flappy Bird, Tetris или даже Space Invaders — весь код уже есть.

В октябре на конференции Рекламное право РКН озвучили, что с января по октябрь выписано штрафов на 21,3 млн. рублей.

Введение и задача

Учёные и инженеры из Китая обучают большую языковую модель исключительно для секс-роботов, стремясь создать интерактивных компаньонов на базе ИИ.

Эти модели «реагируют как на движения, так и на речь, значительно улучшая пользовательский опыт, фокусируясь на эмоциональной связи».

Большая языковая модель помогла сделать перевод качественнее: с помощью дообучения на нейросети сервис точнее понимает контекст, лучше распознает фразеологизмы и ориентируется в профессиональной лексике.

Выпускница бакалавриата Института интеллектуальной робототехники НГУ Дари Батурова в ходе выполнения выпускной квалификационной работы создала русско-бурятский и русско-монгольский параллельный корпус. 

Аннотация

В данной статье даётся общее описание векторного представления вложений слов - модель word2vec. Также рассматривается пример реализации модели word2vec с использованием библиотеки PyTorch. Приведена реализация как архитектуры skip-gram так и CBOW.

Исходный код

Спустя несколько дней после моего предыдущего разгромного поста, где я отметила, что за границей искусственный интеллект давно обучили читать научные тексты, а в России все это время с астрологией боролись — на сайте МГУ внезапно появилась заметка о том, что российские ученые обучили нейронную сеть читать научные тексты.

Просто добавляйте по одному слову...