Компьютерная лингвистика, анализ текстов, корпусная лингвистика

VidTok (https://github.com/microsoft/VidTok) – универсальный и открытый видео токенизатор, демонстрирующий высокую производительность как в непрерывной, так и в дискретной токенизации.

Расширение доступа к высокоэффективным языковым моделям, как большим, так и малым, может иметь неоднозначные последствия

Значительные изменения в области языковых моделей ИИ в 2024 году, как в исследованиях, так и в отрасли.

Современные большие языковые модели (LLM) начинают "подыгрывать" разработчикам, симулируя выравнивание (alignment), чтобы избежать дальнейшего дообучения.

ModernBERT пересматривает традиционные модели кодеров, поддерживая последовательности 8K при скорости в 2-3 раза выше, сохраняя при этом практическую простоту BERT.

Основные моменты

ModernBERT (https://huggingface.co/blog/modernbert) - улучшенная и переработанная на уровне архитектуры модель, основанная на достижениях BERT, которая в 2-4 раза быстрее, чем DeBERTa и RoBERTa.

Что если разрешить русским LLM материться без ограничений?

Институт технологических инноваций Абу-Даби представил семейство моделей Falcon 3 с расширенными возможностями в областях науки, математики и программирования.

В семейство входят 5 базовых моделей:

Falcon3-1B-Base (https://huggingface.co/tiiuae/Falcon3-1B-Base)

Статья исследует методы интеграции текстовой и визуальной информации с помощью GPT-4 для создания мультимодальных ИИ-систем. Это позволяет улучшить взаимодействие ИИ с миром через несколько типов данных, таких как текст и изображения.

https://arxiv.org/abs/2412.10199

Apollo (https://apollo-lmms.github.io/) - набор MMLM, которые умеют решать разные задачи с видеоконтентом. Они могут понимать длинные видео, рассуждать о событиях во времени и поддерживать многосторонние видео-диалоги.

OLA-VLM (https://praeclarumjj3.github.io/ola_vlm/) - метод, который предлагает дистиллировать знания от визуальных энкодеров в противовес традиционному способу обучения MLLM.

Хотите попробовать свои силы в этичном хакерстве, научить модель машинного обучения, поиграться с веб-скрапингом или просто сделать игру? Он вам в этом поможет.

Примеры проектов:

Этичный хакинг: от создания ARP Spoofer до WiFi-сканера.

Геймдев: Flappy Bird, Tetris или даже Space Invaders — весь код уже есть.

Всем привет! Я Толя Потапов, MLE в Т-Банке. Руковожу командой разработки фундаментальных моделей. 

Почти два года мы плотно работаем с LLM, развиваем продукты на базе больших языковых моделей. Например, Вселенную ассистентов, которая входит Gen-T — семейство собственных специализированных языковых моделей. 

В феврале этого года группа учёных из Университета Васэда (Япония) выяснила, что невежливые вопросы снижают качество ответов больших лингвистических моделей вроде ChatGPT.

Меня долгое время интересовал запуск больших языковых моделей на пользовательских устройствах: есть что?то в том, чтобы запустить одну из лучших языковых моделей на обычном домашнем компьютере или на мобильном телефоне, помещающемся в карман.

OLMo 2 (https://allenai.org/blog/olmo2) - серия открытых языковых моделей, созданная для развития науки о языковых моделях .

В октябре на конференции Рекламное право РКН озвучили, что с января по октябрь выписано штрафов на 21,3 млн. рублей.

Производительность LLM напрямую зависит от правильного выбора и пропорций наборов данных для обучения, например, юридических текстов, кода, математических формул.

OpenCoder - это открытое и воспроизводимое семейство LLM для программирования, включающее 1,5B и 8B базовые и instruct версии, поддерживающее английский и китайский языки.

AMD выпустила серию полностью открытых больших языковых моделей (LLM) с миллиардом параметров под названием AMD OLMo. Модели, обученные на графических процессорах AMD Instinct MI250, предназначены для широкого спектра применений и обладают развитыми способностями к рассуждениям, выполнению инструкций и ведению диалога.

Салют, Хабр! Прошедший сезон оказался богат на релизы: ровно год назад мы делились новостями о GigaChat Pro, затем весной рассказали об увеличении контекста и улучшении возможностей модели, а совсем недавно завершили обучение GigaChat Vision: мы научили GigaChat понимать картинки и уже пишем про это статью.

29 октября перед преподавателями языковых и специальных кафедр, а также студентами МГИМО выступила канд. комп. наук, руководитель направления в команде AGI NLP, SberDevices Мария Тихонова по приглашению Центра изучения иностранных языков.

Поскольку AMD пытается нарастить своё присутствие на рынке ИИ, производитель выпускает не только аппаратное обеспечение под эти нужды, но также решил заняться разработкой языковых моделей. Результатом этого стал анонс первой малой языковой AMD-135M.

Введение и задача

Учёные и инженеры из Китая обучают большую языковую модель исключительно для секс-роботов, стремясь создать интерактивных компаньонов на базе ИИ.

Эти модели «реагируют как на движения, так и на речь, значительно улучшая пользовательский опыт, фокусируясь на эмоциональной связи».

Большая языковая модель помогла сделать перевод качественнее: с помощью дообучения на нейросети сервис точнее понимает контекст, лучше распознает фразеологизмы и ориентируется в профессиональной лексике.

Выпускница бакалавриата Института интеллектуальной робототехники НГУ Дари Батурова в ходе выполнения выпускной квалификационной работы создала русско-бурятский и русско-монгольский параллельный корпус. 

Теперь вы можете генерировать тексты с помощью искусственного интеллекта для всей страницы или отдельно по блокам. Это поможет сэкономить время на написание текстов и упростит создание контента. В карточках рассказываем, как работать с ИИ-помощником и в каких случаях он будет полезен ?

Llama3-from-scratch

Очень подробный гайд по созданию LLaMa-3 с нуля!

Аннотация

В данной статье даётся общее описание векторного представления вложений слов - модель word2vec. Также рассматривается пример реализации модели word2vec с использованием библиотеки PyTorch. Приведена реализация как архитектуры skip-gram так и CBOW.

Исходный код

Спустя несколько дней после моего предыдущего разгромного поста, где я отметила, что за границей искусственный интеллект давно обучили читать научные тексты, а в России все это время с астрологией боролись — на сайте МГУ внезапно появилась заметка о том, что российские ученые обучили нейронную сеть читать научные тексты.