Компьютерная лингвистика, анализ текстов, корпусная лингвистика

Производительность LLM напрямую зависит от правильного выбора и пропорций наборов данных для обучения, например, юридических текстов, кода, математических формул.

OpenCoder - это открытое и воспроизводимое семейство LLM для программирования, включающее 1,5B и 8B базовые и instruct версии, поддерживающее английский и китайский языки.

AMD выпустила серию полностью открытых больших языковых моделей (LLM) с миллиардом параметров под названием AMD OLMo. Модели, обученные на графических процессорах AMD Instinct MI250, предназначены для широкого спектра применений и обладают развитыми способностями к рассуждениям, выполнению инструкций и ведению диалога.

Салют, Хабр! Прошедший сезон оказался богат на релизы: ровно год назад мы делились новостями о GigaChat Pro, затем весной рассказали об увеличении контекста и улучшении возможностей модели, а совсем недавно завершили обучение GigaChat Vision: мы научили GigaChat понимать картинки и уже пишем про это статью.

29 октября перед преподавателями языковых и специальных кафедр, а также студентами МГИМО выступила канд. комп. наук, руководитель направления в команде AGI NLP, SberDevices Мария Тихонова по приглашению Центра изучения иностранных языков.

Ключевые особенности

- Мощная и быстрая библиотека для обучения LLM и логических выводов для научных исследований

- Использует модифицируемые компоненты PyTorch для экспериментов с архитектурами и моделями

- Предоставляет инструменты для понимания скорости и стабильности работы моделей

Mistral AI, отмечая годовщину выпуска Mistral 7B, представила две новые модели: Ministral 3B и Ministral 8B.

Семейство этих моделей получило название «Ministraux», они отличаются высокой производительностью в области знаний, рассуждений, вызова функций и эффективности среди аналогичных моделей категории менее 10 млрд. параметров.

MaskLLM - метод обучения полуструктурированной разреженности для LLM, с которым можно сократить количество используемых параметров без ущерба для качества.

Суть - в моделировании паттернов N:M (где N - количество ненулевых значений в группе из M параметров) в виде обучаемого распределения.

Исследователи Apple обнаружили, что большие языковые модели, такие как ChatGPT, не способны к логическому мышлению и их легко сбить с толку, если добавить несущественные детали к поставленной задаче, сообщает издание TechCrunch.

Источник изображения: D koi/Unsplash

Rhymes AI (https://www.rhymes.ai/) опубликовала Aria — первую в мире открытую MMLM, основанную на Mixture-of-Experts. Aria способна обрабатывать текст, изображения, видео и код одновременно, не требуя отдельных настроек для каждого типа данных.

Векторный поиск не всегда является правильным инструментом. Так почему же венчурные капиталисты притворяются, что это так?

Введение

Десять лет назад было трудно представить, что технологии нейросетей получат такое стремительное развитие, как сейчас. Прямо на наших глазах научная фантастика начинает становиться реальностью.

Компания OpenAI представила новую нейросеть, основанную на языковой модели, с жутко красивым и оригинальным названием o1: https://lenta.ru/articles/2024/09/26/openai-predstavila-novuyu-model-chatgpt-o1/ Вот тут ещё о ней: https://habr.com/ru/companies/bothub/news/842930/

Поскольку AMD пытается нарастить своё присутствие на рынке ИИ, производитель выпускает не только аппаратное обеспечение под эти нужды, но также решил заняться разработкой языковых моделей. Результатом этого стал анонс первой малой языковой AMD-135M.

Molmo — семейство мультимодальных моделей Vision-Language (VLM), разработанных исследователями из Allen Institute for AI и Университета Вашингтона. Семейство моделей Molmo превосходит многие проприетарные и открытые state-of-the-art модели по результатам академических тестов и человеческих предпочтений.

Можно использовать различные LLM через API, такие как OpenAI, Groq, Azure и Gemini, или локальные модели с помощью Ollama.

Официальный репо уже собрал 14к звёзд. А в документации всё понятно, и есть примеры для разных нейронок. Так что сохраняем!

Репозиторий: https://github.com/ScrapeGraphAI/Scrapegraph-ai/tree/main

Довольно интересная статья, в которой авторы сравнивают по различным критериям 59 малых языковых моделей с открытым исходным кодом. Анализируют такие возможности, как рассуждение, возможность к обучению, математика и кодинг, а также затраты на запуск, задержку ответов и многое другое.

Ссылка: *https://arxiv.org/abs/2409.15790*

Робин Спир, создательница проекта Wordfreq по анализу использования языка людьми в интернете, объявила о его закрытии. По её словам, нейросети слишком сильно загрязнили данные, из-за чего анализ стал невозможен.

Введение и задача

Учёные и инженеры из Китая обучают большую языковую модель исключительно для секс-роботов, стремясь создать интерактивных компаньонов на базе ИИ.

Эти модели «реагируют как на движения, так и на речь, значительно улучшая пользовательский опыт, фокусируясь на эмоциональной связи».

Большая языковая модель помогла сделать перевод качественнее: с помощью дообучения на нейросети сервис точнее понимает контекст, лучше распознает фразеологизмы и ориентируется в профессиональной лексике.

Выпускница бакалавриата Института интеллектуальной робототехники НГУ Дари Батурова в ходе выполнения выпускной квалификационной работы создала русско-бурятский и русско-монгольский параллельный корпус. 

Теперь вы можете генерировать тексты с помощью искусственного интеллекта для всей страницы или отдельно по блокам. Это поможет сэкономить время на написание текстов и упростит создание контента. В карточках рассказываем, как работать с ИИ-помощником и в каких случаях он будет полезен ?

Llama3-from-scratch

Очень подробный гайд по созданию LLaMa-3 с нуля!

Аннотация

В данной статье даётся общее описание векторного представления вложений слов - модель word2vec. Также рассматривается пример реализации модели word2vec с использованием библиотеки PyTorch. Приведена реализация как архитектуры skip-gram так и CBOW.

Исходный код

Спустя несколько дней после моего предыдущего разгромного поста, где я отметила, что за границей искусственный интеллект давно обучили читать научные тексты, а в России все это время с астрологией боролись — на сайте МГУ внезапно появилась заметка о том, что российские ученые обучили нейронную сеть читать научные тексты.