AI Новости: Машинное обучение и анализ данных. Python. Алгоритмы, методы, лекции. Новости 2018

FlashRNN (https://github.com/NX-AI/flashrnn) - библиотека, которая реализует традиционные RNN, такие как LSTM, GRU и сети Элмана, а также новейшую архитектуру sLSTM в CUDA и Triton.

Ее создали наши исследователи из команды T-Bank AI Research вместе с коллегами из Института AIRI. В XLand-MiniGrid ИИ обучается принимать решения и выполнять новые действия. Это позволяет нам ускорить сравнение и создание новых алгоритмов в области контекстного обучения с подкреплением.

OLA-VLM (https://praeclarumjj3.github.io/ola_vlm/) - метод, который предлагает дистиллировать знания от визуальных энкодеров в противовес традиционному способу обучения MLLM.

Хотите попробовать свои силы в этичном хакерстве, научить модель машинного обучения, поиграться с веб-скрапингом или просто сделать игру? Он вам в этом поможет.

Примеры проектов:

Этичный хакинг: от создания ARP Spoofer до WiFi-сканера.

Геймдев: Flappy Bird, Tetris или даже Space Invaders — весь код уже есть.

Всем привет! Я Толя Потапов, MLE в Т-Банке. Руковожу командой разработки фундаментальных моделей. 

Почти два года мы плотно работаем с LLM, развиваем продукты на базе больших языковых моделей. Например, Вселенную ассистентов, которая входит Gen-T — семейство собственных специализированных языковых моделей. 

Маскированная (или абсорбирующая) диффузия - перспективный подход в генеративном моделировании дискретных данных, предлагающий альтернативу авторегрессионным моделям.

В этой статье я привел базовые сведения о логистической регрессии и показал как сделать модель с нуля на чистом Python. Логистическая функция, обучение, метрики качества для модели классификации, реализация и небольшой разбор обучения весов.

Character AI - нейросетевое приложение, стремительно набирающее популярность среди школьников. Это мультиязычная текстовая нейронка, запущенная в 2022 году бывшими сотрудниками Google из отдела разговорных нейросетей LaMDA.

Character означает "характер" и "персонаж":

Меня долгое время интересовал запуск больших языковых моделей на пользовательских устройствах: есть что?то в том, чтобы запустить одну из лучших языковых моделей на обычном домашнем компьютере или на мобильном телефоне, помещающемся в карман.

Российские учёные создали первую полностью открытую среду для быстрого дообучения ИИ. Она доступна исследователям контекстного обучения с подкреплением по всему миру. 

Анонс второго дня OpenAi: теперь вы можете тренировать свою сверхумную модель на основе o1!

Для превращения модели в эксперта в определенной области достаточно предоставить ей около 20 примеров задач с их решением. Впечатляет, правда?

PaliGemma 2 (https://huggingface.co/blog/paligemma2) - обновление open-sorce VLM PaliGemma, основанное на семействе LLM Gemma 2. Семейство сочетает в себе кодировщик изображений SigLIP-So400m с спектром моделей Gemma 2, от 2B до 27B параметров. Модели PaliGemma 2 обучались в 3 этапа на трех разрешениях (224px?, 448px? и 896px?).

Завтра, 7 декабря, в 9:00 подключайтесь к трансляции лекции «Как теория и практика встречаются в современных нейронных сетях».

Спикер: Евгений Соколов, руководитель департамента больших данных и информационного поиска ФКН, НИУ ВШЭ.

Китайский технологический гигант Tencent анонсировал HunyuanVideo — передовую модель искусственного интеллекта для генерации видео, опубликованную с открытым исходным кодом. Впервые код вывода и веса модели ИИ с такими возможностями доступны всем желающим.

Источник изображения: Tencent

Unsloth представил практический метод динамического 4-битного квантования VLM, который решает проблему снижения точности популярных алгоритмов квантования AWQ, Bitsandbytes, GPTQ и HQQ.

Google DeepMind представила модель искусственного интеллекта Genie 2, которая создаёт игровые 3D-миры из одного изображения и текстового описания.

Возвращаемся к хайтеку. Инженеры из Калифорнийского университета в Беркли создали уникальную технологию RoVi-Aug, которая открывает перед роботами новые горизонты автономного обучения. В основе этого метода лежит принцип обучения модели выявлять и использовать причинно-следственные связи между действиями робота и выполняемыми задачами.

Hugging Face запустили бесплатный открытый курс по файнтюнингу моделей. В курсе рассматриваются теория и практические аспекты работы с такими методами, как LoRA, супервайзед-файнтюнинг, DPO, ORPO и другие техники для настройки моделей под конкретные задачи.

Такие модели способны обрабатывать текст, изображения и аудио в единой системе. MoT решает проблемы масштабирования, связанные с обучением больших языковых моделей (LLM), предлагая более экономичный подход, уменьшающий вычислительные затраты на этапе предварительного обучения.

Однако? есть несколько основных подходов, которые широко используются в ИИ.

Рассмотрим некоторые из них:

1. Машинное обучение (Machine Learning)

Машинное обучение — это область ИИ, которая позволяет компьютерам обучаться на данных без явного программирования правил. Основные алгоритмы машинного обучения включают:

OpenCoder - это открытое и воспроизводимое семейство LLM для программирования, включающее 1,5B и 8B базовые и instruct версии, поддерживающее английский и китайский языки.

Это экспериментальная библиотека Python, которая позволяет моделировать людей с определенными личностями, интересами и целями".

Эти агенты могут слушать, отвечать на запросы и жить своей жизнью в симулированной среде TinyWorld.

Sims на на базе LLM?

Всего полтора года назад казалось, что запустить локально языковую или генеративную модель было чем-то из области фантастики, доступной немногим. Тогда было всего несколько самописных вариантов вариантов, и каждый из них требовал знаний, усилий и ресурсов.

SciAgents - фреймворк, который самостоятельно генерирует и уточняет исследовательские гипотезы, разъясняя лежащие в их основе механизмы, принципы проектирования и неожиданные свойства объекта исследования.

Hugging Face выпустили пошаговый гайдос (https://github.com/huggingface/lerobot/blob/main/examples/7_get_started_with_real_robot.md) по созданию и обучению своей личной робо-руки.

Компания Hugging Face опубликовала подробную инструкцию по созданию и обучению роботизированной руки.