AI Новости: Машинное обучение и анализ данных. Python. Алгоритмы, методы, лекции. Новости 2018

Character AI - нейросетевое приложение, стремительно набирающее популярность среди школьников. Это мультиязычная текстовая нейронка, запущенная в 2022 году бывшими сотрудниками Google из отдела разговорных нейросетей LaMDA.

Character означает "характер" и "персонаж":

Меня долгое время интересовал запуск больших языковых моделей на пользовательских устройствах: есть что?то в том, чтобы запустить одну из лучших языковых моделей на обычном домашнем компьютере или на мобильном телефоне, помещающемся в карман.

Российские учёные создали первую полностью открытую среду для быстрого дообучения ИИ. Она доступна исследователям контекстного обучения с подкреплением по всему миру. 

Анонс второго дня OpenAi: теперь вы можете тренировать свою сверхумную модель на основе o1!

Для превращения модели в эксперта в определенной области достаточно предоставить ей около 20 примеров задач с их решением. Впечатляет, правда?

PaliGemma 2 (https://huggingface.co/blog/paligemma2) - обновление open-sorce VLM PaliGemma, основанное на семействе LLM Gemma 2. Семейство сочетает в себе кодировщик изображений SigLIP-So400m с спектром моделей Gemma 2, от 2B до 27B параметров. Модели PaliGemma 2 обучались в 3 этапа на трех разрешениях (224px?, 448px? и 896px?).

Завтра, 7 декабря, в 9:00 подключайтесь к трансляции лекции «Как теория и практика встречаются в современных нейронных сетях».

Спикер: Евгений Соколов, руководитель департамента больших данных и информационного поиска ФКН, НИУ ВШЭ.

Китайский технологический гигант Tencent анонсировал HunyuanVideo — передовую модель искусственного интеллекта для генерации видео, опубликованную с открытым исходным кодом. Впервые код вывода и веса модели ИИ с такими возможностями доступны всем желающим.

Источник изображения: Tencent

Unsloth представил практический метод динамического 4-битного квантования VLM, который решает проблему снижения точности популярных алгоритмов квантования AWQ, Bitsandbytes, GPTQ и HQQ.

Google DeepMind представила модель искусственного интеллекта Genie 2, которая создаёт игровые 3D-миры из одного изображения и текстового описания.

Возвращаемся к хайтеку. Инженеры из Калифорнийского университета в Беркли создали уникальную технологию RoVi-Aug, которая открывает перед роботами новые горизонты автономного обучения. В основе этого метода лежит принцип обучения модели выявлять и использовать причинно-следственные связи между действиями робота и выполняемыми задачами.

Hugging Face запустили бесплатный открытый курс по файнтюнингу моделей. В курсе рассматриваются теория и практические аспекты работы с такими методами, как LoRA, супервайзед-файнтюнинг, DPO, ORPO и другие техники для настройки моделей под конкретные задачи.

Такие модели способны обрабатывать текст, изображения и аудио в единой системе. MoT решает проблемы масштабирования, связанные с обучением больших языковых моделей (LLM), предлагая более экономичный подход, уменьшающий вычислительные затраты на этапе предварительного обучения.

Однако? есть несколько основных подходов, которые широко используются в ИИ.

Рассмотрим некоторые из них:

1. Машинное обучение (Machine Learning)

Машинное обучение — это область ИИ, которая позволяет компьютерам обучаться на данных без явного программирования правил. Основные алгоритмы машинного обучения включают:

RLtools - библиотека глубокого обучения с подкреплением (Deep Reinforcement Learning, DRL) с высокой скоростью работы для разработки и исследования алгоритмов DL.

NeuZip (https://arxiv.org/pdf/2410.20650) - алгоритм сжатия весов нейронных сетей, разработанный для снижения требований к памяти во время обучения и инференса без ущерба для производительности.

Boltz-1 (https://huggingface.co/boltz-community/boltz-1) - первая доступная модель с открытым исходным кодом, которая достигает точности AlphaFold3 в прогнозировании 3D-структур белков, РНК, ДНК и небольших молекул. Boltz-1 основана на архитектуре AlphaFold3, но включает ряд модификаций, повышающих точность и общую эффективность модели.

Градиентный бустинг — это мощный ансамблевый метод, который использует последовательное добавление деревьев решений для улучшения предсказательной способности модели. Он работает по принципу "учимся на своих ошибках": каждое новое дерево фокусируется на ошибках, допущенных предыдущими деревьями.

Как это происходит?

Тайминг:

Знакомимся с решениями задачи А – нужно было создать алгоритм, который предсказывает цену недвижимости.

1:45 – 12:51 – своё решение представила команда лиги «Обучающиеся» EXTREMUM (состав: Фаст Георгий, Суслов Ярослав).

1. ЭЭГ-фМРТ:

Препринт статьи "Beyond the Surface: Revealing the Depths of Brain Activity by Predicting fMRI from EEG with Deep Learning": https://www.biorxiv.org/content/10.1101/2024.11.20.624528v1

Репозиторий: https://github.com/AIRI-Institute/EEG-BOLD-Decoding

Привет, Хабр! Меня зовут Кирилл Колодяжный, я разрабатываю системы хранения данных в YADRO и изучаю нестандартные подходы к машинному обучению: создаю ML-проекты на С++. 

OpenCoder - это открытое и воспроизводимое семейство LLM для программирования, включающее 1,5B и 8B базовые и instruct версии, поддерживающее английский и китайский языки.

Это экспериментальная библиотека Python, которая позволяет моделировать людей с определенными личностями, интересами и целями".

Эти агенты могут слушать, отвечать на запросы и жить своей жизнью в симулированной среде TinyWorld.

Sims на на базе LLM?

Всего полтора года назад казалось, что запустить локально языковую или генеративную модель было чем-то из области фантастики, доступной немногим. Тогда было всего несколько самописных вариантов вариантов, и каждый из них требовал знаний, усилий и ресурсов.

SciAgents - фреймворк, который самостоятельно генерирует и уточняет исследовательские гипотезы, разъясняя лежащие в их основе механизмы, принципы проектирования и неожиданные свойства объекта исследования.

Hugging Face выпустили пошаговый гайдос (https://github.com/huggingface/lerobot/blob/main/examples/7_get_started_with_real_robot.md) по созданию и обучению своей личной робо-руки.

Компания Hugging Face опубликовала подробную инструкцию по созданию и обучению роботизированной руки.