AI Новости: Машинное обучение и анализ данных. Python. Алгоритмы, методы, лекции. Новости 2018

Классный способ построить совместные модели — вертикальное федеративное обучение. Так считает Арсений Селякин, руководитель команды Data Science в VK Predict.

Подробные тезисы из его выступления, кому этот инструмент нужен и как работает — рассказали в карточках.

Глубокое обучение для 3D-реконструкции: Проект использует нейросетевые методы для обучения неявных представлений объектов, что позволяет реконструировать гладкие и точные поверхности даже из разрежённых данных (например, облаков точек).

21 марта в нашем Культурно-просветительском центре, совместно c [club135454514|Российским обществом «Знание»], прошла открытая лекция Матвея Хоймова, младшего научного сотрудника Балтийского Центра Нейротехнологий и Искусственного Интеллекта БФУ им.И.Канта – «Линейная регрессия — основа предсказания».

NSL позволяет улучшать точность моделей, особенно при ограниченном объёме размеченных данных, за счёт объединения как размеченных, так и неразмеченных данных.

Основные возможности:

API для работы с графами и враждебными искажениями на базе TensorFlow и Keras.

Совместное исследование (https://www.nature.com/articles/s41562-025-02105-9) Google Research, Принстонского университета, NYU и Еврейского университета в Иерусалиме нашло параллели в обработке естественного языка человеческим мозгом и большими языковыми моделями.

Смотрите новый видеоурок нашего преподавателя Артур Шайхутдинов: "CNN TensorFlow: распознавание в Keras (Python). Сверточный слой нейронной сети"

Вот и дождались сбычи устрашающего прогноза Харари, что алгоритмы машинного обучения будут знать о нас больше, чем родная мама. Осталось понять — что же такое узнал о нас новый алгоритм?

Страхи и реальность

Когда человек впервые слышит о регрессивном гипнозе, у него могут возникнуть сомнения и страхи. Это естественно — мы боимся неизвестности и того, что нас ожидает. Но важно понимать, что этот процесс не представляет угрозы и может принести много пользы.

Страхи перед регрессивным гипнозом

LG AI Research не так давно опубликовала (https://www.lgresearch.ai/blog/view?seq=507) 3 новые инструктивные двуязычные (английский и корейский) модели EXAONE 3.5 с контекстным окном в 32 тыс. токенов:

2.4B (https://huggingface.co/LGAI-EXAONE/EXAONE-3.5-2.4B-Instruct) – компактная модель для использования на устройствах;,

Модель на 49 миллиардов параметров, которая оптимизирована для работы на GPU и предназначена для выполнения сложных NLP задач.

Интеграция с экосистемой NVIDIA: Использует фреймворки вроде NeMo и TensorRT для ускорения вычислений на GPU.

Ключевые характеристики Flux.jl:

~ Нативная интеграция с Julia: Flux полностью написан на Julia.

~ Автоматическое дифференцирование: Использует систему Zygote.jl для автоматического дифференцирования, что позволяет эффективно вычислять градиенты для оптимизации моделей.

Исходный код: https://colab.research.google.com/drive/1VkUmOeyDlZ6TlRldlQzfiJj-L8T2PJk8

Датасет (обучающий набор данных): https://drive.google.com/file/d/1KYyrbuQ4FZd5ikHtkEOBDTtDz-EjXF0v/view

Как работают большие модели LLM. Общий процесс:

Шаг 1) Изучение больших объемов текстовых данных

LLM тренируются на огромных наборах данных (книги, веб-сайты и код), чтобы распознавать закономерности и связи между словами. Этот текст очищается и разбивается на токены — небольшие фрагменты, которые может обработать машина.

Свежее руководство по обучению с подкреплением, которое очень подробно объясняет всю теорию и детали реализации каждого алгоритма в этой области со множеством примеров и кодом.

Читать (http://naklecha.com/reinforcement-learning)

Когда я смотрел на то, что происходило с рекламными системами в 2024 году, у меня было стойкое дежавю. Где-то я уже это видел. Меня словно отбросили на десятилетие в прошлое. Опять есть Яндекс, поисковая оптимизация и ВКонтакте. Только клик стоит не 1-3 рубля, а 30-70 рублей. Ну и таргетинги проапгрейдились.

Преподаватель: Виктор Немченко

Межфакультетский курс "Нейронные сети и их применение в научных исследованиях" – проводится для студентов МГУ с целью повышения общего уровня эрудиции. Материал лекций не содержит сложных формул и терминов и будет понятен широкой аудитории.

00:00 Заставка

00:21 О проекте MSU.AI

Библиотека поддерживает модели от OpenAI и Anthropic, а также модели, доступные на платформе Hugging Face Hub.

Это минималистичная библиотека для создания умных агентов, которые выполняют свои задачи, генерируя и исполняя Python-код!

Как загрузить GPU реальными инженерными вычислениями? Давайте я расскажу, как с помощью Julia наконец смог втащить высокопроизводительные вычисления в свою немудрёную инженерную работу. Это был долгий путь, но мне кажется, что Julia стала моим лучшим другом в мире GPU/HPC.

Мой путь к GPU, к Julia и к Engee

Российский трафик YouTube после недавнего замедления снизился еще на 10%. Осталось сравнить с такой же статистикой по росту трафика у русскоязычных каналов с нероссийских айпишников.

Хотите попробовать свои силы в этичном хакерстве, научить модель машинного обучения, поиграться с веб-скрапингом или просто сделать игру? Он вам в этом поможет.

Примеры проектов:

Этичный хакинг: от создания ARP Spoofer до WiFi-сканера.

Геймдев: Flappy Bird, Tetris или даже Space Invaders — весь код уже есть.

Российские учёные создали первую полностью открытую среду для быстрого дообучения ИИ. Она доступна исследователям контекстного обучения с подкреплением по всему миру. 

Hugging Face запустили бесплатный открытый курс по файнтюнингу моделей. В курсе рассматриваются теория и практические аспекты работы с такими методами, как LoRA, супервайзед-файнтюнинг, DPO, ORPO и другие техники для настройки моделей под конкретные задачи.

OpenCoder - это открытое и воспроизводимое семейство LLM для программирования, включающее 1,5B и 8B базовые и instruct версии, поддерживающее английский и китайский языки.

Это экспериментальная библиотека Python, которая позволяет моделировать людей с определенными личностями, интересами и целями".

Эти агенты могут слушать, отвечать на запросы и жить своей жизнью в симулированной среде TinyWorld.

Sims на на базе LLM?