Большие данные (big data), методы анализа, алгоритмы 2018

Семантическая разметка, большие данные и логарифмы: видеолекции о лингвистике с сайта проекта ПостНаука

Лингвист Анастасия Бонч-Осмоловская о корпусной лингвистике, поиске изменений в языке и проблемах оцифрованных данных. https://youtu.be/SzVxoQJFNSg

Вместе с факультетом Data Science GeekUniversity собрали для вас задачи для практики по самым популярным Python-библиотекам в Data Science: pandas, NumPy и DataTable. Решать задачи можно в любом порядке.

Сегодня поговорим о Data mining (“добыча данных”, “интеллектуальный анализ данных”, “глубинный анализ данных” или просто “майнинг данных” в русскоязычной интерпретации).

“Мы верим в Бога. Чтобы поверить во все остальное, нужны данные.”

Большая часть курсов и учебников по Data Science описывает базовые алгоритмы и навыки, которые нужны для успешного выполнения различных задач. Но когда дело доходит до настоящих проектов, оказывается, что эти знания далеки от рабочих реалий.

Семинар по соревновательному машинному обучению

Преподаватель — Евгений Ковалев

Майнор «Интеллектуальный анализ данных», НИУ ВШЭ

Проекты по визуализации

Возможно, самые короткие по срокам проекты визуализации данных! Ниже приведены три интересных набора данных, с помощью которых вы сможете пополнить свои портфолио, создав несколько интересных визуализаций.

Визуализируем коронавирус

Спикеры: Димитрий Муштаков и Лев Абрамов, "Северсталь"

Темы вебинара:

- Как Data Science появился в "Северстали", и какие цели стояли в начале

- Кейсы применения DS в "Северстали" и экономический эффект от них

- Какие KPI у дата сайнтистов сейчас и как они взаимодействуют с другими отделами

1. Машинное обучение и финансы

Machine Learning - подмножество науки о данных (Data Science) и более глобальной области – Artificial Intelligence.

Stepik 1.4. Pandas, Dataframes

Алексей Тихонов

Описание задачи

Чем отличается работа специалиста по Data Science в McKinsey от работы классического консультанта? Отвечает наша команда Advanced Analytics.

Перевод статьи «What You’ll Learn in 1 Year as a Data Scientist»

Автор перевода Мария Багулина

Рассказывает Kaan Aytekin

Курс состоит из 4 глав. Каждая глава в своем составе имеет видео-лекции, интересные вопросы и задания, а также видео-интервью с секретным гостем, который работает в сфере Data Science.

1 глава - Введение

О чём этот курс?

Разработчики из Deepomatic добавили в свою платформу инструмент для поиска ошибок разметки в данных. В популярных датасетах с изображениями VOC и COCO процент неточно размеченных данных превысил 20%. Исправление ошибок вручную привело к увеличению качества модели на 5% для state-of-the-art архитектур.

Шаг #2: построение портфолио Data Science

Построение портфолио Data Science важно по двум основным причинам:

Анализ данных и машинное обучение

01. Анализ данных. Знакомство с данными и подготовка их к последующему анализу

02. Анализ данных. Построение модели классификации на основе "общих представлений"

03. Анализ данных. Привлечение алгоритмов линейной и полиномиальной регрессии и нейросети

Это полная карта с онлайн-ресурсами о Data Science

AI Community в рамках проекта AI Heroes регулярно проводит вебинары с ведущими экспертами в области Data Science. 27 февраля прошел вебинар с сооснователем и Chief Data Scientist компании Rubbles Александром Фонаревым на тему предсказания спроса.

Python. Решил составить список библиотек, которые используются в data science, если мы применяем язык Python. Cписок будут открытым и выражает сугубо личное мнение. Энциклопедического описания библиотек я решил не приводить, а просто и кратко объяснить их основное назначение для всех непосвященных.

Ни одна модель машинного обучения не выдаст осмысленных результатов, если вы предоставите ей сырые данные. После формирования выборки данных их необходимо очистить.

1. Дж. Грас – Data Science. Наука о данных с нуля

Шпаргалка по DataFrame — ключевой структуре данных Python-библиотеки pandas.

Анализ данных в MATLAB

01. Введение

02. Для начинающих

03. Импорт данных

04. Работа с WEB и соцсетями

05. Статистика

06. Инженерные данные

07. Визуализация

Лекция №1 "Задачи Data Mining"

Курс "Алгоритмы интеллектуальной обработки больших объемов данных" или "Data Mining"

Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова

BigData Лекция №1 "Введение в машинное обучение"

BigData Лекция №2 "Python"

BigData Лекция №3 "Что такое BigData?"

BigData Лекция №4 "OLAP: What and why?"

BigData Лекция №5 "IoT and BigData"

BigData Лекция №6 "Сhallenges of classification"

Подробно рассказываем об инструментах семейства Jupyter – эффективных средствах разработки для задач Data Science и смежных областей.

Лекция 1. Нейронные сети. Теоретические основания (Анализ данных на Python в примерах и задачах. Ч2)

Лекция 2. Нейронные сети в регрессионных задачах (Анализ данных на Python в примерах и задачах. Ч2)

Лекция 3. Примеры решения задач Machine Learning с помощью нейронных сетей. Часть 1

Пики прироста ожидаемой продолжительности жизни в России приходятся на годы перед президентскими выборами — так было и в 2011-м, и в 2017-м. Росстат объяснил, что эти факторы никак не связаны — сказываются волны холода и зноя

Фото: Роман Пименов / Интерпресс / ТАСС

Рост перед выборами

Сделать анализ данных Python быстрее и лучше – мечта каждого разработчика. Вот наглядные примеры: узнайте, как добавить чуточку магии в код.

В этой статье собраны лучшие советы и приёмы. Некоторые из них распространённые, а некоторые новые, но обязательно пригодятся в будущем.

1. Профилирование pandas DataFrame