Большие данные (big data), методы анализа, алгоритмы 2018

Краткое изложение

Компания Google запустила бета-версию Dataset Search — поискового сервиса, который позволяет находить наборы данных — датасеты — по всей сети. Сервис, во многом напоминающий Google Scholar, также предоставляет полное описание баз данных и сильно облегчает процесс их использования.

В продолжение предыдущей статьи «Статистика для анализа данных».

В этом руководстве мы покажет вам как изучать математику для анализа данных и машинного обучения без долгих и дорогих курсов.

Первая часть курса «Анализ данных на Python в примерах и задачах» от Вадима Леонардовича Аббакумова покрывает такие темы:

- описательные статистики и визуализация данных,

- кластерный анализ,

- линейный регрессионный анализ,

- обобщения линейной регрессии,

Лекция 7. A/B тестирование. Тест для пропорций.

Лекция 8. Линейный регрессионный анализ.

Лекция 9. Прогнозирование на основе регрессионной модели с сезонными индикаторными (фиктивными, структурными) переменными.

Лекция 10. Распознавание образов/классификация.

Лекция 11. Случайные леса. Bagging.

Лекции по анализу данных от Технострим

1 - Анализ данных. Введение в python

2 - Анализ данных. Advanced Python

3 - Анализ данных. Библиотеки Python

4 - Анализ данных. Визуализация, анализ датасета EDA

5 - Анализ данных. R и библиотеки

6 - Анализ данных. Введение в статистику

Jialong Zhang et al. / ASIACCS 2018

1. Введение

2. Основы Pandas

3. Ввод/вывод с помощью Pandas

4. Заполнение базы данных

5. Объединение и добавление данных

6. Joining и Merging

7. Pickling

8. Первые манипуляции с данными

Полный курс в альбоме:

Код к этой статье можно скачать здесь.

Peng Zhou et al., / CVPR 2018

Как мы говорили ранее, сотрудник CVisionLab отправился в Солт-Лейк-Сити на международную конференцию CVPR. Одной из самых интересных работ стала презентация команды из университета Торонто. Она представила рекуррентную сеть PolygonRNN++, предсказывающую точки полигона.

Darrell et al. / arXiv 2018

Как сегментировать 150 млн человек

Часть 2: Решение

Классификация больших объемов данных на Apache Spark с использованием произвольных моделей машинного обучения

Часть 1: Постановка задачи

Если менеджеру попытаться разобраться в этой области и получить конкретные бизнес-ответы, то, скорее всего, страшно заболит голова и екнет сердце от ощущения ежеминутно упускаемой выгоды.

Видеоуроки по BIG DATA. Основы работы с массивами больших данных.

Презентации: yadi.sk/d/NRCupnST3LNR5d

Дополнительные материалы и книги: yadi.sk/d/F2xBwxce3LNR5b

Видели ли вы "особенную Ласточку" на МЦК с синей подсветкой ходовой части одного из вагонов? Если да, то наверняка было интересно узнать, что же это такое? Ну а если нет, то мы так и так вам расскажем. Информационно-измерительная система «ИНФОТРАНС-Ласточка» - наша сегодняшняя тема.

Подборка русскоязычных выступлений с конференции «Data Ёлка 2017», объединяющей специалистов в области Data Science для подведения итогов года:

1. ML в киберспорте.

2. Алиса: что внутри?

3. Соревнования по анализу данных.

4. Технологии беспилотных автомобилей.

5. NIPS, будущее и хайп.

1. Рекуррентные нейронные сети (RNN) и длинная краткосрочная память (LSTM)

2. Как работают нейронные сети

3. Как работают сверточные нейронные сети

4. Что такое Data Science

5. Что такое Deep Learning

6. Becca 7 и обучение с подкреплением

7. Роботы, умные дома и IoT

Математика больших данных.

Что такое Big Data и как это на самом деле влияет на мир вокруг нас?

Прямо сейчас в прямом эфире Екатерина Линкевич – директор по аналитике больших данных большой компании МегаФон.

Артистичный автор рассказывает о разных аспектах анализа данных: анализ текста, изображений, написание чатботов, предсказание цен акций.

1. Пишем нейросеть за 4 минуты

2. Tensorflow за 5 минут

3. Предсказываем цены на акции

4. Пишем классификатор изображений на Tensorflow за 5 минут

Подборка материалов для тех, кто уже познакомился с Python и хочет двигаться в сторону машинного обучения:

Машинное обучение и анализ данных:

— Постоянно обновляющаяся подборка по глубинному обучению, Big Data, Scikit-learn, Kaggle и другим связанным вещам: https://vk.cc/4CaTnD

Ключевое отличие нашей подачи материала от аналогичного в курсах эконометрики и статистики – это акцент на практическом применении линейных моделей в реальных задачах (хотя и математики тоже будет немало).

Алгоритмы интеллектуальной обработки больших объемов данных

1. Задачи Data Mining

2. Задача кластеризации и ЕМ-алгоритм

3. Различные алгоритмы кластеризации

4. Задача классификации

5. Обработка текстов, Naive Bayes

6. Линейные модели для классификации и регрессии