Большие данные (big data), методы анализа, алгоритмы 2018

Компания Tecent выложила в открытый доступ датасет Tencent ML-Images с 11 тысячами классов и 18 миллионами изображений, каждое из которых содержит в среднем 8 меток. На GitHub доступна предобученная модель распознавания изображений ResNet-101, которая достигла впечатляющей точности — 80.73% на тестовом датасете ImageNet.

Индикаторный анализ – неотъемлемая часть технического анализа и современного трейдинга.

Автор: Лекс Кравецкий

Если вы где-то читаете фразу вида «оказалось, что у данных событий корреляция вот такая вот», то примерно в 99,99% случаев, если прямо не оговорено иного, речь идёт о коэффициенте корреляции Пирсона. «Дефолт-корреляция» — это он.

Введение

Математика является фундаментом для любой современной научной дисциплины. И ни для кого не секрет, что почти все методы современной науки о данных (включая машинное обучение) строятся на тех или иных математических вычислениях.

Как обеспечить рост повторных покупок и снизить стоимость удержания постоянных клиентов? На этот вопрос в авторской колонке отвечает Алексей Шиховец, эксперт курса Нетологии «Big Data: основы работы с большими массивами данных» и руководитель отдела маркетинга CleverDATA. Источник материала — Rusbase.

Рассказывает Уильям Коерсен, эксперт по аналитическим данным

Как Ozon использует машинное обучение для управления закупками.

В интернет-магазине Ozon есть почти всё: колготки, детское питание, ноутбуки за 100 тысяч рублей и та штука для заварки чая, название которой никто не помнит. Это хранится, сортируется и формируется в заказы на fulfillment-фабриках компании.

Лекция № 12 в курсе "Анализ данных на Python в примерах и задачах. Часть 2" (осень 2018).
Преподаватель курса: Вадим Леонардович Аббакумов

Петр О. Федичев 1,2 *

Стратегия использования больших данных из медицинских исследований для продления человеческой жизни

Подборка примечательных файлов формата Jupyter Notebook по Machine Learning, Data Science и другим сферам, связанным с анализом данных.

1. На первом уроке курса "Инструментарий" мы поговорим об интерпретаторах Python и IPython, тетрадках IPython как средства воспроизводимых исследований, среде разработки PyCharm, системе контроля версий Git и сборке библиотек Anaconda.

В данной статье мы подробно разберем то, как распознавать четыре разных типа гэпов и связанные с ними настроения, а также то, как использовать эту информацию для получения прибыли.

Мы уже неплохо разобрались с основными инструментами трейдера и теперь подходим к очередной теме, такой как фигуры технического анализа.

Перевод статьи Клеофаса Мулонго «Difference Between Data Science, Analytics And Machine Learning».

Глубокое обучение лежит в основе работы современных трекеров объектов в видеопотоке. Однако до сих пор существует недостаток больших датасетов для обучения алгоритмов отслеживания. Известные наборы данных (например, VOT и OTB) относительно малы и не в полной мере отражают проблемы реальных задач трекинга.

Гэп (gap (англ.) разрыв)- это рыночная ситуация, при которой цена открытия нового дня находится ВНЕ торгового диапазона предыдущего дня.

Робототехника, дополненная реальность, беспилотное вождение — все эти области основаны на распознавании 3D-свойств объектов по 2D-изображениям. Как следствие, трехмерное распознавание объектов стало одной из центральных задач компьютерного зрения.

График – это наше все. Именно на нем мы наблюдаем изменение цены и делаем наши прогнозы. Новички часто пытаются работать по графикам брокеров бинарных опционов и, тем самым, допускают большую ошибку. Ибо графики у них крайне примитивные и никакого вразумительного прогноза по ним не сделать.

1. Описательные статистики. Квантили, квартили. Гистограммы. Ядерные оценки плотности.

2. Описательные статистики. Ящики с усами. Выбросы. Медиана и среднее арифметическое как типичные наблюдения.

3. Иерархический кластерный анализ. Кластер, расстояния между объектами, расстояния между кластерами.

1. Введение

2. Основы Pandas

3. Ввод/вывод с помощью Pandas

4. Заполнение базы данных

5. Объединение и добавление данных

6. Joining и Merging

7. Pickling

8. Первые манипуляции с данными

Полный курс в альбоме:

Видеоуроки по BIG DATA. Основы работы с массивами больших данных.

Презентации: yadi.sk/d/NRCupnST3LNR5d

Дополнительные материалы и книги: yadi.sk/d/F2xBwxce3LNR5b

Видели ли вы "особенную Ласточку" на МЦК с синей подсветкой ходовой части одного из вагонов? Если да, то наверняка было интересно узнать, что же это такое? Ну а если нет, то мы так и так вам расскажем. Информационно-измерительная система «ИНФОТРАНС-Ласточка» - наша сегодняшняя тема.

Облако #026. Гость — Анатолий Орлов (anatolix), руководитель лаборатории больших данных ФРИИ. 

Подборка русскоязычных выступлений с конференции «Data Ёлка 2017», объединяющей специалистов в области Data Science для подведения итогов года:

1. ML в киберспорте.

2. Алиса: что внутри?

3. Соревнования по анализу данных.

4. Технологии беспилотных автомобилей.

5. NIPS, будущее и хайп.

1. Рекуррентные нейронные сети (RNN) и длинная краткосрочная память (LSTM)

2. Как работают нейронные сети

3. Как работают сверточные нейронные сети

4. Что такое Data Science

5. Что такое Deep Learning

6. Becca 7 и обучение с подкреплением

7. Роботы, умные дома и IoT

Математика больших данных.

Подборка выступлений с Moscow Data Science Meetup — русскоязычного мероприятия для интересующихся Data Science, анализом, майнингом и визуализацией структурированных и неструктурированных данных.

Прикрепленные видео:

1. Основы нейронных сетей и Deep Learning — Алексей Озерин.

Что такое Big Data и как это на самом деле влияет на мир вокруг нас?

Прямо сейчас в прямом эфире Екатерина Линкевич – директор по аналитике больших данных большой компании МегаФон.