Большие данные (big data), методы анализа, алгоритмы 2018

Математический анализ

Отвечаем на вопросы в прямом эфире. Как устроена область работы с данными и почему она так востребована, с чего начать, если решили погрузиться в изучение Data Science — расскажет Елена Герасимова, разработчик и руководитель программ по аналитике и Data Science в Нетологии.

На днях мы решили пообщаться c Дмитрием Бугайченко (dmitrybugaychenko), одним из наших преподавателей программы "Анализ данных на Scala", и обсудить с ним актуальные вопросы использования Scala в задачах Data Science и Data Engineering. Дмитрий является инженером-аналитиком в "Одноклассниках".

Автоматическая обработка естественного языка (англ. Natural Language Processing, NLP) в медицине используется в трех типах задач:

Административная поддержка

Анализ данных: наука о предсказаниях. Анализ данных. Искусственные нейросети. Как функционирует ИИ

Блогер Джереми Эрдман в своей колонке на Medium рассуждает о недостатках больших данных. Он считает, что необходимо остановить этот растущий тренд, пока не поздно.

Типология Майерс-Бриггс. Пять вопросов на определение личности. Тест «Какой у вас патронус».

Разработчики Google представили функцию TensorFlow Datasets для преобразования любых общедоступных наборов данных в формат tf.data. Открытые наборы данных для обучения моделей распространяются и хранятся в разных форматах. Написание скриптов для загрузки и обработки каждого набора данных требует времени.

Иллюстрация: Право.ru/Петр Козлов

Рассказывает Александр Сергиенко, исполнительный директор компании «Иннодата», специально для Tproger

Мысль о том, чтобы изучать Data Science, не даёт вам покоя? Возможно, не зря. В этой статье мы ответили на ряд популярных вопросов новичков.

В последнее время Data Science набирает популярность в IT-мире, и игнорировать эту технологию просто не получается. Так каково это ? изучать Data Science в 2019 году?

Редактор блога Нетологии Юлия Чернова сделала подборку книг о Data Science на английском языке, которые помогут новичкам разобраться в основах, а продвинутым — прокачать знания и навыки.

«Numsense! Data Science for the Layman», Annalyn Ng, Kenneth Soo

Мы уже немало узнали про технический анализ и разнообразные его инструменты. Самое время перейти к чему-то посложнее, а именно — к гармоничным ценовым паттернам. Они относятся к более продвинутому арсеналу и используются как в форексе, так и в бинарных опционах.

Как начать изучение Data Science? Что и где читать? Какие есть подводные камни, советы и уловки? Статья в помощь для Junior Data Scientist.

Область Data Science очень обширна, ее довольно сложно изучить всю сразу. Нужно определиться с направлением, выбрать его и «штудировать».

Рассказывает Франсуа Руа, руководитель отдела разработки ГК «Авилекс»

Контекст задачи

Когда ваш бизнес предполагает анализ статистических данных, поступающих из разных источников, вам требуется эти данные собирать, хранить, индексировать, трансформировать в другие данные, анализировать и т. д.

Программирование на Python, машинное обучение и большие данные. На IQ.HSE список литературы по data science.

В новом выпуске рубрики «Список литературы» преподаватели проекта Data Culture НИУ ВШЭ рассказывают о книгах, которые помогут разобраться в том, что такое анализ данных.

Diversity in Faces — большой и разнообразный набор данных, который содержит миллион изображений размеченных лиц людей. Открывая доступ к датасету, в IBM Research надеются повысить точность распознавания лиц людей разных рас, полов и возрастов и уменьшить предвзятость алгоритмов.

Собрали для вас самые интересные статьи по Data Science с нашего сайта https://proglib.io/

Общее

Актуальная математика: самый понятный курс по анализу данных

7 книг для начинающего специалиста по анализу данных

Автор: Лекс Кравецкий

Если вы где-то читаете фразу вида «оказалось, что у данных событий корреляция вот такая вот», то примерно в 99,99% случаев, если прямо не оговорено иного, речь идёт о коэффициенте корреляции Пирсона. «Дефолт-корреляция» — это он.

Подборка примечательных файлов формата Jupyter Notebook по Machine Learning, Data Science и другим сферам, связанным с анализом данных.

1. На первом уроке курса "Инструментарий" мы поговорим об интерпретаторах Python и IPython, тетрадках IPython как средства воспроизводимых исследований, среде разработки PyCharm, системе контроля версий Git и сборке библиотек Anaconda.

1. Описательные статистики. Квантили, квартили. Гистограммы. Ядерные оценки плотности.

2. Описательные статистики. Ящики с усами. Выбросы. Медиана и среднее арифметическое как типичные наблюдения.

3. Иерархический кластерный анализ. Кластер, расстояния между объектами, расстояния между кластерами.

Лекции по анализу данных от Технострим

1 - Анализ данных. Введение в python

2 - Анализ данных. Advanced Python

3 - Анализ данных. Библиотеки Python

4 - Анализ данных. Визуализация, анализ датасета EDA

5 - Анализ данных. R и библиотеки

6 - Анализ данных. Введение в статистику

1. Введение

2. Основы Pandas

3. Ввод/вывод с помощью Pandas

4. Заполнение базы данных

5. Объединение и добавление данных

6. Joining и Merging

7. Pickling

8. Первые манипуляции с данными

Полный курс в альбоме:

Peng Zhou et al., / CVPR 2018

Математика больших данных: тензоры, нейросети, байесовский вывод