Большие данные (big data), методы анализа, алгоритмы 2018

Data Science за 3 месяца? В своем ли мы уме? Вполне. Расскажем, как стать аналитиком данных за 12 недель по курсам Microsoft и др.

Анализ больших массивов данных - основа развития банков, различного бизнеса.

dr-watson.wix.com – программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Результат работы – отчет об исследуемом объекте.

Завещание Катаручии Савонарио более шести с половиной веков хранилось нераспечатанным в Государственном архиве Венеции. Пока за него не взялась Фауция Альбертин, физик Института Энрико Ферми в Италии, занимающаяся применением рентгеновской компьютерной томографией в культурных исследованиях.

1. Вспомни математику и статистику.

SPSS — программа, которая используется для статистического анализа и обработки данных. Хотя многие считают R и Python более эффективными для анализа данных, SPSS все еще остается очень востребованной. Собрали полезные материалы, которые помогут вам освоить SPSS и статистические методы для проведения исследований

Statistica — универсальная система анализа данных и дейта сайнс, содержащая как классические, так и современные методы анализа данных, доступные пользователям в удобном диалоговом режиме.

Устроиться на работу, связанную с анализом данных, – просто. Лучшие советы, которые спасут начинающего специалиста Data Science.

Из-за того, что запретный плод сладок, постоянно хочется узнать чужой пароль, стянуть логи с хостинга или воспользоваться чужим Wi-Fi.

Начнем с инструментов по сбору данных для хакера.

Инструменты и сервисы

Омниканальность, автоматизация, сегментация, персонализация — всё это напрямую зависит от данных, которыми вы обладаете, и того, что вы с ними способны сделать. Что интересного происходило в этих областях интернет-маркетинга в 2018-м?

Омниканальный маркетинг

Математический анализ

Отвечаем на вопросы в прямом эфире. Как устроена область работы с данными и почему она так востребована, с чего начать, если решили погрузиться в изучение Data Science — расскажет Елена Герасимова, разработчик и руководитель программ по аналитике и Data Science в Нетологии.

На днях мы решили пообщаться c Дмитрием Бугайченко (dmitrybugaychenko), одним из наших преподавателей программы "Анализ данных на Scala", и обсудить с ним актуальные вопросы использования Scala в задачах Data Science и Data Engineering. Дмитрий является инженером-аналитиком в "Одноклассниках".

Автоматическая обработка естественного языка (англ. Natural Language Processing, NLP) в медицине используется в трех типах задач:

Административная поддержка

Анализ данных: наука о предсказаниях. Анализ данных. Искусственные нейросети. Как функционирует ИИ

Блогер Джереми Эрдман в своей колонке на Medium рассуждает о недостатках больших данных. Он считает, что необходимо остановить этот растущий тренд, пока не поздно.

Типология Майерс-Бриггс. Пять вопросов на определение личности. Тест «Какой у вас патронус».

Разработчики Google представили функцию TensorFlow Datasets для преобразования любых общедоступных наборов данных в формат tf.data. Открытые наборы данных для обучения моделей распространяются и хранятся в разных форматах. Написание скриптов для загрузки и обработки каждого набора данных требует времени.

Иллюстрация: Право.ru/Петр Козлов

Рассказывает Александр Сергиенко, исполнительный директор компании «Иннодата», специально для Tproger

Мысль о том, чтобы изучать Data Science, не даёт вам покоя? Возможно, не зря. В этой статье мы ответили на ряд популярных вопросов новичков.

В последнее время Data Science набирает популярность в IT-мире, и игнорировать эту технологию просто не получается. Так каково это ? изучать Data Science в 2019 году?

Как начать изучение Data Science? Что и где читать? Какие есть подводные камни, советы и уловки? Статья в помощь для Junior Data Scientist.

Область Data Science очень обширна, ее довольно сложно изучить всю сразу. Нужно определиться с направлением, выбрать его и «штудировать».

Автор: Лекс Кравецкий

Если вы где-то читаете фразу вида «оказалось, что у данных событий корреляция вот такая вот», то примерно в 99,99% случаев, если прямо не оговорено иного, речь идёт о коэффициенте корреляции Пирсона. «Дефолт-корреляция» — это он.

Подборка примечательных файлов формата Jupyter Notebook по Machine Learning, Data Science и другим сферам, связанным с анализом данных.

1. На первом уроке курса "Инструментарий" мы поговорим об интерпретаторах Python и IPython, тетрадках IPython как средства воспроизводимых исследований, среде разработки PyCharm, системе контроля версий Git и сборке библиотек Anaconda.

1. Описательные статистики. Квантили, квартили. Гистограммы. Ядерные оценки плотности.

2. Описательные статистики. Ящики с усами. Выбросы. Медиана и среднее арифметическое как типичные наблюдения.

3. Иерархический кластерный анализ. Кластер, расстояния между объектами, расстояния между кластерами.

1. Введение

2. Основы Pandas

3. Ввод/вывод с помощью Pandas

4. Заполнение базы данных

5. Объединение и добавление данных

6. Joining и Merging

7. Pickling

8. Первые манипуляции с данными

Полный курс в альбоме:

Peng Zhou et al., / CVPR 2018

Видеоуроки по BIG DATA. Основы работы с массивами больших данных.

Презентации: yadi.sk/d/NRCupnST3LNR5d

Дополнительные материалы и книги: yadi.sk/d/F2xBwxce3LNR5b