Большие данные (big data), методы анализа, алгоритмы 2018

Введение

SQL (язык структурированных запросов) - язык программирования, используемый для запроса и управления данными в реляционных базах данных. Реляционные базы данных состоят из наборов двумерных таблиц. Каждая из этих таблиц содержит фиксированное количество столбцов и строк.

Наследили

Привет! В этом видео я постараюсь максимально простым языком познакомить вас с такой областью информатики, как Data Science - наука о данных. В первую очередь будет интересно тем, кто ничего не знает об этом и хочет познакомиться с это темой поближе.

В сегодняшнем выпуске у меня в гостях Data Scientist компании Banuba - Вячеслав Архипов.

Подробно рассказываем об инструментах семейства Jupyter – эффективных средствах разработки для задач Data Science и смежных областей.

Настройка Google Cloud

Лекция 1. Нейронные сети. Теоретические основания (Анализ данных на Python в примерах и задачах. Ч2)

Лекция 2. Нейронные сети в регрессионных задачах (Анализ данных на Python в примерах и задачах. Ч2)

Лекция 3. Примеры решения задач Machine Learning с помощью нейронных сетей. Часть 1

Искусственный интеллект становится неотъемлемой частью медицины. Научный сотрудник лаборатории Philips Research Lab Rus Федор Мушенок рассказал о роли ИИ в патоморфологии.

— Что такое патоморфология и в каких сферах медицины она применяется?

Реляционная модель потеряла свою исключительность

Требования функциональности и структурированности баз данных (БД), наиболее полно реализованные в реляционных системах, сейчас находятся под давлением новых требований.

Каких-то 15 лет назад роли «бизнес-аналитик» на IT-проектах не было. Требования составляли и согласовывали или разработчики, или проектные менеджеры, а то и сам заказчик. Со временем проектов стало больше, а сложность их так увеличилась, что стало ясно: бизнес-анализ – большой, отдельный пласт работы.

Работа с данными — работа с алгоритмами обработки данных.

И мне приходилось работать с самыми разнообразными на ежедневной основе, так что я решил составить список наиболее востребованных в серии публикаций.

Эта статья посвящена наиболее распространённым способам сэмплинга при работе с данными.

По стопам моей первой подборки датасетов для машинного обучения сделаю ещё одну — подборку относительно свежих датасетов с рабочими примерами по обработке данных.

Пики прироста ожидаемой продолжительности жизни в России приходятся на годы перед президентскими выборами — так было и в 2011-м, и в 2017-м. Росстат объяснил, что эти факторы никак не связаны — сказываются волны холода и зноя

Фото: Роман Пименов / Интерпресс / ТАСС

Рост перед выборами

Конспект материала сайта для предпринимателей, маркетологов, программистов и аналитиков Coriers.

Книги об анализе и обработке данных

Data Science за 3 месяца? В своем ли мы уме? Вполне. Расскажем, как стать аналитиком данных за 12 недель по курсам Microsoft и др.

SPSS — программа, которая используется для статистического анализа и обработки данных. Хотя многие считают R и Python более эффективными для анализа данных, SPSS все еще остается очень востребованной. Собрали полезные материалы, которые помогут вам освоить SPSS и статистические методы для проведения исследований

Математический анализ

Как начать изучение Data Science? Что и где читать? Какие есть подводные камни, советы и уловки? Статья в помощь для Junior Data Scientist.

Область Data Science очень обширна, ее довольно сложно изучить всю сразу. Нужно определиться с направлением, выбрать его и «штудировать».

Автор: Лекс Кравецкий

Если вы где-то читаете фразу вида «оказалось, что у данных событий корреляция вот такая вот», то примерно в 99,99% случаев, если прямо не оговорено иного, речь идёт о коэффициенте корреляции Пирсона. «Дефолт-корреляция» — это он.

Подборка примечательных файлов формата Jupyter Notebook по Machine Learning, Data Science и другим сферам, связанным с анализом данных.

1. На первом уроке курса "Инструментарий" мы поговорим об интерпретаторах Python и IPython, тетрадках IPython как средства воспроизводимых исследований, среде разработки PyCharm, системе контроля версий Git и сборке библиотек Anaconda.

1. Описательные статистики. Квантили, квартили. Гистограммы. Ядерные оценки плотности.

2. Описательные статистики. Ящики с усами. Выбросы. Медиана и среднее арифметическое как типичные наблюдения.

3. Иерархический кластерный анализ. Кластер, расстояния между объектами, расстояния между кластерами.

1. Введение

2. Основы Pandas

3. Ввод/вывод с помощью Pandas

4. Заполнение базы данных

5. Объединение и добавление данных

6. Joining и Merging

7. Pickling

8. Первые манипуляции с данными

Полный курс в альбоме:

Peng Zhou et al., / CVPR 2018