Большие данные (big data)

Пробуем разворачивать наш Data Science проект при помощи Docker. Обсудим, что это за инструмент, для чего он нужен, а также почему недостаточно просто использовать Jupyter Notebook?

Курс по Python для начинающих, промокод на 30% первым 5ти студентам MIRACL6

https://pymagic-courses.ru/

Ссылка на код

Автор: Ида Сим, MD, PhD

Год издания: 2016

Ссылка на оригинал: https://pubmed.ncbi.nlm.nih.gov/26809201/

1. Кейс-интервью в Data Science: BCG GAMMA | #Нанято S1E04RU

2. Собеседование Data Science: Артур Кузин/Sber Devices vs Сергей Колесников/Tinkoff | #Нанято S1E02RU

3. Собеседование на Middle Data Scientist | #Нанято S1E01RU

В этом уроке мы продолжим проводить разведочный анализ данных на популярном датасете Титаник и на этот раз мы займемся категориальными признаками.

Мы узнаем что это блин такое, как с ними работать, как их бинаризировать, отображать на графике.

Студенческие проекты 1 уровня программы «Количественная аналитика»

Проекты были выполнены с 4 сентября по 16 октября 2021 года. Одновременно студенты программы «Количественная аналитика» выполняли 4 проекта (по одному в каждом блоке)

Методы обнаружения выбросов

Ссылка на ноутбук: https://github.com/pileyan/Isolation_...

В 2019 году России был создан альянс по развитию искусственного интеллекта, поэтому эксперты прогнозируют повышение спроса на профессионалов Data Scientist.

1. Вводное занятие

2. Установка Anaconda

3. Запуск jupyter notebook. Jupyter notebook не отрывает браузер

4. Режимы работы и типы ячеек в Jupyter Notebook

5. Объект Series в Pandas. Создаем Series

6. Создаем первый блокнот в Jupyter Notebook. Анализ данных в Python

D3, сокращенно от Data-Driven Documents, — это библиотека JavaScript, которая позволяет отображать данные самыми разными способами и содействует проверке и управлению элементами DOM.

Аналитический труд всегда читается больше одного раза. Поговорим о том, как добиться удобного и надежного обмена проектами в области Data Science с повторным применением коллективных наработок спустя годы.

В автоматизации отчетности очень часто используют открытую Java-библиотеку JasperReports, например статья Опенсорс-решение для автоматизации отчетности рассказывает об ее использовании для получения PDF форматов отчетности между делом упомянув о возможности экспорта в другие форматы.

При работе в Excel часто бывает нужно быстро проанализировать данные в таблицах. Например, найти события, произошедшие после указанной даты или текстовые повторения в диапазоне ячеек. Или более «сложный случай»: быстро проанализировать таблицу однородных данных.

Устанавливаем Anaconda для Data Science

Устанавливаем Jupyter Notebook

NumPy массивы

Одномерные массивы. Indexing & Slicing

Двумерные массивы Indexing & Slicing

Операции с массивами

1. Jupyter Notebook

Краткий обзор

На сайте Forbes вышла статья от именитого автора Бернарда Марра, в которой он поведал нам своё мнение о развитии Data Science в 2022 году. Давайте же вместе посмотрим какие же тренды DS мы, по мнению Марра, увидим уже в следующем году:

Small Data и TinyML

Компании Nvidia и Microsoft анонсировали разработанную ими совместно крупнейшую на сегодняшний день языковую модель на архитектуре трансформер, получившую название Megatron-Turing Natural Language Generation (MT-NLG).

Рано или поздно перед человеком, работающим с данными, будь то дата-журналист, дата-сайентист дата-инженер или аналитик, встаёт проблема разнородности названий и адресов географических единиц.

Что такое признаки (features) и для чего они нужны?

Признак, он же «фича» (от англ feature) – это переменная (столбец в таблице), которая описывает отдельную характеристику объекта. Признаки являются краеугольным камнем задач машинного обучения в целом: именно на их основании мы строим предсказания в моделях.

В инфополе муссируется перемога одного из вялых членов проебалтийского троевымирата гребешковых тигров, в частности - первое место Эстонии по всему миру по темпам заболеваемости коронавирусом.

Это правда, второй картинкой мы прикладываем подтверждение.

SQL правят в стране Корпоративных Данных. До развития NoSQL это был основной язык запросов для извлечения данных из реляционных БД.

Предсказывать будущее на основе данных, создавать математические модели и обучать нейросети. Всё это умеют дата-саентисты. Смотрите специальную серию «10 глупых вопросов специалистам Сбербанка» в рамках спецпроекта Сбербанка и канала «Жиза» и узнайте, чем дата-саентист заниматеся в банке.

Продолжаем делиться рекомендациями must read книг по Data Science от наших консультантов из команды McKinsey Advanced Analytics. Если вы хотите изучить общие принципы углублённой аналитики и освоить темы, связанные с искусственным интеллектом, нейронными сетями и deep learning, обратите внимание:

Три лекции Константина Воронцова про data science?

Константин Воронцов — доктор физ.-мат. наук, профессор РАН и базовой кафедры Яндекса на ФКН. Студентам Школы анализа данных, Вышки и других институтов Константин много лет преподаёт основы машинного обучения — в ШАДе его курс проходят большинство студентов.

Ни одна модель машинного обучения не выдаст осмысленных результатов, если вы предоставите ей сырые данные. После формирования выборки данных их необходимо очистить.

1. Дж. Грас – Data Science. Наука о данных с нуля