Большие данные (big data)

Привет!

Большая часть разговоров про аналитику крутится вокруг двух крайностей. Это или разговоры про дашборды и красивую визуализацию, или рассказы об искусственном интеллекте и машинном обучении. В результате основное внимание уделяется совсем не тому, что приносит максимальную пользу или на что тратится больше всего сил.

Введение в SQL.

Часть 1.

В видео-курсе:

— как установить среду разработки и подготовить компьютер к работе;

— основные функции и параметры;

— простые команды в SQL;

— команды и операторы: select, null, is, in;

— операторы and, or, where, asc.

В настоящее время Сбер реализует множество цифровых проектов SberAI, суть которых заключается в обучении искусственного интеллекта распознаванию речи и изображений.

На хакатоне в СЗФО мы провели несколько офлайн мастер-классов и теперь готовы поделиться их записями

Александр Мамаев (VK) и Даниил Астафуров (Альфа-Банк) рассказали про:

решение задач градиентным бустингом и нейросетями

модели векторизации языковых знаков и последовательностей

Я – Евгений Ненахов из центра Big Data МТС Digital. Это вторая часть статьи о том, как мы создали универсальный инструмент потоковой обработки данных и построили с его помощью мощную систему стриминга. Если вам интересна обработка данных – вам будет интересен и этот текст.

К сожалению, анализ данных не устроен как стройная теория - это лоскутное одеяло методов, которые опираются на определенные идеи, беря, иногда, для решения одной задачи, половину курса теории оптимизации.

Лектор: Ирматов Павел Валижанович. Data scientist, разработчик.

Курс Переподготовки от Саратовского ГАУ "Системы искусственного интеллекта и программирование".

Блок "Инструменты для работы с нейронными сетями".

Программа реализуется в рамках проекта "Цифровые кафедры".

Торговая стратегия от PlanB, популярного в криптосфере аналитика, автора той самой модели Stock-to-Flow.

Где мудрость, которую, мы потеряли в знанье?
Где знанье, которое мы потеряли в сведеньях?

— Т. С. Элиот. Камень (Песнопения)

1. Введение

Как оптимально разделить набор данных на обучающую, валидационную и тестовую выборки?

У каждого подмножества данных есть цель, от создания модели до обеспечения её производительности:

Обучающий набор: это подмножество данных, которые я буду использовать для обучения модели.

Сегодня существует огромное количество инструментов для работы с данными, например, Dask, Vaex, cuDF и, конечно, всеми любимый Pandas. Давайте немного расширим этот арсенал таким инструментом, как Terality.

1. Основы МАТАНА для Data Science за 15 МИНУТ

2. Основы СТАТИСТИКИ для Data Science за 30 МИНУТ

3. Основы ЛИНАЛА для Data Science за 15 МИНУТ // Векторы, матрицы, базис

4. Разбор МАТАНА и ЛИНАЛА в Python для Data Scienc

5. Разбор СТАТИСТИКИ в Python для Data Science

Рассказывает Уилл Кёрсен, data scientist в Cortex Intel

Любое количество алкоголя у людей до 40 лет в разы повышает риски серьезных заболеваний.

Сейчас исследователи данных в основном работают в браузере с помощью Jupyter Notebook или другого подобного браузерного блокнота. Некоторые задачи можно выполнять вне браузера, но затем дата-сайентист опять возвращается в браузерный блокнот.

«Движущим началом современной науки о данных (Data Science) является доступность непрерывных потоков данных с датчиков (как с физических, так и цифровых систем — стоимость таких датчиков стремится к 0), а также возросшая на порядки вычислительная мощность и практически неограниченная емкость устройств хранения и скорость передачи.

00 - О курсе

01 - Введение в Data Science

02 - Алгоритмы машинного обучения

03 - Аналитическое мышление

04 - Основы визуализации данных

05 - Знакомство с Linux. Основы работы с Linux Bash и Git

06 - Основы языка. Python

Дэйв Сноуден

Осмысление и управление рисками

Всем привет! В этой статье я хочу познакомить вас, на мой взгляд, с одним из самых значительных нововведений в Java со времен ее появления — это Java Stream API.

Что такое Java Stream API? Зачем? И какие дает преимущества?

Data Science без знания математики – это как вождение машины без знаний ПДД

Почему так? Отщепенцы в дата-сайенс юзают только чужие модели. Профи же создают свои модели и улучшают существующие — поэтому высоко ценятся!

Сервис «Умный кадастр» УМКА Росреестра стал победителем ежегодной общероссийской кросс-отраслевой премии в области больших данных Data Fusion Awards в номинации «Data Fusion в госсекторе. В масштабах страны» ?

От лица команды #БольшойРосреестр награду получила заместитель руководителя ведомства Елена Мартынова.

В этот теплый весенний вечер Physics.Math.Code подготовил немного годноты для своих любимых подписчиков. Решили структурировать всю информацию и книги в одном посте.

Читать гайд и полный план изучения: https://t.me/physics_lib/9835

1. Вводное занятие

2. Установка Anaconda

3. Запуск jupyter notebook. Jupyter notebook не отрывает браузер

4. Режимы работы и типы ячеек в Jupyter Notebook

5. Объект Series в Pandas. Создаем Series

6. Создаем первый блокнот в Jupyter Notebook. Анализ данных в Python

Данное сообщение (материал) создано и (или) распространено иностранным средством массовой информации, выполняющим функции иностранного агента, и (или) российским юридическим лицом, выполняющим функции иностранного агента.

Что такое признаки (features) и для чего они нужны?

Признак, он же «фича» (от англ feature) – это переменная (столбец в таблице), которая описывает отдельную характеристику объекта. Признаки являются краеугольным камнем задач машинного обучения в целом: именно на их основании мы строим предсказания в моделях.