Большие данные (big data)

Привет, Миш, добавишь в беседу поступающих в ШАД?
- Какую беседу?

Через пару часов меня добавили в беседу.

Не могу сказать, что поступление было тщательно обдуманным и спланированным решением. Почему я всё-таки пошёл? Основных причины было три.

Если вы хотите научиться программировать на Python, то рекомендуем записаться на курс «Data Science Academy».

3 основных шага, которые необходимо выполнить, чтобы повысить эффективность экспериментов

В своем докладе Руслан рассказал всем интересующимся с чего начать в огромном новом мире науки о данных. Постарался ответить на вопрос „Что этот мир вообще из себя представляет?“. Показать, какими инструментами на Python можно воспользоваться для анализа данных, их визуализации и для машинного обучения.

В глобальной экономике все более широкое распространение получают цифровые технологии, в основе которых лежат данные. Но чтобы воспользоваться всей мощью данных, необходимо разработать алгоритмы, модели и системы, дающие возможность извлекать из данных знания и пользоваться ими.

В инфополе муссируется перемога одного из вялых членов проебалтийского троевымирата гребешковых тигров, в частности - первое место Эстонии по всему миру по темпам заболеваемости коронавирусом.

Это правда, второй картинкой мы прикладываем подтверждение.

В двух первых статьях мы рассказали о роли математического анализа и линейной алгебры в машинном обучении. Продолжая тему, поговорим о теории вероятностей и статистике в науке о данных. Более углубленно эти темы будут рассмотрены в нашем «Онлайн-курсе по математике в Data Science Pro».

30-31 марта Фонд «Сколково» и ВТБ проведут первую международную конференцию о новом подходе применения Big Data – Data Fusion. На мероприятии представители бизнеса, власти и специалисты Data Science обсудят возможности, вопросы и потенциал применения нового подхода к работе с большими данными и технологиями искусственного интеллекта.

Google Research, 2020

https://arxiv.org/abs/1911.04252

Какую задачу решают авторы?

Технический комитет по стандартизации «Искусственный интеллект» (ТК 164) на базе РВК вынес на публичное обсуждение первую редакцию стандарта «Информационные технологии. Эталонная архитектура больших данных. Часть 1: Структура и процесс применения».

Компания Pfizer не просто так внезапно отгрузила Израилю новую огромную партию вакцин. Взамен она получит не только деньги, но и информацию о привитых. Какую именно и законно ли это.

Наверняка вы знаете про Дзен-митапы для ML-специалистов, которые мы проводим несколько раз в год, но мы экспериментируем и с разными другими форматами. Один из них — интервью с крутыми специалистами из этой области.

Polars — это открытая библиотека для обработки массивов данных на Python. По скорости работы библиотека обходит самый популярный инструмент для работы с данными, — Pandas. Кроме того, библиотека более эффективно работает с памятью при обработке массивов. Polars написана на Rust.

Подробнее про библиотеку

SQL правят в стране Корпоративных Данных. До развития NoSQL это был основной язык запросов для извлечения данных из реляционных БД.

На прошлой неделе прошёл финал международной олимпиады по анализу данных IDAO-2020. Делимся записями открытых лекций от экспертов и рассказываем всё самое интересное 

Анализ данных средствами машинного обучения. Введение. Лекция доцента кафедры биофизики биологического факультета Московского государственного университета имени М.В.Ломоносова, кандидата физико-математических наук Татьяны Юрьевны Плюсниной.

Эта статья внеплановая. В прошлый раз я рассматривал нюансы и проблемы различных методов нормализации данных. И только после публикации понял, что не упомянул некоторые важные детали. Кому-то они покажутся очевидными, но, по-моему, лучше сказать об этом явно.

Лекция 1. Нейронные сети. Теоретические основания (Анализ данных на Python в примерах и задачах. Ч2)

Лекция 2. Нейронные сети в регрессионных задачах (Анализ данных на Python в примерах и задачах. Ч2)

Лекция 3. Примеры решения задач Machine Learning с помощью нейронных сетей. Часть 1

Пики прироста ожидаемой продолжительности жизни в России приходятся на годы перед президентскими выборами — так было и в 2011-м, и в 2017-м. Росстат объяснил, что эти факторы никак не связаны — сказываются волны холода и зноя

Фото: Роман Пименов / Интерпресс / ТАСС

Рост перед выборами

Видеоуроки по BIG DATA. Основы работы с массивами больших данных.

Презентации: yadi.sk/d/NRCupnST3LNR5d

Дополнительные материалы и книги: yadi.sk/d/F2xBwxce3LNR5b

Видели ли вы "особенную Ласточку" на МЦК с синей подсветкой ходовой части одного из вагонов? Если да, то наверняка было интересно узнать, что же это такое? Ну а если нет, то мы так и так вам расскажем. Информационно-измерительная система «ИНФОТРАНС-Ласточка» - наша сегодняшняя тема.

Подборка русскоязычных выступлений с конференции «Data Ёлка 2017», объединяющей специалистов в области Data Science для подведения итогов года:

1. ML в киберспорте.

2. Алиса: что внутри?

3. Соревнования по анализу данных.

4. Технологии беспилотных автомобилей.

5. NIPS, будущее и хайп.

1. Рекуррентные нейронные сети (RNN) и длинная краткосрочная память (LSTM)

2. Как работают нейронные сети

3. Как работают сверточные нейронные сети

4. Что такое Data Science

5. Что такое Deep Learning

6. Becca 7 и обучение с подкреплением

7. Роботы, умные дома и IoT

Математика больших данных.

Что такое Big Data и как это на самом деле влияет на мир вокруг нас?

Прямо сейчас в прямом эфире Екатерина Линкевич – директор по аналитике больших данных большой компании МегаФон.

Артистичный автор рассказывает о разных аспектах анализа данных: анализ текста, изображений, написание чатботов, предсказание цен акций.

1. Пишем нейросеть за 4 минуты

2. Tensorflow за 5 минут

3. Предсказываем цены на акции

4. Пишем классификатор изображений на Tensorflow за 5 минут