Большие данные (big data)

В глобальной экономике все более широкое распространение получают цифровые технологии, в основе которых лежат данные. Но чтобы воспользоваться всей мощью данных, необходимо разработать алгоритмы, модели и системы, дающие возможность извлекать из данных знания и пользоваться ими.

В инфополе муссируется перемога одного из вялых членов проебалтийского троевымирата гребешковых тигров, в частности - первое место Эстонии по всему миру по темпам заболеваемости коронавирусом.

Это правда, второй картинкой мы прикладываем подтверждение.

В двух первых статьях мы рассказали о роли математического анализа и линейной алгебры в машинном обучении. Продолжая тему, поговорим о теории вероятностей и статистике в науке о данных. Более углубленно эти темы будут рассмотрены в нашем «Онлайн-курсе по математике в Data Science Pro».

30-31 марта Фонд «Сколково» и ВТБ проведут первую международную конференцию о новом подходе применения Big Data – Data Fusion. На мероприятии представители бизнеса, власти и специалисты Data Science обсудят возможности, вопросы и потенциал применения нового подхода к работе с большими данными и технологиями искусственного интеллекта.

Google Research, 2020

https://arxiv.org/abs/1911.04252

Какую задачу решают авторы?

Технический комитет по стандартизации «Искусственный интеллект» (ТК 164) на базе РВК вынес на публичное обсуждение первую редакцию стандарта «Информационные технологии. Эталонная архитектура больших данных. Часть 1: Структура и процесс применения».

Компания Pfizer не просто так внезапно отгрузила Израилю новую огромную партию вакцин. Взамен она получит не только деньги, но и информацию о привитых. Какую именно и законно ли это.

Наверняка вы знаете про Дзен-митапы для ML-специалистов, которые мы проводим несколько раз в год, но мы экспериментируем и с разными другими форматами. Один из них — интервью с крутыми специалистами из этой области.

Polars — это открытая библиотека для обработки массивов данных на Python. По скорости работы библиотека обходит самый популярный инструмент для работы с данными, — Pandas. Кроме того, библиотека более эффективно работает с памятью при обработке массивов. Polars написана на Rust.

Подробнее про библиотеку

SQL правят в стране Корпоративных Данных. До развития NoSQL это был основной язык запросов для извлечения данных из реляционных БД.

На прошлой неделе прошёл финал международной олимпиады по анализу данных IDAO-2020. Делимся записями открытых лекций от экспертов и рассказываем всё самое интересное 

Анализ данных средствами машинного обучения. Введение. Лекция доцента кафедры биофизики биологического факультета Московского государственного университета имени М.В.Ломоносова, кандидата физико-математических наук Татьяны Юрьевны Плюсниной.

Эта статья внеплановая. В прошлый раз я рассматривал нюансы и проблемы различных методов нормализации данных. И только после публикации понял, что не упомянул некоторые важные детали. Кому-то они покажутся очевидными, но, по-моему, лучше сказать об этом явно.

Еще несколько лет назад попасть в Дата саенс было легко: посмотрел на Курсере Курс Стенфорда Machine Learning от Andrew Ng и вуаля). Те, кто начинал тогда, сейчас далеко продвинулись вперед, изучили новые технологии, и теперь их волнуют совсем другие вопросы:

Также как путь настоящего хакера начинается с покупки толстовки и ящика энергетика, путь настоящего data scientista и машин лернера начинается с установки Анаконды или виртуальной среды.

В интернете много лет ходит мем и прикол про разницу в том, что вы ожидаете и что в итоге получаете ? Но что может пойти не так в науке о данных? Сегодня мы собрали для вас основные моменты отличий теории от практики.

1. Анализ образцов датафреймов с помощью df.groupby().__iter__()

Шпаргалка по DataFrame — ключевой структуре данных Python-библиотеки pandas.

Лекция 1. Нейронные сети. Теоретические основания (Анализ данных на Python в примерах и задачах. Ч2)

Лекция 2. Нейронные сети в регрессионных задачах (Анализ данных на Python в примерах и задачах. Ч2)

Лекция 3. Примеры решения задач Machine Learning с помощью нейронных сетей. Часть 1

Пики прироста ожидаемой продолжительности жизни в России приходятся на годы перед президентскими выборами — так было и в 2011-м, и в 2017-м. Росстат объяснил, что эти факторы никак не связаны — сказываются волны холода и зноя

Фото: Роман Пименов / Интерпресс / ТАСС

Рост перед выборами

Конспект материала сайта для предпринимателей, маркетологов, программистов и аналитиков Coriers.

Книги об анализе и обработке данных

Автор: Лекс Кравецкий

Если вы где-то читаете фразу вида «оказалось, что у данных событий корреляция вот такая вот», то примерно в 99,99% случаев, если прямо не оговорено иного, речь идёт о коэффициенте корреляции Пирсона. «Дефолт-корреляция» — это он.

Подборка примечательных файлов формата Jupyter Notebook по Machine Learning, Data Science и другим сферам, связанным с анализом данных.

1. На первом уроке курса "Инструментарий" мы поговорим об интерпретаторах Python и IPython, тетрадках IPython как средства воспроизводимых исследований, среде разработки PyCharm, системе контроля версий Git и сборке библиотек Anaconda.

1. Описательные статистики. Квантили, квартили. Гистограммы. Ядерные оценки плотности.

2. Описательные статистики. Ящики с усами. Выбросы. Медиана и среднее арифметическое как типичные наблюдения.

3. Иерархический кластерный анализ. Кластер, расстояния между объектами, расстояния между кластерами.

1. Введение

2. Основы Pandas

3. Ввод/вывод с помощью Pandas

4. Заполнение базы данных

5. Объединение и добавление данных

6. Joining и Merging

7. Pickling

8. Первые манипуляции с данными

Полный курс в альбоме: