Большие данные (big data)

Всем привет! В этой статье я хочу познакомить вас, на мой взгляд, с одним из самых значительных нововведений в Java со времен ее появления — это Java Stream API.

Что такое Java Stream API? Зачем? И какие дает преимущества?

Тёмные данные и предиктивная аналитика в профайлинге….

Большинство непрофессионалов в области профайлинга не до конца понимают характер закономерностей в нашей жизни и совсем недооценивают роль случайностей. И это еще без учета того, что закономерности бывают разные,… в том числе и ложные.

Этой весной мы проводили не только очные встречи с нашими абитуриентами как на Днях компьютерных наук, но и онлайн. Собрали для вас подборку записей: кажется, потихоньку приходит время сделать свой выбор!

Прикладная математика и информатика

https://www.youtube.com/watch?v=cOooJcaTn9U

Программная инженерия

Data Science без знания математики – это как вождение машины без знаний ПДД

Почему так? Отщепенцы в дата-сайенс юзают только чужие модели. Профи же создают свои модели и улучшают существующие — поэтому высоко ценятся!

Наука о данных тесно связана с информатикой, но в то же время не является ее детищем.

Обзор решения на Python

Это бесплатная часть моего курса по Data Science. Это полноценный курс по python и pandas в объеме необходимом для анализа данных и data science.

Приятного обучения!

Содержание:

0:00 Интро

0:32 Google Colab

5:12 Python

7:23 Переменные, числа и строки

Параллельные вычисления - это своего рода вычисления, которые выполняют несколько вычислений или процессов одновременно.

Сервис «Умный кадастр» УМКА Росреестра стал победителем ежегодной общероссийской кросс-отраслевой премии в области больших данных Data Fusion Awards в номинации «Data Fusion в госсекторе. В масштабах страны» ?

От лица команды #БольшойРосреестр награду получила заместитель руководителя ведомства Елена Мартынова.

Никита Васильев

ведущий исследователь данных в «Сбере»

Какие данные нужны бизнесу и какую специализацию сегодня стоит выбрать, чтобы стать востребованным специалистом в компании любого направления? Частый ответ – Data Science. Но это не совсем так.

Нераскрытые сокровища бесполезны

Из анализа действий клиентов можно пoлyчить много полeзныx знаний. Это средний чек, пикoвoе вpемя продaж и многоe дрyгое. Но у pазных цeлeвых аудитoрий эти данные мoгут быть pазными. Пoэтoмy имеет cмыcл рaссмaтривaть их отдeльно для каждoй группы. Для этого есть доcтaточно эффетивный инструмент маркeтинговой аналитики – когортный анализ.

В этой статье для дата-инженеров и аналитиков рассмотрим пример мониторинга состояния электрогенераторов с помощью анализа данных временных рядов и ранжирования в pandas для предупреждения выхода оборудования из строя. А также разберем основы анализа временных рядов на больших данных с открытой библиотекой Flint для Apache Spark.

Автор этого материала — программист и ML-инженер — собрала Open Source библиотеки Python, которые помогут вам сделать данные лучше, чтобы избежать траты времени и упростить анализ данных. Подборкой делимся к старту курса по анализу данных.

Профилирование и оценка

Data Science — сочетание различных инструментов, алгоритмов и принципов машинного обучения для обнаружения скрытых закономерностей в необработанных данных. Разберём три основные концепции науки о данных на простых примерах.

Разделение данных

В этот теплый весенний вечер Physics.Math.Code подготовил немного годноты для своих любимых подписчиков. Решили структурировать всю информацию и книги в одном посте.

Читать гайд и полный план изучения: https://t.me/physics_lib/9835

С чего начать обучение на Data Analyst? Рекомендации PyMagic

Это наверное вторая популярная тема после Data Scientist. И кстати, если мы говорим о работе, то на Data Analyst конечно устроиться легче, больше вакансий и не такой конкурс, плюс требований тоже меньше.

Кому стоит идти на платные онлайн-курсы? Как проще всего войти в аналитику данных? Что ждёт образование дальше? Толя Карпов расскажет про это и не только!

00:00 - О чём интервью?

00:18 - Как Толя пришёл в Data Science, как возникли karpov.courses?

04:16 - Как изменилась индустрия за последние несколько лет?

Спойлер: здесь мы будем программно вытаскивать данные из JVM дампа кучи.

Контекст и предыстория

Смоделируем ситуацию: у вас есть приложение на JVM (без разница, будь то Kotlin, Java или Scala), а еще у вас есть уверенность в себе и немного не хватает ответственности.

В одном из заданий вам дают описание таблицы, в которой хранятся логи покупок в интернет-магазине. От вас требуется написать несколько SQL запросов для решения различных задач. Как нам убедиться, что наши запросы работают корректно, если самой базы данных у нас нет?

Каждая эпоха развития человеческой цивилизации определяется существующими в обществе производственными отношениями. Экономике различных исторических периодов, в свою очередь, свойственны индивидуальные, обусловленные временем и технологическим прогрессом, факторы развития.

Методы обнаружения выбросов

Ссылка на ноутбук: https://github.com/pileyan/Isolation_...

В 2019 году России был создан альянс по развитию искусственного интеллекта, поэтому эксперты прогнозируют повышение спроса на профессионалов Data Scientist.

1. Вводное занятие

2. Установка Anaconda

3. Запуск jupyter notebook. Jupyter notebook не отрывает браузер

4. Режимы работы и типы ячеек в Jupyter Notebook

5. Объект Series в Pandas. Создаем Series

6. Создаем первый блокнот в Jupyter Notebook. Анализ данных в Python

Данное сообщение (материал) создано и (или) распространено иностранным средством массовой информации, выполняющим функции иностранного агента, и (или) российским юридическим лицом, выполняющим функции иностранного агента.

Что такое признаки (features) и для чего они нужны?

Признак, он же «фича» (от англ feature) – это переменная (столбец в таблице), которая описывает отдельную характеристику объекта. Признаки являются краеугольным камнем задач машинного обучения в целом: именно на их основании мы строим предсказания в моделях.

В инфополе муссируется перемога одного из вялых членов проебалтийского троевымирата гребешковых тигров, в частности - первое место Эстонии по всему миру по темпам заболеваемости коронавирусом.

Это правда, второй картинкой мы прикладываем подтверждение.

В двух первых статьях мы рассказали о роли математического анализа и линейной алгебры в машинном обучении. Продолжая тему, поговорим о теории вероятностей и статистике в науке о данных. Более углубленно эти темы будут рассмотрены в нашем «Онлайн-курсе по математике в Data Science Pro».