Большие данные (big data)

1. Когда нагрузка на чтение и запись высокая (сбалансированная нагрузка):

* Используйте основную базу данных для всех операций записи.

* Передавайте интенсивный трафик чтения на несколько реплик для чтения через асинхронную репликацию.

Предлагаю называть так: Система управления данными на основе цифровых алгоритмов. Или по-английски Cyber-Algorithm based Data Management System.

В наше время, когда многие, включая астрономов собирают огромные объемы данных, изучение космоса становится все более сложным. Но новая разработка меняет эту реальность. Исследователи создали способ анализа гигантских космических наборов данных с помощью обычного ноутбука и нескольких часов обработки.

Ведомство предлагает обязать сервисы передавать бессрочные идентификаторы юзеров с привязкой номера телефона в руки Mediascope, — сообщает РБК. Последняя по поручению Роскомнадзора с 2022 года собирает и анализирует данные активности пользователей в интернете.

Сфера морских перевозок стоит на пороге революции, где доминирующую роль играют две ключевые технологии — электрическая тяга и автономное судовождение. Уже сегодня можно наблюдать, как эти инновации трансформируют логистику, экологию и экономику морского транспорта.

1. Задержка + Глобальный масштаб ? CDN

Доставляйте данные с пограничных серверов, чтобы сократить задержку

2. Чтение + Узкое место ? Кэш

Храните часто запрашиваемые данные в кэше, чтобы снизить нагрузку на базу данных

3. Запись + Резкий рост нагрузки ? Очередь

Когда в DataFrame есть повторяющиеся строки (например, города, категории, названия), вы можете радикально сократить потребление памяти и ускорить группировки, сортировки и join'ы, если переведёте эти столбцы в категориальный тип.

Рассмотрим, в чем отличие этих ролей.

Data Engineer:

- Инструменты: AWS, Apache Spark, Databricks, SQL.

- Задачи: создание и управление данными конвейерами, проектирование облачных архитектур.

Data Analyst:

- Инструменты: Power BI, Tableau.

Именно так многие компании достигают масштаба баз данных в петабайты

Существует два наиболее популярных метода шардинга:

* на основе хеширования (Hash sharding )

* на основе диапазонов (Range sharding)

Недавно я выпустил StringZilla v4 — первый релиз с поддержкой CUDA моей библиотеки для обработки строк, нацеленной в первую очередь на SIMD. Это означает, что теперь она стала быстрой не только на CPU, но и на GPU!

Я хотел добавить ускорение ROCm для GPU AMD.

Американские ученые провели новое исследование и выяснили истинные причины смерти пациентов с коронавирусом, находившихся на аппаратах искусственной вентиляции легких.

Ученые ПГУ представили программу «3D-CorVasculograph», которая с помощью графовых нейронных сетей создает 3D-модели венечных артерий сердца. Точность предсказания диаметров сосудов достигает 97%, что позволяет хирургам минимизировать риски при ангиопластике — малоинвазивных операциях по восстановлению кровотока.

I. Что такое Data Governance: понятие, цели внедрения

В чём идея?

Многие привычные библиотеки (pandas, NumPy, scikit-learn) можно заменить их GPU-версией, сохранив API.

Это даёт прирост скорости в десятки раз.

Drop-in замены в коде:

- `pandas` `%load_ext cudf.pandas`

- `polars`  `.collect(engine="gpu")`

Process Mining — это анализ процессов на основе цифровых следов. Объем российского рынка Process Mining на 2024 г. составил 0,9 млрд руб. и будет расти со среднегодовым темпом 69%. Process Mining обеспечивает Актуальность анализа, Большую выборку и объективность. Process Mining от Сбера.

Партиционирование (разделение) базы данных — это процесс разделения большой таблицы или базы данных на более мелкие, удобные для управления части, известные как партиции. Это позволяет нам запрашивать только части данных, что ускоряет их загрузку.

В целом существует два типа партиционирования:

Интересный кейс по предсказательной аналитике в соцсетях сейчас обсуждается в специализированных форумах. Кейс связан с предсказанием того, кого выбрали следующего Папой Римским.

После смерти Папы Римского Франциска 7, 7 мая 2025 открылся Конклав и 8-го мая был выбран Лев XIV (настоящее имя — Роберт Фрэнсис Прево).

STUMPY — библиотека для анализа временных рядов. Этот проект предлагает мощный инструмент для работы с временными последовательностями через вычисление matrix profile — специальной метрики, которая автоматически находит схожие паттерны в данных.

1. Балансировщик нагрузки (Load Balancer): Распределяет входящий трафик между несколькими серверами, предотвращая перегрузку одного из них. Повышает доступность, устойчивость к сбоям и уменьшает время отклика.

Ты когда-нибудь задумывался, на чём держится вся магия Data Science?

На библиотеках Python. Мощные, гибкие и почти безграничные — они превращают код в инсайты, а данные в решения.

Вот что стоит изучить, если хочешь прокачаться в аналитике и ML:

Reinforcement Learning

Эта заметка будет полезна тем, кто занимается анализом числовых данных. В ней вы узнаете, как найти выбросы в данных, не используя среднее и стандартное отклонение. Также мы обойдемся без межквартильного интервала.

Cognitive Low Level Data Fusion

(Как решать сложные задачи мне подсказал Искусственный Интеллект.)

Меня сейчас забросают палками и камнями мои же коллеги, среди которых огромный процент выпускником Физтеха, но ...

Лечащий врач при слове "физтех" понимающе кивнул:

Технический анализ в трейдинге ? это метод изучения и анализа финансовых рынков на основе исторических ценовых данных для прогнозирования будущих цен.

Основная идея технического анализа заключается в том, что ценовая динамика актива отражает все известные факторы, в том числе фундаментальные, и что история повторяется.

Разбор задания "Прогнозирование оттока клиентов".

https://t.me/ai_machinelearning_big_data - наш канал, для всех, кто любит машинное обучение и data science

https://t.me/addlist/2Ls-snqEeytkMDgy а здесь целая папка крутых ресурсов для Дата Саентиста, наслаждайтесь.

Здесь обсуждается и показывается, как производить конкатенацию, сегментацию данных, объединять данные — и ещё очень много насущных вещей DS

Годно)

https://machinelearningmastery.com/harmonizing-data-a-symphony-of-segmenting-concatenating-pivoting-and-merging/

Почему же Сири, Алекса и Алиса не хотят нас понимать, Google находит не то, что мы ищем, а машинные переводчики веселят нас примерами «трудностей перевода» с китайского на албанский? Ответ кроется в мелочах – в алгоритмах, которые правильно работают в теории, но сложно реализуются на практике.

Доброго времени суток!

Представляю вашему вниманию чек-лист из 100 вопросов по Data Science. Вопросы покрывают 5 областей: SQL, Python, Machine Learning, статистику и собственно саму DS.

Кому это вообще может быть полезно:

желающему получить оффер в сфере DS

1) Многослойный: разделяет систему на слои с четко определенными ролями и зависимостями. Каждый слой выполняет определенную функцию.

«N-уровневая архитектура», «Чистая архитектура».

Введение в SQL.

Часть 1.

В видео-курсе:

— как установить среду разработки и подготовить компьютер к работе;

— основные функции и параметры;

— простые команды в SQL;

— команды и операторы: select, null, is, in;

— операторы and, or, where, asc.

К сожалению, анализ данных не устроен как стройная теория - это лоскутное одеяло методов, которые опираются на определенные идеи, беря, иногда, для решения одной задачи, половину курса теории оптимизации.