Большие данные (big data)

Общая теория относительности Эйнштейна продолжает быть актуальной — ученые подтвердили ее предсказания в космических масштабах. Кроме того, такая проверка открыла новые возможности для понимания масс нейтрино и скоплений галактик.

GPT-4o

Супер для повседневных задач: мозговой штурм, резюмирование, email-ы, креативный контент.

Полностью мультимодальный: поддерживает почти все возможности (GPTs, анализ данных, поиск, генерация изображений, холст, продвинутый голос) и входные данные (документы, изображения, CSV файлы, аудио, видео).

1) Кэширование запросов к базе данных

Кэширование запросов к базе данных — одно из самых простых улучшений, которое можно применить для обработки нагрузки на базу данных.

Уменьшите нагрузку за счет кэширования часто запрашиваемых результатов запросов.

Расскажем о необходимых и популярных инструментах, которые нужны для работы аналитику данных. Вместе с продуктовым аналитиком Павлом Пляскиным разобрались в типах инструментов и особенностях их работы.

Какой бывает аналитика

Инструменты аналитики

Какими инструментами должен владеть аналитик данных

Виртуализация данных обеспечивает управление данными и упрощает доступ к ним благодаря гибкому созданию многократно используемых продуктов данных.

Исследователи из Tencent и Шанхайского университета Цзяо Тонг опубликовали DeepMath-103K — крупный математический датасет, созданный для разработки продвинутых моделей рассуждения с помощью обучения с подкреплением. Создание набора данных стоило исследователям 138 000 долларов США на API-кредиты GPT-4o и 127 000 часов работы GPU H20.

Для того, чтобы сделать обоснованные выводы из результатов исследования, полученные данные подвергают статистической обработке. Она позволяет извлечь идеи, которые на первый взгляд неочевидны.

Новый мастер-класс по Большим данным! Тема: генерация датасетов и их применение в задачах Big Data.

Лектор: Дмитрий Яценко, главный инженер учебного центра Arenadata, преподаватель ЮФУ, МФТИ и Центрального университета.

Центр исследования сырья и ЧГУ вместе модернизировали лабораторную установку. Потом команда провела опыты и разработала алгоритмы для управления загрузкой печи и подсчёта сопротивления шихты.

Модель также улучшит цифровой двойник печи. Он анализирует показатели готового чугуна и учитывает опыт сотрудников по его выплавке.

"Если тебе сказали, что у выборок совпали описательные статистики и поэтому они равны — не верь ушам своим, они разные."

(c) Автор под влиянием Козьмы Пруткова.

Ученые выяснили, что употребление кофе в утренние часы более эффективно снижает риск смерти, особенно от сердечно-сосудистых заболеваний, по сравнению с употреблением кофе в течение всего дня или отказом от него. Этот вывод подтверждает мнение, что не только количество кофе, но и время его употребления может оказывать влияние на здоровье.

1. Индексация: cоздание индексов для часто запрашиваемых столбцов для ускорения поиска данных

2. Вертикальное масштабирование: обновление сервера базы данных, использование более мощного процессора, ОЗУ или хранилища для обработки возросшей нагрузки.

Классный способ построить совместные модели — вертикальное федеративное обучение. Так считает Арсений Селякин, руководитель команды Data Science в VK Predict.

Подробные тезисы из его выступления, кому этот инструмент нужен и как работает — рассказали в карточках.

Тестирование API вносит значительный вклад в обеспечение надежности, безопасности, функциональности и эффективности приложений. Рассмотрим 6 базовых типов тестирования API:

Тестирование рабочего процесса (Workflow Testing)

Китайские исследователи разработали молекулярную систему хранения данных высокой плотности, которая использует органические молекулы для хранения и шифрования данных

Теперь весь процесс – от загрузки датасета до итогового анализа – берёт на себя нейросеть.

Агент самостоятельно генерирует код на Python, создаёт блокноты, визуализирует данные и шаг за шагом предлагает оптимальное решение.

Достаточно загрузить набор данных объемом до 1 Гб, и ИИ выполнит всю работу.

DeepSeek представили Fife-Flyer File System (3FS) – параллельную файловую систему, способную использовать всю пропускную способность современных SSD и RDMA-сетей.

Это решение показывает впечатляющие результаты:

• 6.6 TiB/s – суммарная скорость чтения в 180-узловом кластере

Актуальность и цель.

Выявить особенности времени употребления кофе в популяции США и оценить их ассоциации со смертностью от всех причин и специфической смертностью.

Методы.

Cognitive Low Level Data Fusion

(Как решать сложные задачи мне подсказал Искусственный Интеллект.)

Меня сейчас забросают палками и камнями мои же коллеги, среди которых огромный процент выпускником Физтеха, но ...

Лечащий врач при слове "физтех" понимающе кивнул:

Технический анализ в трейдинге ? это метод изучения и анализа финансовых рынков на основе исторических ценовых данных для прогнозирования будущих цен.

Основная идея технического анализа заключается в том, что ценовая динамика актива отражает все известные факторы, в том числе фундаментальные, и что история повторяется.

Разбор задания "Прогнозирование оттока клиентов".

https://t.me/ai_machinelearning_big_data - наш канал, для всех, кто любит машинное обучение и data science

https://t.me/addlist/2Ls-snqEeytkMDgy а здесь целая папка крутых ресурсов для Дата Саентиста, наслаждайтесь.

Изучение data science в 2024 году может быть полезным и важным по нескольким причинам:

Здесь обсуждается и показывается, как производить конкатенацию, сегментацию данных, объединять данные — и ещё очень много насущных вещей DS

Годно)

https://machinelearningmastery.com/harmonizing-data-a-symphony-of-segmenting-concatenating-pivoting-and-merging/

Здесь есть несколько подходов. Рассмотрим каждый.

1) Наивный подход

Почему же Сири, Алекса и Алиса не хотят нас понимать, Google находит не то, что мы ищем, а машинные переводчики веселят нас примерами «трудностей перевода» с китайского на албанский? Ответ кроется в мелочах – в алгоритмах, которые правильно работают в теории, но сложно реализуются на практике.

Доброго времени суток!

Представляю вашему вниманию чек-лист из 100 вопросов по Data Science. Вопросы покрывают 5 областей: SQL, Python, Machine Learning, статистику и собственно саму DS.

Кому это вообще может быть полезно:

желающему получить оффер в сфере DS

1) Многослойный: разделяет систему на слои с четко определенными ролями и зависимостями. Каждый слой выполняет определенную функцию.

«N-уровневая архитектура», «Чистая архитектура».

Произведение Софи Кастнер “Галактический центр" называется "Там, где сходятся параллельные линии”. Если вы музыкант и хотите попробовать сыграть в этой обработке звука дома, ознакомьтесь с нотами по адресу: https://chandra.si.edu/sound/symphony.html.