Большие данные (big data)

The Well (https://polymathic-ai.org/the_well/) – коллекция датасетов для машинного обучения, содержащая 15 ТБ данных численного моделирования различных физических систем. Коллекция состоит из 16 наборов данных из областей: биологии, гидродинамики, акустики, магнитогидродинамики, внегалактических субстанций и взрывы сверхновых.

Темные данные – это определение, данное информации, которая не является полной, достоверной и точно относящейся к конкретной интересующей вас теме.

ЧТО БУДЕМ ИЗУЧАТЬ? ? #1

ПРОВЕРКА УСТАНОВКИ ? #2

ПЕРВЫЙ КОНТЕЙНЕР ? #3

КАК ЗАЛЕЗТЬ В КОНТЕЙНЕР ? #4

КАК СКОПИРОВАТЬ ФАЙЛЫ В КОНТЕЙНЕР? ? #5

КАК ПОДКЛЮЧИТЬ VOLUME? ? #6

КАК УСТАНАВЛИВАТЬ БИБЛИОТЕКИ? ? #7

DOCKER-COMPOSE ? #8

КАК УСТАНОВИТЬ POSTGRES ? #9

Marco-o1 (https://huggingface.co/AIDC-AI/Marco-o1) – LLM, файнтюн-версия Qwen2-7B-Instruct для решения сложных задач, требующих рассуждений. В создании модели использовались методики Chain-of-Thought (CoT), поиска по дереву Монте-Карло (MCTS) и уникальные стратегии регулирования действий при рассуждении.

Contextual Document Embeddings (CDE) - это метод векторных эмбедингов, разработанный в Cornell University, который учитывает дополнительный контекст из "соседних" документов целевого набора данных.

Сегодня мы бы хотели рассказать вам о двух важных техниках в области обработки данных и машинного обучения — маскинг (masking) и паддинг (padding). Они играют важную роль в подготовке и обработке данных. Эти методы позволяют привести данные к единому формату, упрощая их обработку и улучшая производительность моделей.

Cognitive Low Level Data Fusion

(Как решать сложные задачи мне подсказал Искусственный Интеллект.)

Меня сейчас забросают палками и камнями мои же коллеги, среди которых огромный процент выпускником Физтеха, но ...

Лечащий врач при слове "физтех" понимающе кивнул:

PANGEA (https://huggingface.co/neulab/Pangea-7B) - это модель с 7.94 млрд. параметров на архитектуре LLaVA-Next и с Qwen2-7B-Instruct в качестве LLM-основы, которая была обученная на инструктивном датасете PANGEAINS.

Да уж, вчера мы узнали, что в статистике много подводных камней. Но давайте отложим интриги и дискуссии о кризисе воспроизводимости в сторону. Нырнем в историю! Итак, рубрика «6 фактов о статистике».

Дело государственной важности

OpenMathInstruct-2 (https://huggingface.co/datasets/nvidia/OpenMathInstruct-2) состоит из 14 млн. пар "вопрос-решение" (примерно 600 тысяч уникальных вопросов) и является одним из крупнейших общедоступных наборов данных для обучения LLM в математике.

Разработанная VK Tech, платформа основана на передовой инфраструктуре, сочетающей публичные и частные облака, собственные серверы и нейросети. В вашем распоряжении 16 готовых инструментов, которые помогут вам получить максимальную отдачу от данных:

В последние годы технологии в области управления персоналом (HR) развиваются стремительными темпами. Вот несколько ключевых направлений и технологий, которые активно применяются:

1) Искусственный интеллект и машинное обучение:

В этом видео я расскажу о своем дне как руководителя Data Science. Узнайте, как проходят мои будни, какие задачи я решаю и как организую свою работу. Погрузитесь в мир Data Science и увидьте, каково это быть лидером в этой области.

Geopandas — это библиотека для работы с геопространственными данными. Она базируется на библиотеке Pandas и интегрируется с другими инструментами геоинформатики, такими как Shapely, Fiona, PyProj.

Geopandas позволяет эффективно работать с географическими данными в виде векторных и растровых слоев.

Qwen2-VL - это новая версия VLMs, основанная на Qwen2 в семействе моделей Qwen. По сравнению предыдущим поколением, Qwen2-VL обладает возможностями:

Распознавание изображений с различным разрешением и соотношением сторон;

VQA-понимание видеороликов продолжительностью более 20 минут с поддержкой диалога;

Архитектура базовой Aurora построена на 3D Swin Transformer. Модель обучалась более миллиона часов на корпусе данных о погоде и климате: прогнозах, параметрическом анализе и данных моделирования климата.

Технический анализ в трейдинге ? это метод изучения и анализа финансовых рынков на основе исторических ценовых данных для прогнозирования будущих цен.

Основная идея технического анализа заключается в том, что ценовая динамика актива отражает все известные факторы, в том числе фундаментальные, и что история повторяется.

Разбор задания "Прогнозирование оттока клиентов".

https://t.me/ai_machinelearning_big_data - наш канал, для всех, кто любит машинное обучение и data science

https://t.me/addlist/2Ls-snqEeytkMDgy а здесь целая папка крутых ресурсов для Дата Саентиста, наслаждайтесь.

Изучение data science в 2024 году может быть полезным и важным по нескольким причинам:

Здесь обсуждается и показывается, как производить конкатенацию, сегментацию данных, объединять данные — и ещё очень много насущных вещей DS

Годно)

https://machinelearningmastery.com/harmonizing-data-a-symphony-of-segmenting-concatenating-pivoting-and-merging/

Здесь есть несколько подходов. Рассмотрим каждый.

1) Наивный подход

Почему же Сири, Алекса и Алиса не хотят нас понимать, Google находит не то, что мы ищем, а машинные переводчики веселят нас примерами «трудностей перевода» с китайского на албанский? Ответ кроется в мелочах – в алгоритмах, которые правильно работают в теории, но сложно реализуются на практике.

Доброго времени суток!

Представляю вашему вниманию чек-лист из 100 вопросов по Data Science. Вопросы покрывают 5 областей: SQL, Python, Machine Learning, статистику и собственно саму DS.

Кому это вообще может быть полезно:

желающему получить оффер в сфере DS

1) Многослойный: разделяет систему на слои с четко определенными ролями и зависимостями. Каждый слой выполняет определенную функцию.

«N-уровневая архитектура», «Чистая архитектура».

Произведение Софи Кастнер “Галактический центр" называется "Там, где сходятся параллельные линии”. Если вы музыкант и хотите попробовать сыграть в этой обработке звука дома, ознакомьтесь с нотами по адресу: https://chandra.si.edu/sound/symphony.html.