Большие данные (big data)

Contextual Document Embeddings (CDE) - это метод векторных эмбедингов, разработанный в Cornell University, который учитывает дополнительный контекст из "соседних" документов целевого набора данных.

Сегодня мы бы хотели рассказать вам о двух важных техниках в области обработки данных и машинного обучения — маскинг (masking) и паддинг (padding). Они играют важную роль в подготовке и обработке данных. Эти методы позволяют привести данные к единому формату, упрощая их обработку и улучшая производительность моделей.

Cognitive Low Level Data Fusion

(Как решать сложные задачи мне подсказал Искусственный Интеллект.)

Меня сейчас забросают палками и камнями мои же коллеги, среди которых огромный процент выпускником Физтеха, но ...

Лечащий врач при слове "физтех" понимающе кивнул:

PANGEA (https://huggingface.co/neulab/Pangea-7B) - это модель с 7.94 млрд. параметров на архитектуре LLaVA-Next и с Qwen2-7B-Instruct в качестве LLM-основы, которая была обученная на инструктивном датасете PANGEAINS.

Да уж, вчера мы узнали, что в статистике много подводных камней. Но давайте отложим интриги и дискуссии о кризисе воспроизводимости в сторону. Нырнем в историю! Итак, рубрика «6 фактов о статистике».

Дело государственной важности

OpenMathInstruct-2 (https://huggingface.co/datasets/nvidia/OpenMathInstruct-2) состоит из 14 млн. пар "вопрос-решение" (примерно 600 тысяч уникальных вопросов) и является одним из крупнейших общедоступных наборов данных для обучения LLM в математике.

Разработанная VK Tech, платформа основана на передовой инфраструктуре, сочетающей публичные и частные облака, собственные серверы и нейросети. В вашем распоряжении 16 готовых инструментов, которые помогут вам получить максимальную отдачу от данных:

В последние годы технологии в области управления персоналом (HR) развиваются стремительными темпами. Вот несколько ключевых направлений и технологий, которые активно применяются:

1) Искусственный интеллект и машинное обучение:

В этом видео я расскажу о своем дне как руководителя Data Science. Узнайте, как проходят мои будни, какие задачи я решаю и как организую свою работу. Погрузитесь в мир Data Science и увидьте, каково это быть лидером в этой области.

Geopandas — это библиотека для работы с геопространственными данными. Она базируется на библиотеке Pandas и интегрируется с другими инструментами геоинформатики, такими как Shapely, Fiona, PyProj.

Geopandas позволяет эффективно работать с географическими данными в виде векторных и растровых слоев.

Qwen2-VL - это новая версия VLMs, основанная на Qwen2 в семействе моделей Qwen. По сравнению предыдущим поколением, Qwen2-VL обладает возможностями:

Распознавание изображений с различным разрешением и соотношением сторон;

VQA-понимание видеороликов продолжительностью более 20 минут с поддержкой диалога;

Архитектура базовой Aurora построена на 3D Swin Transformer. Модель обучалась более миллиона часов на корпусе данных о погоде и климате: прогнозах, параметрическом анализе и данных моделирования климата.

Всем привет! Я недавно выступал с докладом на VK Kubernetes Conf 2024 про нашу историю изменения подходов к эксплуатации Kubernetes Airflow и хочу поделиться им с сообществом.

Что такое airflow

Сильные технические навыки — база для любого инвестиционного аналитика (да и любого другого). Если вы все еще тяните с тем, чтобы как следует прокачать весь джентельменский набор (excel, sql, python) — наша сегодняшняя кино-пятница для вас. ?

Python vs SQL vs Excel: что, зачем и почему

Почему в Data Science не обойтись без математики

Все ключевые аспекты Data Science неразрывно связаны с математикой, поскольку она предоставляет фундаментальную основу и все необходимые инструменты для понимания, анализа и интерпретации информации:

rLLM (relationLLM) - библиотека PyTorch, разработанная для удовлетворения растущей потребность в эффективных и экономичных методах применения LLM к огромным объемам структурированных данных, хранящихся в реляционных базах данных.

Математика играет ключевую роль в современных технологиях, так как она предоставляет инструменты и методы для анализа данных, разработки алгоритмов и оптимизации процессов. Вот некоторые области, где математика используется в технологиях:

Зачем уменьшать размерность?

Технический анализ в трейдинге ? это метод изучения и анализа финансовых рынков на основе исторических ценовых данных для прогнозирования будущих цен.

Основная идея технического анализа заключается в том, что ценовая динамика актива отражает все известные факторы, в том числе фундаментальные, и что история повторяется.

Разбор задания "Прогнозирование оттока клиентов".

https://t.me/ai_machinelearning_big_data - наш канал, для всех, кто любит машинное обучение и data science

https://t.me/addlist/2Ls-snqEeytkMDgy а здесь целая папка крутых ресурсов для Дата Саентиста, наслаждайтесь.

Изучение data science в 2024 году может быть полезным и важным по нескольким причинам:

Здесь обсуждается и показывается, как производить конкатенацию, сегментацию данных, объединять данные — и ещё очень много насущных вещей DS

Годно)

https://machinelearningmastery.com/harmonizing-data-a-symphony-of-segmenting-concatenating-pivoting-and-merging/

Здесь есть несколько подходов. Рассмотрим каждый.

1) Наивный подход

Почему же Сири, Алекса и Алиса не хотят нас понимать, Google находит не то, что мы ищем, а машинные переводчики веселят нас примерами «трудностей перевода» с китайского на албанский? Ответ кроется в мелочах – в алгоритмах, которые правильно работают в теории, но сложно реализуются на практике.

Доброго времени суток!

Представляю вашему вниманию чек-лист из 100 вопросов по Data Science. Вопросы покрывают 5 областей: SQL, Python, Machine Learning, статистику и собственно саму DS.

Кому это вообще может быть полезно:

желающему получить оффер в сфере DS

1) Многослойный: разделяет систему на слои с четко определенными ролями и зависимостями. Каждый слой выполняет определенную функцию.

«N-уровневая архитектура», «Чистая архитектура».

Произведение Софи Кастнер “Галактический центр" называется "Там, где сходятся параллельные линии”. Если вы музыкант и хотите попробовать сыграть в этой обработке звука дома, ознакомьтесь с нотами по адресу: https://chandra.si.edu/sound/symphony.html.