Резко врываемся в дату: чему учат и каким будет результат

Биг-дата — это русский вариант английского big data (большие данные). Смысл биг-даты в том, что у нас есть огромное количество данных о чём-то и мы на основе этих данных можем сделать какие-то выводы, что-то спрогнозировать или обучить нейронку. 

Биг-дата — это не одно, а несколько разных направлений в ИТ. У них общая основа, но различаются инструменты и подход к работе. Рассказываем, чему учат на разных направлениях и где это будет полезно.

Как устроено бесплатное обучение в «Яндекс Практикуме»

Коротко суть:

• в биг-дате есть несколько вариантов работы: стать аналитиком или стать инженером;
• аналитики обрабатывают данные и делают выводы, а инженеры — программируют нейросети и строят новые модели работы с данными;
• основа и там и там одна — Python и базы данных;
• аналитиков учат визуализировать данные — показывать их в наглядном виде, чтобы всё сразу было понятно;
• инженерам для работы нужно знать много математики и сложных алгоритмов — без этого писать нейронки не получится;
• вакансий на рынке много, зарплаты хорошие, перспективы есть.

Направления в биг-дате

Работа с биг-датой делится на аналитическую и инженерную. 

Аналитики работают с уже собранными данными — приводят их в порядок, анализируют, строят графики и модели. 

Инженеры и специалисты по Data Science делятся на две категории: те, кто занимается сбором данных, и те, кто потом занимается машинным обучением.

Что общего у всех

Все, кто работают с биг-датой, учатся сначала одним и тем же вещам: программированию, работе с базами данных и предварительной обработке.

Программирование. Основной язык, на котором работают почти все дата-сайентисты в мире, — это Python. На нём можно написать любой скрипт для обработки данных и подключить много готовых библиотек.

За что все любят Python

Базы данных. Все данные должны где-то храниться, и чаще всего это SQL-базы данных. С ними нужно уметь работать: брать данные, сохранять, фильтровать и т. д. 

Предварительная обработка данных. Чтобы от данных был какой-то толк, с ними нужно предварительно поработать: проверить на дубли, пустые поля или неверные значения.

Это то, что было общего у всех. Теперь разное.

Чему учат аналитиков

Задача аналитика — обработать большой массив информации и сделать на его основе какие-то выводы. Примеры: 

• какой товар и по каким причинам продаётся лучше всего;
• в какое время лучше всего привозить свежую выпечку, чтобы она не залёживалась на прилавке до вечера;
• какие метрики влияют на прибыль и выручку от клиента, а какие нет;
• какое решение лучше всего принять, исходя из имеющихся данных.

Чтобы презентовать результаты своей работы в понятном и наглядном виде, аналитики используют сервисы визуализации данных, например Tableau. А дальше — техники и методы анализа, чем дольше работаешь, тем больше в них вникаешь.

Tableau — сервис визуализации данных

Как работают инженеры по сбору данных

Вообще, эту работу может сделать и аналитик, и инженер машинного обучения, но иногда сбор становится отдельной задачей. В этом случае инженер:

Для этого достаточно общих знаний из биг-даты плюс знание API того сервиса, откуда забираем данные. Но этому всё равно нужно учиться — сложно будет прийти в такой проект, если знаешь только базы данных или у тебя начальные навыки программирования на Python.

Что такое API

Чему учат и что делают специалисты по Data Science

У этих ребят задачи технически намного сложнее, потому что они чаще всего работают с нейросетями — обучают их или программируют самостоятельно. Для этого надо знать много математики:

• теорию вероятностей, 
• статистику, 
• математическую логику,
• матан, 
• численные методы,
• работу с векторами и матрицами,
• теорию рядов.

Кроме этого, будущим дата-сайентистам дают углублённые знания Python и учат их работе с нейросетями. Это значит — много программирования, библиотеки, фреймворки, API, базы данных, тестирование и облачные вычисления. В итоге всё это позволяет разработчикам создавать нейросети, заниматься компьютерным зрением, искусственным интеллектом, голосовыми помощниками и вообще быть впереди компьютерной науки.

Начинающим программистам: что такое фреймворки и библиотеки

Что по работе и деньгам

В 2022 году спрос на тех, кто работает с биг-датой, такой:

• аналитик данных — 11 095 вакансий на hh.ru;
• дата-сайентист — 5790 вакансий;
• специалист по машинному обучению — 9331 вакансия.

По зарплатам вот средние цифры на второе полугодие 2022-го такие:

• машинное обучение — 170 тысяч рублей;
• бизнес-аналитика — 178 тысяч рублей;
• специалист по data science — 232 тысячи рублей.

Где научиться 

Самый простой способ ворваться в биг-дату — прийти в Практикум на курсы «Аналитик данных» или «Специалист по Data Science». Учиться можно двумя способами: 

• долго и с равномерной нагрузкой в нормальном темпе
• быстро и суперинтенсивно на буткемпе

Обучение в обычном темпе длится от 6 до 9 месяцев, на буткемпе — в 2-3 раза быстрее. На выходе у вас портфолио с учебными проектами, навыки для работы в отрасли и помощь карьерного центра.

Если интересно, как вообще устроены такие курсы, почитайте наш разбор обучения в Практикуме. Там всё как раз на примере курсов про биг-дату.