Аналитика Big Data — реалии и перспективы в России и мире

О больших данных сегодня не слышал только человек, который не имеет никаких внешних связей с внешним миром. На Хабре тема аналитики Big Data и смежные тематики популярны. Но неспециалистам, которые хотели бы посвятить себя изучению Big Data, не всегда ясно, какие перспективы имеет эта сфера, где может применяться аналитика Big Data и на что может рассчитывать хороший аналитик. Давайте попробуем разобраться. С каждым годом увеличивается объем генерируемой человеком информации. К 2020 году объем хранимых данных увеличится до 40-44 зеттабайт (1 ЗБ ~ 1 миллиард ГБ). К 2025 году — до примерно 400 зеттабайт. Соответственно, управление структурированными и неструктурированными данными при помощи современных технологий — сфера, которая становится все более важной. Интересуются большими данными как отдельные компании, так и целые государства.

К слову, именно в процессе обсуждения информационного бума и способов обработки генерируемых человеком данных и возник термин Big Data. Считается, что впервые его предложил в 2008 году редактор журнала Nature — Клиффорд Линч.

С тех пор рынок Big Data ежегодно увеличивается на несколько десятков процентов. И эта тенденция, по мнению специалистов, будет держаться и дальше. Так, по оценкам компании Frost & Sullivan в 2021 году общий объем мирового рынка аналитики больших данных увеличится до показателя в $67,2 млрд. Ежегодный рост составит около 35,9 %.

Зачем нужна аналитика больших данных?

Она позволяет выявлять крайне ценную информацию из структурированных или неструктурированных наборов данных. Благодаря этому бизнес, например, может определять тенденции, прогнозировать производственные показатели и оптимизировать собственные расходы. Понятно, что ради снижения расходов компании готовы внедрять самые новые решения.

Технологии и методы анализа, которые используются для анализа Big Data:

• Data Mining;
• краудсорсинг;
• смешение и интеграция данных;
• машинное обучение;
• искусственные нейронные сети;
• распознавание образов;
• прогнозная аналитика;
• имитационное моделирование;
• пространственный анализ;
• статистический анализ;
• визуализация аналитических данных.

Аналитика Big Data в мире

Сейчас аналитика больших данных используется в более чем 50 % компаний по всему миру. При том, что в 2015 году этот показатель составлял всего лишь 17 %. Big Data активнее всего используется компаниями, которые работают в сфере телекоммуникаций и финансовых услуг. Затем идут компании, которые специализируются на технологиях в здравоохранении. Минимальное использование аналитики Big Data в образовательных компаниях: в большинстве случаев представители этой сферы заявляли о намерении использовать технологии в ближайшем будущем.

В США аналитика Big Data используется наиболее активно: более 55 % компаний из самых разных сфер работают с этой технологией. В Европе и Азии востребованность аналитики больших данных ненамного ниже — около 53 %.

А что в России?

По мнению аналитиков IDC, Россия является крупнейшим региональным рынком решений по аналитике Big Data. Рост объемов рынка таких решений в Центральной и Восточной Европе достаточно активный, каждый год этот показатель увеличивается на 11%. К 2022 году он достигнет в количественном отношении $5,4 млрд. Во многом такое бурное развитие рынка обуславливается ростом этой сферы в России. В 2018 году выручка от продажи соответствующих решений в РФ составила 40% от совокупного объема инвестиций в технологии обработки Big Data всего региона.
В РФ больше всего на обработку Big Data тратят компании со стороны банковского и государственного секторов, телекоммуникационной индустрии и промышленности.

Что делает Big Data Analyst и сколько получает в России?

Специалист по анализу больших данных отвечает за изучение огромных массивов информации, как частично структурированных, так и неструктурированных. У банковских организаций это транзакции, у операторов — звонки и трафик, в ритейле — посещения клиентов и покупки. Как и говорилось выше, анализ Big Data позволяет обнаружить связи между различными факторами «сырой информационной истории», например, производственного процесса или химической реакции. На основе данных анализа разрабатываются новые подходы и решения в самых разных сферах — от производства до медицины.

Навыки, необходимые аналитику Big Data:

• Умение быстро разобраться в особенностях в той области, для которой проводится анализ, погрузиться в аспекты нужной сферы. Это может быть ритейл, нефтегазовая отрасль, медицина и т.п.
• Знание методов статистического анализа данных, построения математических моделей (нейронные сети, байесовские сети, кластеризация, регрессионный, факторный, дисперсионный и корреляционный анализы и т.п.).
• Уметь извлекать данные из разных источников, преобразовывать их для анализа, загружать в аналитическую базу данных.
• Владение SQL.
• Знание английского языка на уровне, достаточном для беспроблемного чтения технической документации.
• Знание Python (хотя бы основ), Bash (без него очень сложно обойтись в процессе работы), плюс желательно знать основы Java и Scala (нужны для активного использования Spark, одного из самых популярных фреймворков для работы с большими данными).
• Умение работать с Hadoop.

Ну а сколько получает Big Data аналитик?

Специалисты по Big Data сейчас в дефиците, спрос превышает предложение. Все потому, что бизнес приходит к пониманию: для развития нужны новые технологии, а для развития технологий требуются специалисты.

Так вот, Data Scientist и Data Analyst в США вошли в топ-3 лучших профессий 2017 года по версии кадрового агентства Glassdoor. Средняя заработная плата этих специалистов в Америке начинается от $100 тысяч в год. В России специалисты по машинному обучению получают от 130 до 300 тысяч рублей в месяц, аналитики больших данных — от 73 до 200 тысяч рублей в месяц. Все зависит от опыта и квалификации. Конечно, есть вакансии с меньшей зарплатой, есть — с большей. Максимальный спрос на аналитиков больших данных в Москве и Санкт-Петербурге. На Москву, что не удивительно, приходится около 50 % активных вакансий (по данным hh.ru). Гораздо меньший спрос — в Минске и Киеве. Стоит отметить, что некоторые вакансии предлагают гибкий график и удаленную работу. Но в целом, компаниям требуются специалисты, которые работают в офисе.
Со временем можно ожидать повышения спроса на аналитиков Big Data и представителей смежных специальностей. Как и говорилось выше, кадровый голод в сфере технологий никто не отменял. Но, конечно, для того, чтобы стать Big Data аналитиком необходимо учиться и работать, улучшая как те навыки, что указаны выше, так и дополнительные. Одна из возможностей начать путь Big Data аналитика — записаться на курс от Geekbrains и опробовать свои силы в сфере работы с большими данными.