Какая команда нужна для работы с Big Data?

Встраивание аналитики больших данных в деятельность бизнеса на регулярной и профессиональной основе – это даже не отдельный функционал, а целое стратегическое направление. Без ответственных работников внедрение в жизнь больших планов в отношении больших данных, скорее всего, кончится неудачей.

В той или иной степени, с большими данными работают разные специалисты компании. К данным из внутренних источников имеют отношение буквально все работники. На этапе перехода к Данных много, а пользы нет? Только проверенные компании, которые специализируются на Big Data
большим данным и в процессе их использования есть ключевые функциональные роли, которые принципиальны для проекта.

1. Заказчик

Кто-то должен внутри бизнеса, находясь вне команды, поставить общую цель и сформулировать серию рабочих задач. Необходимо определить, как большие данные интегрируются в бизнес-модель и как изменится бизнес-модель после такой интеграции.

Заказчик не обязан разбираться в деталях больших данных, но должен понимать, зачем они бизнесу, какой результат они дают и как бизнес изменяется под их воздействием.

Заказчиком может быть некоторая группа специалистов и менеджеров, имеющих полномочия по подготовке решений высокого уровня в отношении бизнес-модели компании. Как правило, заказчик регулирует общие подходы к реализации проекта больших данных и выступает спонсором проекта.

За последние два года в некоторых западных компаниях появилась новая высокая должность – Директор по использованию данных (Chief Data Officer, CDO). Связано это с повышением роли данных в управлении бизнесом и, в частности, с перспективами технологии Big Data.

– Сергей Свинарев, «Большим данным нужны большие начальники?» 

2. Руководитель проекта

Возглавляет команду проекта больших данных руководитель проекта. В его обязанности входит общая организация работ по проекту, в том числе детализация целей, задач и планов проекта, оперативное планирование и контроль этапов проекта, планирование ресурсов и времени специалистов проекта.

Руководитель непосредственно отвечает перед заказчиком по ходу реализации проекта больших данных. Руководитель может совмещать свои функции с любыми функциями других ролей. В качестве руководителя хорошо выбрать профессионала с высоким уровнем подготовки и опытом в сфере экономического или маркетингового анализа данных, который обладает также знаниями в области ИТ-технологий. Конечно же, руководитель подбирается из числа тех, кто способен возглавить проект как управленец.

Data Chef курирует (контролирует и координирует) работу по анализу данных. Он обладает знаниями в области анализа данных. В идеале Data Chef имеет уверенную подготовку в области официальной статистики и твердое понимание архитектуры данных.

 – Martyn Jones, «7 New Big Data Roles for 2015»

3. Специалист по стратегическому планированию

Развитием проекта больших данных, в том числе укрупненным его планированием, может заниматься руководитель проекта. Для полноценного управления задачами проекта (когда нужно точно соблюсти намеченные заказчиком параметры и полученные результаты) привлекается специалист по стратегическому планированию. В его функционал входит планирование и координация проекта больших данных и бизнес-модели. Этот специалист должен иметь право готовить решения высокого уровня по изменению стратегии развития компании и проекта развития больших данных, осуществляя при этом постоянную оценку результативности последнего.

Специалист по стратегическому планированию отслеживает текущий ход проекта по использованию больших данных, учитывает особенности бизнес-процессов и бизнес-объектов компании и имеет право предлагать решения по их максимально эффективному интегрированию.

Выделив отдельную роль специалисту по стратегическому планированию, вы существенно повышаете «ответственность» проекта и снижаете риск потери эффективности больших данных.

Функционал стратегического планирования можно разделить между заказчиком и руководителем. Но это не самая лучшая идея, потому что у них просто не хватит время на ежедневную работу в этом направлении.

Если вы хотите построить компанию «на века», вы должны учитывать ее будущие потребности. Здесь придет на помощь стратегическое мышление.

– Дмитрий Тузов, «Что могут дать предприятию большие данные?» – PCWeek

4. Аналитик проекта

Одна из важнейших составляющих в проекте больших данных – аналитика. От работы аналитиков зависит конечный результат. Можно собрать идеальные громадные массивы красиво структурированных данных и поместить их на великолепный суперсервер, но, если аналитик ничего не скажет полезного для бизнеса после того, как замучает хранилище запросами, – проект провалится. Аналитик в какой-то степени защищен от неудачи, если изначально разработана качественная модель потоков больших данных с выходными параметрами и показателями. Но от уровня профессионализма аналитика зависит очень многое, особенно – когда на строгий суд заказчика понадобится представить хоть что-нибудь впечатляющее и объяснить, куда потрачены дефицитные финансовые ресурсы.

По теме: Что такое демонстрация проекта и зачем она вам нужна?

Аналитики проекта больших данных должны обладать профессиональными знаниями и умениями в области сбора и обработки данных, в области анализа экономических, финансовых, статистических и производственных данных. Фактически вся ключевая смысловая работа с данными ложиться на аналитиков проекта.

Выделим несколько специализаций:

• Аналитик бизнес-модели. Зона ответственности: понимание бизнес-модели, анализ бизнес-модели на основе традиционных и больших данных, формулировка и обоснование изменений в бизнес-модель, подготовка решений по бизнес-модели, увязка бизнес-модели и больших данных, требования к данным;

• Аналитик структур данных. Зона ответственности: понимание структур данных и их связь с элементами бизнес-модели, контроль и корректировка смысловой целостности данных и метаданных, изменение структур и классификации данных, контроль качества данных, сервис данных;

• Аналитик рисков. Зона ответственности: оценка потенциальных угроз данным и контроль информационных рисков, контроль достоверности данных и их источников, контроль рисков принятия решений на основе больших данных, вероятностная оценка прогнозных моделей.

Аналитик – это уникальный специалист для каждого конкретного бизнеса. Он обладает исключительными компетенциями для понимания бизнес-модели. Уровень информации, к которой он имеет доступ – это фактически уровень топ-менеджмента соответствующего направления. По доступу к информации, осведомленности и пониманию особенностей бизнеса он ближе к руководству, чем к экспертной категории сотрудников. А иногда аналитик объективней и реалистичней, чем само руководство. От результатов его работы зависит общее понимание экономической, финансовой, производственной, маркетинговой ситуации, в которой оказался бизнес сегодня. Аналитик знает, что к этому привело и как бизнес поведет себя в будущем.

Опыт работы профессионального аналитика весьма ценен для любого бизнеса. Он уникален так же, как уникальна каждая отстроенная бизнес-модель.

Аналитик должен быть относительно независим и незаинтересован в том, чтобы своими расчетами и выводами подтверждать свою же правоту. Хороший аналитик сам должен находить свои ошибки и исправлять их.

Не следует путать аналитика со статистиком или математиком. Он обычно понимает и умеет формулировать математические модели определенного класса, умеет применять статистические инструменты для обработки данных. В большей же степени он должен разбираться в том, как данные увязаны с бизнес-процессами и бизнес-объектами. Аналитику необходимо уметь разбираться в том, что означают собранные и обработанные данные с точки зрения экономических, производственных и рыночных процессов. Математические исследования и статистические доказательства – это не зона ответственности аналитика, это его инструментарий.

Аналитик – это и эксперт, и исследователь, и исполнитель, и дизайнер данных. Но аналитик не в состоянии заменить, например, «классного» менеджера по продажам. Это значит, что никакой глубокий, традиционный или большой анализ данных не наладит производственный или логистический процесс, не улучшит привлекательность и качество продукта, не гарантирует устойчивое финансовое положение. Аналитика лишь в состоянии показать, что идет не так в бизнесе, что заменить в бизнес-модели, на что обратить внимание.

Правильно интерпретировать скрытые в массивах больших данных тенденции и взаимосвязи могут в буквальном смысле считанные подготовленные специалисты. В некоторой степени их способны заменить фильтры и распознаватели структур, но качество получаемых на выходе результатов пока оставляет желать лучшего.

– «Большие данные (Big Data)» 

5. ИТ-администратор проекта

Функции администраторов очень важны с точки зрения обеспечения ИТ-инфраструктуры проекта больших данных. По большому счету специалисты, вовлекаемые в работу с большими данными со стороны подразделений, ответственных за информационные технологии, решают общие вопросы бесперебойной работы программно-аппаратной инфраструктуры. Требования к ИТ с позиции больших данных имеют отличия по емкости, скорости и безопасности.

Можно говорить о следующих ключевых ИТ-администраторах проекта:

• Администратор хранилища данных. Зона ответственности: принятие данных в хранилище, проверка структуры данных, контроль размещения данных, исправление формата данных, формулирование и контроль запросов к хранилищу данных, контроль извлекаемых данных, сервис хранилища;

• Администратор структур данных. Зона ответственности: контроль и исправление структуры данных, классификация данных, контроль и получение метаданных, контроль и корректировка смысловой целостности данных, мониторинг качества данных;

• Администратор системы защиты. Зона ответственности: обеспечение защищенных соединений, контроль качества связи, защита конфиденциальности данных, управление учетными данными пользователей.

Очевидно, что одним из способов сокращения команды проекта и издержек на такую команду – это ИТ-администратор «в одном лице», который будет выполнять все упомянутые и сопутствующие им работы. Такой подход рекомендуется для старта проекта, но не для регулярной работы с большими данными.

Big Data открывает перед ИТ-отделами новые возможности для наращивания ценности и формирования тесных отношений с бизнес-подразделениями, позволяя повысить доходы и укрепить финансовое положение компании. Проекты Big Data делают ИТ-подразделения стратегическим партнером бизнес-подразделений.

– «Большие данные (Big Data)» 

6. Программист

Задача программиста – разрабатывать программные средства обработки данных и автоматизировать работу с ними. Программист, вовлекаемый в команду проекта больших данных, должен иметь профессиональные знания и навыки не только в сфере объектно-ориентированного, функционального программирования и разработки алгоритмов, но и в сфере обработки крупных объемов информации.

Вопросы автоматизации больших данных бизнеса действительно серьезны для развития проекта. Большие объемы и задачи требуют существенного – в разы – сокращения времени на выполнение рутинных, типовых и повторяющихся операций. При этом следует понимать, что автоматическое выполнение операций компьютером предпочтительнее, даже если оно сравнимо по затратам времени с выполнением той же операции работником вручную (или в полуавтоматическом режиме).

Специалистов из команды больших данных надо освобождать от неквалифицированного труда. В этой связи важен вопрос построения пользовательских интерфейсов программных продуктов для работы с большими данными. К ним есть несколько особых требований: простота, наглядность, логичность, системность, интуитивность и наличие подсказок. Громоздкие и сложные интерфейсы сведут на нет мощный функционал кода.

ПО для аналитической обработки Big Data и выявления закономерностей — это большая группа приложений, которая может быть классифицирована по разным принципам. Приложения для оффлайновой или онлайновой обработки по запросу, средства выявления закономерностей в данных, приложения для различных вертикальных областей, например, решения для розничной торговли, оптимизации транспортных потоков, и т.п. Данное ПО также может быть классифицировано по типу данных, которые анализируются: текстовые, аудио, видео, сетевые структуры. Кроме того, приложения можно разделить по степени сложности задач: базовая агрегация или сложные прогнозные задачи.

– Андрей Найдич, «Big Data: проблема, технология, рынок»

7. Супервайзер

Если у заказчика нет возможности компетентно и регулярно следить за ходом проекта больших данных, то имеет смысл ввести около-проектную позицию супервайзера.

Для объективной оценки работы команды проекта в целом и по отдельным задачам нужен относительно независимый контроль. А для того, чтобы избежать неожиданного провала проекта или временных задержек в реализации конкретных работ по разным управляемым причинам, организуется постоянный, но ненавязчивый контроль.

Желательно, чтобы супервайзер взаимодействовал с заказчиком, но не подчинялся ему. Супервайзером может быть внешний консультант, понимающий суть и задачи проекта. Скорее всего, внешний консультант примет участие в проекте больших данных с самого его начала.

Супервайзерам должно быть предоставлено решающее слово в остановке производственного процесса, если оказывается, что невозможно изготовить качественную продукцию. Им следует предоставить право отказаться от обязательств по выполнению графика в случае, когда становится известно, что иные обязательства помешают им к сроку выполнить свою часть работы.

– Уйльям Райс-Джонстон, «Тактический менеджмент» - Санкт-Петербург: Питер, 2001

8. Эксперт

Команде проекта понадобится участие различных экспертов. Если такое участие будет длительным, то экспертов придется включить в команду. Наверное, излишне говорить, что эксперты должны быть профессионалами в вопросах, которые помогают решать. Приветствуется привлечение независимых внешних консультантов.

Не стоит пытаться экономить на внешних экспертах и консультантах при принятии решений, которым предстоит определять направление развития и успех вашего предприятия на десятилетия вперёд. В совокупной стоимости любого долгосрочного инвестиционного решения доля затрат на них ничтожно мала. Поэтому, сэкономив на спичках, вы рискуете потерять большую часть своих инвестиций просто из-за неправильного прогноза изменений внешних условий.

– Владимир Стус, «Как работать с внешними консультантами?»

Команда проекта больших данных по численному и качественному составу формируется в зависимости от сложности и амбициозности поставленных целей. Если поручено в сжатые сроки обеспечить внедрение большой аналитики в компании, то команда будет достаточно внушительна. Учитывая же практическую сторону вопроса и набирающий обороты рынок инструментов и специалистов, работающих с большими данными, начинать проект лучше с командой до 5 – 7 человек.

Надо понимать, что доступные технологии Big Data – всего лишь конструктор для сборки средств автоматизации деятельности персонала информационно-аналитических систем – инструмента, повышающего качество решений. И прежде чем что-то покупать, надо еще понять, что именно из более чем 900 продуктов конструктора следует применить. То есть, попробовать. Затем надо еще обучить людей как использованию собранного под задачу инструмента, так и самому процессу сборки.

– CNews, «Big Data в России: оцениваем возможности и риски»

Команда, работающая с большими данными, обязана постоянно совершенствоваться и развиваться, повышая свой профессиональный уровень и осваивая все более сложные и производительные инструменты. Такая команда становится экспертным центром бизнеса в области больших данных и аналитики. А являясь своеобразным центром компетенции, команда проекта больших данных вовлекает и обучает потребителей больших данных внутри бизнеса.

Общение команды проекта с работниками компании на разных управленческих уровнях помогает в повышении качества отдельных элементов большой аналитики и ее пользы не только для принятия стратегических решений, но и для повседневной работы по таким направлениям как экономика, кадры, финансы, логистика, операционный менеджмент, маркетинг, продажи, коммуникации, производство, качество, безопасность, гарантийный и послепродажный сервис.

Если бизнес стремится извлечь максимальную выгоду от использования больших данных, то поддержание высокого профессионального уровня команды – одна из его базовых стратегических задач.

Неминуемо возникнет проблема сохранения успешной команды проекта больших данных, а также проблема ее расширения или трансформации во что-то большее.

Утрата одного профессионала, особенно владеющего сложными инструментами, может привести к существенной потере производительности команды в целом. А если специалист был ключевым – то и к закрытию проекта больших данных.

По теме: Эффективный менеджмент без регистрации и SMS

Специалисты по персоналу отмечали ряд сложностей в подборе аналитиков больших данных. Это было вызвано дефицитом квалифицированных кадров и отсутствием критериев по оценке компетенций.

– Исследовательский центр портала Superjob, «Аналитик Big Data»