11 рисков при работе с big data

Владислав Тюрин из проекта Bizobj продолжает рассказ о работе с большими данными. Какие риски поджидают вас в big data и как с ними справиться – читайте ниже.

Любой менеджмент несет в себе определенные риски из-за возможности принять неверное решение при информационных ограничениях. Именно для повышения эффективности принимаемых решений и снижения рисков неправильных решений компании обращаются к большим данным. Но ведь и большим данным тоже сопутствуют риски. Оценим некоторые из них.

1. Риск конфиденциальности

Потеря контроля над данными и их передача в руки конкурентов может нанести серьезный экономический и репутационный ущерб. Разглашение конфиденциальных данных в СМИ или в Сети тоже нежелательны для бизнеса, даже если это не представляет явного коммерческого интереса для кого-то из игроков рынка.

Снизить опасность разглашения данных призвана система обеспечения безопасности.

В связи с риском конфиденциальности стоит отметить особый статус сервисов хранения и обработки данных, которые предоставляются сторонними компаниями («облака сторонних лиц»). Указанный риск здесь выше и непосредственно неподконтролен. Остается доверять порядочности таких поставщиков услуг и включать в контракты условия о компенсации разглашения данных третьим лицам.

Никогда ещё условия для киберпреступников не были так хороши как теперь, когда так много информации, обсуждений, взаимодействий и транзакций происходит онлайн. Компаниям стоит больше волноваться о единичных случаях утечки данных или о хакерских атаках, истории о которых пишут газеты; утечки, затрагивающие big data, могут иметь далеко идущие последствия, которые могут существенно испортить репутацию, иметь юридические последствия и даже привести к краху.

– Steve Durbin, «Большие возможности – большие риски» 

2. Риск потери данных

Существенным риском для больших данных является их утрата (частичная или полная). Причины могут быть различны: от активности злоумышленников, до чрезвычайной ситуации. Единственный способ защитится – это резервирование данных. Очевидно однократное резервирование. Если оценка риска велика и сильно влияет на бизнес, то рекомендованы двукратное и трехкратное резервирование.

Одним из способов снижения рисков потери данных из-за ошибочных действий специалистов и пользователей – это предоставление рабочих копий данных (реплики полные или по запросам).

Представьте, как жалко будет потерять результаты даже месячной работы! А шестимесячной? А годовой? Не можете найти историю переписки, где ваш сотрудник обсуждал финансовые условия сотрудничества с ключевым клиентом? Нежелательное событие может наступить в результате технических сбоев оборудования, случайных или целенаправленных недобросовестных действий сотрудников.

– Евгений Севастьянов, «Безопасность бизнеса: Разбор рисков «Потери важных данных» и частично «Вредительства недовольных сотрудников» 

3. Риск переполнения хранилища

Неоптимальная система сбора и хранения больших данных в конечном итоге приведет к переполнению хранилища и утрате вновь получаемых данных при отсутствии места для физического их размещения. Особенность такой утраты данных – это потеря более актуальных «свежих» данных? поступающих после полного заполнения свободных объемов хранилища. Помогает тщательное планирование получения данных, умение оценивать их объемы и формировать хранилища, которые имеют адекватные емкости носителей для хранения.

Развитие новых подходов к обработке и хранению больших объемов данных действительно изменяет требования и идеологию аппаратной части – на первый план выходят стандартизация и универсальность. В проектах Big Data речь идет о нескольких десятках серверов или стоек.» (CNews, «Big Data в России: оцениваем возможности и риски.

–

Читайте также: Материалы по тематике больших данных

4. Риск снижения эффективности больших данных

Четкость структуры собираемых и обрабатываемых данных, их управляемость и качество направлены на то, чтобы исключить снижение результативности работы с большими данными по мере разрастания их объемов. Помещение данных в хранилище должно быть управляемым и Данных много, а пользы нет? Только проверенные компании, которые специализируются на Big Data
контролируемым. Даже если переполнение хранилищу не грозит, то сохранять в нем «всякие» данные – не самый удачный вариант. Попробуйте разберитесь в них потом! Очевидно, что приходится затрачивать много времени и вычислительных ресурсов в хранилище с плохой структурой данных, с низким уровнем индексирования и классификации данных, с неясными типами и минимальными метаданными для поиска информации.

Для устранения риска снижения эффективности больших данных четко формулируются принципы упаковывания данных в хранилище и их структурирования. Сомнительные данные рекомендуется размещать обособлено.

Однако инфраструктура у большинства заказчиков еще недостаточно развита, культура хранения информации у нас отсутствует, данные часто хранятся разрозненно, часто дублируются, нет классификаторов.

– Денис Андриков, ИКС-Медиа, «Big Data в поиске себя»

5. Риск формирования неэффективного набора данных

Совокупность больших данных решает вполне конкретные цели и задачи, стоящие перед бизнесом. Бесконтрольный сбор (получение) и хранение данных могут привести к тому, что данные будут большими, четкими, удобными, но бесполезными по содержанию. Они могут быть неполными и не представлять полноценно фактическую сторону дела. На базе таких данных аналитики и менеджеры не смогут принять сколь-либо значимое решение.

Данные, а тем более большие, контролируются не только по форме, но и по содержанию, чтобы минимизировать риск формирования информационного набора неэффективного в целом или для решения отдельных поставленных задач. Допустимо рассматривать этот риск как несоответствие больших данных и бизнес-модели.

Можно собрать петабайты и зетабайты неструктурированных данных, но так и не суметь найти в этом «мусоре» полезные для решения конкретных задач сведения.

– Дмитрий Тузов, «Что могут дать предприятию большие данные?» – PCWeek

6. Риск ошибок больших данных

Несколько примитивнейших ошибок (или даже одна) могут легко испортить долгую кропотливую работу. Большие данные – не исключение. А учитывая, что объемы больших данных способны достигать огромных размеров – ошибки весьма вероятны (как в содержании и структуре данных, так и в инструментах работы с ними).

Для снижения риска ошибок больших данных необходимо:

• Проводить периодические ревизии данных (автоматизированные и выборочные);

• Контролировать ключевые параметры данных;

• Вести журнал выявленных ошибок и их устранения;

• Разрабатывать инструменты и алгоритмы устранения или нивелирования ошибок и некорректных состояний данных;

• Оценивать результативность инструментов;

• Проводить независимую оценку и экспертизу;

• Применять специальные средства тестирования данных и инструментов, которые разрабатываются самостоятельно;

• Использовать инструменты последовательно, подконтрольно и пошагово с постоянным контролем обрабатываемых данных в целом или по выборкам.

Вместе с тем статистика совершенно не раскрывала сложных реалий конфликта. Цифры зачастую оказывались неточными и бесполезными для оценки реального положения. Информация, конечно, способна улучшить жизнь, но при анализе статистических данных следует больше полагаться на здравый смысл.

– Кеннет Нил Кукьер, Виктор Майер-Шёнбергер, «Большие данные»

7. Риск ошибок бизнес-модели

В отличии от риска ошибок больших данных, этот риск гораздо более серьезен и менее очевиден. Действительно: утверждать об ошибке, допущенной в проектировании или понимании бизнес-модели, может только квалифицированный и опытный менеджер, знающий и понимающий бизнес. К тому же, ошибка это или особенность бизнес-модели? В какой-то степени для ответа на такой вопрос и используются большие данные.

Бизнес-модели особенно важны для новых концепций бизнеса — новых товаров или услуг, или фундаментально других подходов к разработке или доставке существующих товаров и услуг. Главный вопрос, который встает перед каждым потенциальным предпринимателем, звучит так: «Действительно ли это нераскрытая возможность или просто плохая идея, которую другие уже забраковали?».

– Роберт Грант, «Современный стратегический анализ»

По теме: Две стадии гроусхакинга: как не ошибиться при выборе стратегии

8. Риск экономической нецелесообразности

Не исключено, что аналитики не найдут ответы на проблемные вопросы бизнеса, обработав доступный им объем больших данных. Замена аналитиков, реформирование модели потоков больших данных, реструктуризация данных исправят как-то ситуацию в будущем. Однако затраты на проект произведены, а результат отсутствует.

Полностью избавиться от риска экономической нецелесообразности больших данных нельзя. Но минимизировать – реально.

Вот что нужно для этого использовать:

• Корректную постановку целей и задач проекта;

• Стратегическое планирование проекта и его окружения;

• Стратегию интегрирования больших данных в бизнес-модель;

• Формирование профессиональной команды проекта;

• Полноценное обеспечение проекта ресурсами;

• Эффективное управление проектом;

• Контроль за ходом проекта.

Самым серьезным препятствием к применению аналитики «больших данных» является пробел в знаниях о возможностях, которые дают эти технологии. Большинство людей просто не понимают, насколько инновационные вещи можно делать с большими объемами данных и аналитикой. Им нужно наглядно объяснять, что эти технологии способны полностью изменить весь их бизнес, вывести компанию на новый уровень развития, предоставив ей конкурентные преимущества.

 – Александр Василенко, ИКС-медиа, «Big Data в поиске себя»

9. Риск внешнего консультанта

Большие данные – это сложный ресурс для бизнеса. Весьма вероятным является привлечение внешнего консультанта. Но это обуславливает и соответствующий риск.

Внешней консультант помогает бизнесу, но остается вне поля его прямого воздействия. Хорошо прописанный контракт не спасает от разногласий и потери взаимного понимания. Полная передача на аутсорсинг работы с большими данными сторонней организации или заказ системы управления большими данными «под ключ» – это не очень разумный способ истратить денежные средства. Если бизнесу требуются большие данные, он обязан сам управлять ими. Конечно же, для среднего и малого бизнеса лучше искать разумный компромисс между внешним консультированием и собственными силами.

Бизнес всегда понимает и будет понимать о себе больше, чем любой внешний консультант. У консультанта есть и другая неприятная «особенность» – он в любой момент готов уйти и забрать с собой бесценные знания и опыт.

Одна из проблем при выборе консультанта обусловлена тем, что в консалтинговых компаниях продают систему и дают обещания заказчику одни люди, а внедряют ее уже другие. Первые, поднаторевшие в маркетинге и общении с покупателями, недостаточно разбираются в системе. Специалисты же по внедрению, прошедшие школу реальных проектов, знают, что не все так просто, как на словах.

– Василий Кашкин, Юлиана Петрова, «Факторы риска при внедрении учетно-управленческих систем класса ERP»

10. Риск неготовности к переменам

Может так оказаться, что большие данные и аналитика будут противоречить внутренней культуре компании и сложившемуся стилю руководства. Отсутствие в таком случае готовности к переменам сделает большие данные бесполезными. Придется от них отказаться, чтобы не тратить лишние средства, или оставить в суррогатном виде для создания видимости «информационно-инновационного современного развивающегося бизнеса».

Перед запуском проекта больших данных оцените готовность бизнеса к переменам, чтобы исключить или минимизировать риск их культурной несовместимости.

О схожих проблемах применимости Big Data в проектах рассуждал и его коллега из «Росэнергобанка», отмечая непреложную истину, что для Big Data проектов нужно созреть: ИТ-департаменты банков должны понимать четко не только саму проблему, но и устранять ее причину и следствие. В итоге вполне вероятна ситуация, когда Big Data становятся ненужными или избыточными элементами в ИТ-стратегии, что элиминирует сам экономический эффект.

– CNews, «Big Data в России: оцениваем возможности и риски»

11. Риск мошенничества

Когда приходится работать с внешними консультантами или создавать команды проекта больших данных, существует вероятность столкнуться с банальным мошенничеством.

Особенно велик риск мошенничества при покупке больших данных «оптом и в розницу» или при подключении платных сервисов сбора и обработки больших данных. Проверить достоверность внешней информации или эффективность алгоритмов ее обработки крайне сложно. Необходимо быть высоко квалифицированным и опытным специалистом, чтобы выявить подделанные или скомпрометированные данные. В самом деле, ну как для терабайтного массива цифровых данных провести полноценную экспертизу? Да и сколько она будет стоить…

У мошенников много вариантов для формирования данных. Данные можно специальным образом сгенерировать или имитировать, скрывая это за красивым фасадом «сверхчувствительного» алгоритма и «сверхумного» регистратора.

Качественные данные стоят недешево, и тут высок риск мошенничества, поэтому и подходить к их покупке следует осторожно.

Финансовая индустрия теряет на мошеннических транзакциях около $80 млрд в год, а суммарный ущерб, который мошенники наносят мировой экономике, аналитики оценивают в сотни миллиардов и даже триллионы долларов.

– Кирилл Тихонов, «Большие данные» против мошенников»

Фото на обложке: Shutterstock.