Солнечные и мрачные лики BigData

За очарованием технологии, поднимающей прибыль, спасающей жизни и приближающей нас к разгадке вопросов Вселенной, не может не скрываться тёмная сторона. Поговорим и о светлом, и о тёмном лике больших данных.

При рождении нового технологического направления в IT-индустрии большинству людей практически всегда непонятны все возможные последствия использования новой технологии. Есть лишь смутные догадки относительно того, какие результаты эта технология может принести и каких целей с помощью неё можно достичь. Как и при рождении человеческого дитя практически всегда непонятно, кем он станет в будущем, так и при появлении новой технологии создатели этой технологии могут лишь предположить, во что же она превратиться по мере развития и взросления.

Когда же технологическое направление выходит в большой мир, приобретает известность и начинает использоваться для решения различных задач, то количество вариантов развития и использования возрастает многократно. Хорошо, если большинство этих вариантов предполагает использование технологии для дальнейшего роста и процветания, но, как показывает история, технология в руках человека - это инструмент, который может и созидать, и разрушать.

Сравнительно недавно возникшее технологическое направление Big Data породило множество разговоров о том, какие успехи могут принести большие данные бизнесу, государству и человечеству в целом. Первые робкие попытки анализа больших данных принесли новые, достаточно интересные факты, которые помогли взглянуть на возникающие проблемы с другого, более высокого уровня. А растущий объём данных и стоимость их хранения и обработки привели к тому, что технологии больших Данных действительно стали востребованными.

На волне первых коммерческих успехов стало понятно, что за технологиями обработки действительно больших массивов данных скрываются возможности сделать подтверждённое статистически открытие. Так большие данные проникли на ЦЕРН и стали принимать участие в исследовании фундаментальных законов Вселенной. Возможно, она даст нам шанс сделать правильный вывод из всего огромного накопленного массива данных и понять корреляционные связи между различными параметрами модели.

Большие данные применяется для ранней диагностики заболеваний недоношенных детей в США (Project Artemis). Отслеживание в режиме реального времени 16 различных параметров у детей позволяют выявить недомогание на ранней стадии и предпринять необходимые действия для устранения его развития.

Кто точно оценил поведенческий анализ, так это киноманы.

Источник: kinopoisk.ru

Основная часть коммерческого успеха больших данных основывается на анализе поведения клиентов. В настоящее время дальновидные коммерческие компании не разбрасываются данными о клиентах, а настойчиво ищут их в доступных источниках, сохраняют то, что у них есть и пытаются найти корреляции между различными параметрами для построения модели, способной повысить прибыль и удержать клиента. Компании бережно сохраняют историю покупок и затрат каждого клиента, что позволяет узнать о наших предпочтениях практически всё: что мы предпочитаем покупать в пятницу вечером, какой вид печенья наш любимый, сколько мы тратим денег на сотовую связь со своими родственниками, как часто обедаем в ресторане, делаем ли покупки детских вещей и часто ли летаем в отпуск в тропические страны? Если раньше эта история хранилась только для целей рекламаций и решения возникающих споров с клиентами, то теперь эти данные сохраняются и рассматриваются под различными углами в попытке продать дополнительные товары или сервис, чтобы получить максимум соотношения прибыли и удовлетворенности для каждого клиента.

Кроме того, компании собирают данные из социальных сетей и открытых источников для того, чтобы узнать мнение людей о компании, а также составить психологический портрет пользователей. Теперь нет необходимости проводить уличные опросы пользователей с целью узнать, что они думают о компании и конкретном продукте - достаточно найти в Интернете информацию об этом из статей, блогов и комментариев, проанализировать и получить результаты, в которых будет явно видно, что потребителям нравится.

Полученные результаты анализа истории покупок каждого потребителя складываются в огромный статистический массив данных, используемый для повышения уровня лояльности клиентов, повышения качества сервиса, предложения новых услуг и товаров. В дополнение к этому, к массиву данных применяют теорию вероятностей для прогнозирования вероятности наступления определенного события. Это дает возможность прогнозировать поведение людей с определенной степенью погрешности. Если вы предпочитаете слушать музыкальных исполнителей из определенного жанра музыки, то какова вероятность того, что вы будете слушать другой жанр и стоит ли вам его предлагать? Если вы предпочитаете азиатскую кухню и постоянно посещаете рестораны с ней, оставляя об этом записи в социальных сетях, то стоит ли вам в следующий раз предлагать арабскую, европейскую или мексиканскую кухню?

Кажется, ещё немного, и технологии больших данных будут узнавать о ваших желаниях раньше, чем они появятся у вас лично. Не успеете вы подумать о том, что стоит сходить в кино на новый, интересный фильм, как информационная система уже забронирует билет на подходящий сеанс, выберет ваше любимое место на основе информации о прошлых предпочтениях и закажет попкорн и напиток, который вас будет ожидать на входе в кинозал. Вам останется только подтвердить свое желание нажатием на кнопку.

Такое будущее некоторые евангелисты больших данных обещают уже через 10-15 лет, но их прогнозы не подтверждаются статистически и являются субъективными предположениями.

В настоящее же время большие данные используются для решения определенных задач, которые можно условно разделить на несколько областей применений.

Каталог Библиотеки Конгресса

Источник: Википедия

Пока персонализированные предложения товаров и услуг всё еще остаются красивыми обещаниями на бумаге. Но в этом направлении сделано уже очень многое: после того, как у компаний появились данные о своих клиентах, по которым их можно было классифицировать и типизировать, немедленно начались аналитические работы по сегментации клиентов, разработке предложений для клиентов определенной категории и выводу из обращения непопулярных товаров и услуг, которые стоят или слишком дорого, или слишком дешево и не могут найти правильного потребителя из подходящего сегмента.

Это помогает компаниям сосредоточиться на определенном сегменте рынка, чтобы не растрачивать средства и время на те ниши, где предложения компании будут неинтересны потребителям. Слоган «Каждый клиент важен для нас» приобретает особый оттенок после того, как данные о каждом клиенте проанализированы по какому-то признаку (например, уровень расходов) или совокупности признаков, и клиент был определен в конкретный сегмент. Разделение клиентов на сегменты позволяет компаниям узнать, кто для них действительно дорог и приносит больший доход, а кто является убыточным и бесперспективным клиентом.

Также сегментация клиентов позволяет существовать рекомендательным сервисам, например, Spotify. На основе ваших музыкальных предпочтений этот сервис предложит вам наиболее подходящих исполнителей, которые могут вам понравиться. Сервис пользуется заслуженной популярностью во всем мире, поскольку его рекомендация часто совпадают с вашими вкусами.

Компании сегментируют не только своих существующих клиентов, но и анализируют рынок в попытке привлечь новых клиентов. Для этого компании строят симуляционные модели, которые прогнозируют возможных успех того или иного продукта для определенной ниши рынка. Это позволяет компаниям выводить на рынок новые товары и услуг с определенной уверенностью. Если раньше эта уверенность базировалась на маркетинговых исследованиях и социологических опросах и включала в себя только маленькое количество опрошенных людей, то сейчас можно создать симуляцию на основе накопленных статистических данных из всевозможных областей, что позволяет учитывать гораздо большое количество мнений и факторов.

Множество компаний анализируют собственную корзину товаров и услуг в постоянном режиме, пытаясь изучить прошлый, текущий и будущий спрос для того, чтобы вовремя увеличить производство популярных продуктов, поднять спрос на плохо продающиеся продукты путем снижения цены или с помощью маркетинговой акции и исключить из производства непопулярные продукты с целью снижения издержек. Это даёт возможность компаниям эффективно пользоваться собственными ресурсами и вовремя реагировать на постоянно меняющуюся обстановку на рынке.

Источник: Википедия

Большие данные внесли значительный вклад в борьбу с мошенничеством. Именно они позволили отслеживать нетипичное поведение клиента в режиме реального времени и предупреждать о возможном мошенничестве. Большинство крупных банков уже поняли выгоду использования больших данных для противодействия мошенничеству и внедрили или успешно внедряют необходимые решения.

Например, банк HSBC внедрил технологии больших данных в состав решения для противодействия мошенничеству с кредитными картами. В результате эффективность службы по выявлению случаев мошенничества повысилась в три раза, а точность его выявления - в десять раз. За первые же две недели эксплуатации семь специалистов службы безопасности HSBC выявили новые криминальные группы и схемы с общим потенциальным ущербом более $10 млн.

В России большие данные для противодействия мошенничеству используют такие банки, как Сбербанк, ВТБ24, Альфа-банк, Газпромбанк и другие.

Источник: flickr

T-Mobile использует данные биллинга (количество затрат клиента), чтобы определить клиентов, которым можно предложить более дорогие продукты. Также T-Mobile анализирует историю клиентов, долгое время пользующих услугами T-Mobile, чтобы понять, не собирается ли клиент уходить к другому провайдеру услуг в ближайшее время и предложить ему скидку или дополнительные услуги для повышения уровня его лояльности.

Celcom, провайдер услуг сотовой связи, использует большие данные для проведения высокоточных маркетинговых акций. На основе анализа данных в режиме реального времени оператор понимает потребности своих клиентов и своевременно предлагает наиболее выгодное для клиента и себя предложение.

Анализ клиентских данных дает возможность не только продавать больше, но также и оптимизировать процесс продаж, т. е. избавляться от ненужных звеньев в цепочке продаж, исключать непопулярные товары и сократить затраты на рекламу, которая не достигает целевой аудитории.

Из российских компаний можно упомянуть «Вымпелком», использующий большие данные для мониторинга качества обслуживания клиентов, подбора сервисов и тарифов. Кроме того, компания запустила пилотный проект по оценке кредитоспособности своих абонентов. К эксперименту подключились около 20 банков. Они получают от «Вымпелкома» обезличенные скоринговые баллы, рассчитанные по платежам за мобильную связь, оплате услуг со счета мобильного оператора и даже данным геолокации.

С 2011 МТС использует большие данные для анализа своих информации о затратах клиентов, количестве и качестве потребляемого интернет-трафика, чтобы делать персональные предложения.

Инструмент больших данных для повышения уровня продаж широко используется в банках. Анализируется вся доступная информация о клиенте - кредитная история, его поведение в социальных сетях, прошлые покупки для подготовки персональных предложений по банковским продуктам. В России это такие банки, как Сбербанк, ВТБ24, Альфа-банк, Тинкофф-банк и Газпромбанк.

Пункт наблюдения за самолётом P-3C Orion

Источник: Википедия

Большую часть данных в современном мире генерируют вовсе не люди, а датчики, установленные на различные машины и механизмы. Теперь данные с датчиков используются для прогнозирования неисправностей и предотвращения возможных аварий. Для компаний это является важной частью бизнеса, так как позволяет вовремя предупреждать простои техники и даже избегать человеческих жертв.

Southwest анализирует данные от датчиков на своих самолетах, чтобы определить сочетания факторов, при которых происходят поломки. Это помогло компании диагностировать неисправности на ранней стадии, устранить их развитие и ликвидировать опасность для пассажиров. Вы будете чувствовать себя уверенней, когда знаете, что самолет проверен многократно с помощью тысячи различных датчиков и все возможные проблемы уже вычислены и устранены.

Union Pacific использует тысячи датчиков для проверки состояния железнодорожных рельсов. Накопленный огромный объем информации и данные, поступающие в режиме реального времени позволяют компании прогнозировать возможный сход поезда с рельсов и устранять проблемы раньше, чем они произойдут.

Кадр из к/ф «Остров», 2005 г.

Источник: cinephiliamedia

Пользоваться методами больших данных начинают во многих сферах - в здравоохранении, нефтедобыче, страховании, ЖКХ- К компаниям во всех этих областях приходит понимание, что поиск новых данных и анализ уже накопленных даёт возможность увидеть неочевидные вещи и подтвердить их статистически.

Большие данные становятся реальностью, без которой тяжело обходитсья, а для некоторых это необходимость, позволяющая выжить на рынке и увеличить свою прибыль.

Большие данные начинают работать на государственном уровне и приносить пользу не только отдельным компаниям, но и обществу в целом. Например, в Сингапуре на улицах нет полиции, но везде стоят камеры, которые помогают предотвращать и расследовать преступления. Видеозапись преступления и неизбежность наказания заставляет задуматься о своих поступках.

В Канаде с помощью больших данных смогли исследовать факторы, влияющие на заболеваемость населения, провести их статистический анализ, оценить качество оказываемой медицинской помощи и использовать полученные результаты для разработки и реализации инициатив по развитию системы здравоохранения.

Налоговая служба США использует большие данные для повышения уровня собираемости налогов, Корейская таможня выявляет нелегальный экспорт и импорт, а Пенсионный департамент Великобритании - граждан, которые неправомерно получают различные социальные льготы и пособия. Очень широк спектр задач, решаемых в правоохранительной сфере: от перекрытия каналов транспортировки наркотиков и предотвращения терактов до поиска пропавших детей; при этом может использоваться анализ текстовой информации из соцсетей и различных форумов, где зафиксировано участие педофилов, анализ базы инцидентов, самой разнообразной агрегированной информации о знакомых семьи, об освобождённых преступниках и так далее.

В России также пытаются использовать методы больших данных для получения каких-либо значимых для государства результатов. Для этого создали Портал открытых данных, куда государственные организации выкладывают в общий доступ различные наборы данных, которые любой желающий может использовать для поиска интересных закономерностей и корреляций.

Несмотря на полезные, а порой и удивительные результаты, которые приносят большие данные для компаний и государств в настоящее время, существуют и негативные последствия использования больших данных для отдельного человека в частности. Основная проблема заключается в том, что у человека остается всё меньше личного пространства: с каждым годом он всё больше времени проводит под постоянным наблюдением со стороны компаний, государства и общества в целом. Все его действия тщательно записываются, анализируются, взвешиваются на весах, и при необходимости ограничиваются. У человека становится меньше возможностей управлять своей собственной жизнью. По сути человек лишается выбора, вместо этого ему предлагается псевдовыбор, состоящий из нескольких доступных ему пунктов. Человек, чей выбор определяется статистикой его поведения в прошлом, становится предсказуемым, ведомым и управляемым.

Это угрозы концептуального уровня, которые ведут к размытию границы между личной и публичной жизнью. Реальные же угрозы состоят в том, что персональные данные, попавшие в руки злоумышленников, могут использоваться в преступных целях. Например, если результаты анализа ваших счетов, профиля в социальной сети и истории поисковых запросов могут дать понять злоумышленникам, что вы собираетесь сделать крупную покупку в ближайшее время, это даёт толчок к ограблению или краже ваших средств. Если ваши результаты медицинских анализов попадут в распоряжение мошенников, то они могут их использовать для предложения фиктивного лечения по необоснованно дорогой цене.

На настоящий момент использование персональных данных в России регламентируется федеральным законом о защите персональных данных -152. В законе декларируется, что обработка персональных данных может осуществляться только с согласия субъекта персональных данных. На практике это означает, что вы должны письменно подтвердить своё согласие. Причём оператор может поручить обработку персональных данных другому лицу, что даёт возможность распоряжаться вашими персональными данные практически как угодно после того, как вы подписали бумагу со своим согласием, т. е. ваши персональные данные могут попасть в руки третьих лиц. И, хотя персональные данные не относятся к сфере больших данных напрямую, но применение методов больших данных к персональным данным могут выявить факты о человеке, которые он предпочел бы не предавать огласке. Результаты анализа персональной данных в сочетании со множеством информации из других источников могут использоваться для манипуляции человеком и ограничении его свободы выбора в будущем.

К результатам, получаемым в процессе обработки больших объемов информации, нужно относится крайне осторожно. Особенно если эти результаты связаны с конкретным человеком и характеризируют его действия с точки зрения законности. Если мы начнем использовать большие данные для вынесения приговора в отношении людей, то это может привести к непоправимым ошибкам. Уже есть практика отмены презумпции невиновности для административных правонарушений, если эти правонарушения были зафиксированы работающими в автоматическом режиме специальными техническими средствами, имеющими функции фото- и киносъемки, видеозаписи, или средствами фото- и киносъемки, видеозаписи. Если развивать эту практику дальше, то в скором времени вы можете оказаться убийцей только потому, что находились ближе всего к месту совершения убийства. Самое главное - зафиксировать этот факт с помощью технических средств, позволяющих достоверно установить ваше местоположение в определенное время. Методы больших данных дают возможность обрабатывать огромные объемы информации, но итоги, получаемые в результате этой обработки, зависят от того, что именно вы хотите увидеть.

На настоящий момент большие данные приносят пользу для науки, коммерческих компаний и государств, но их можно использовать и совсем для других целей. Вполне возможно, что в будущем придётся законодательно ограничить сферу применения Больших данных для того, чтобы устранить риск использования этих технологий в целях получения конфиденциальной информации о человеке и принятия опрометчивых решений в отношении этого человека.

Хочется верить, что надежды, возлагаемые на технологии больших данных и обещающие нам новый толчок в развитии информационного общества, не превратятся в ночные кошмары обычного человека, не знающего, куда деться от наблюдательного взора Большого брата.-

Источник: mebius.io

Комментарии: