Big data в облаках: вызов принят

Что такое big data?

Интерес к big data возрастает так же быстро, как объем данных, который нужно обрабатывать с помощью этого подхода. Основу больших данных определяют так называемые пять V:

• volume (объем);
• variety (неоднородность);
• velocity (скорость прироста и обработки информации);
• veracity (достоверность данных);
• value (ценность накопленной информации).

По сути big data — это не только огромные объемы структурированных и неструктурированных данных, но и совокупность подходов и методов их обработки. Качественный анализ данных позволяет представить его результаты в понятном и удобном формате, а также помогает найти неочевидные закономерности, строить прогнозы и стратегически важные выводы для развития компании. 

Сфера применения технологий больших данных широкая. Так, с помощью больших данных можно узнать о предпочтениях клиентов, провести анализ рисков, оценить результаты маркетинговых кампаний и др. Многие компании используют решения Google, Яндекса и Facebook, анализирующие ключевые слова поиска и информацию об интересах пользователях, для запуска таргетированной рекламы. 

Технологии big data получили широкое распространение во многих сферах бизнеса и уже давно не считаются уделом лишь IT-гигантов. Технологии обработки и анализа данных играют значительную роль в развитии компаний и все чаще применяются средним и малым бизнесом для реализации своих задач. 

Эксперты утверждают, что за четыре года (с 2015 по 2019) совокупный доход в области программных решений big data и бизнес-аналитики увеличится с 122 до 181 миллиардов долларов, а к 2020 — в решения business intelligence будут привлечены около 40 % инвестиций IT-сектора. 

Use regions/landmarks to skip ahead to chart.

Доход от больших данных и бизнес-аналитики во всем мире с 2015 года до 2020 года (в млрд долларов США)

Long description.

No description available.

Structure.

Chart type: column chart.

column series with 6 columns.

The chart has 1 X axis displaying values.

The chart has 1 Y axis displaying Доход в млрд USD.

Chart graphic.

Доход в млрд USDДоход от больших данных и бизнес-аналитики во всем мире с 2015 года до 2020 года (вмлрд долларов США)122122130.1130.1145145162162181181203203201520162017201820192020050100150200250Highcharts

Подходят ли облака для анализа больших данных?

Сегодня инструменты для обработки больших данных все чаще размещаются на облачных платформах, хотя возможность выполнять аналитические задачи в дата-центре клиента тоже популярна. 

Ключевые требования среды для работы с big data включают в себя:

1. Масштабируемость. Из-за высокого и быстрого прироста данных любая система всегда должна быть готова к расширению.
2. Отказоустойчивость. Какая-то часть машин в кластере, проводящих анализ, гарантированно будет выходить из строя, последствия этого не должны сказываться на процессе обработки информации. 
3. Безопасность. Недопустимость утечки конфиденциальной информации компании.

Рассматривая облачные решения для big data, видим, что трем вышеуказанным критериям они соответствуют. Гибкость облака является идеальной для проведения анализа больших данных, так как по мере накопления информации можно увеличивать размеры хранилища. Но, наверное, самым большим преимуществом облаков является ускорение и оптимизация доступа к данным, а значит и возрастающая скорость их обработки плюс значительная экономия на обслуживании серверов, установке и обновлении программного обеспечения.

Облачные технологии для big data

Решения по анализу больших данных внедрены во многих крупных компаниях, которые смело используют облачные решения для построения инфраструктуры. Опрос, проведенный компанией Economist Intelligence Unit в 2015 году, подтверждает эту тенденцию. В нем приняли участие 550 топ-менеджеров американских IT-предприятий, сталкивающихся в своей деятельности с big data processing. 

Итак, исследование показало: 

Use regions/landmarks to skip ahead to chart.

Роль облачных решений в проектах больших данных в мире в 2015

Long description.

No description available.

Structure.

Chart type: column chart.

column series with 5 columns.

The chart has 1 X axis displaying categories.

The chart has 1 Y axis displaying values.

Chart graphic.

Роль облачных решений в проектах больших данных в мире в 201569%69%68%68%56%56%32%32%1%1%Хранение данных, архивирование ирезервное копированиеДоступ к данным и управлениеАнализ данныхЗащищенные приложенияНе знаю01020304050607080Highcharts

69% компаний используют облачные решения для хранения больших данных или резервного копирования

В первую очередь, облака притягивают низкими расходами на содержание системы хранения, но если платить за хранение своих петабайтов из года в год, это может сильно ударить по бюджету компании. Неоспоримое преимущество — масштабируемость. Производительность облачных продуктов можно изменять под определенные задачи и платить только за использованный ресурс. 

68% компаний облачные сервисы нужны для управления большими данными и получения доступа к ним 

Облачные решения позволяют IT-специалистам работать с big data из любой точки мира. Многие облачные гиганты также предлагают свои сервисы для развертывания приложений больших данных — например, Microsoft HDInsight, Amazon Web Services' Elastic MapReduce или Google Big Data. 

56% компаний проводят анализ больших данных, используя облачные решения

Мощные вычислительные комплексы в дата-центре провайдера помогают реализовать аналитические задачи высокого уровня, включая бизнес-аналитику, пакетную обработку, потоковую обработку, машинное обучение и оркестрацию рабочих процессов. Их используют в здравоохранении, телекоммуникациях, торговле, логистике, в финансовых компаниях и других областях.

Обработка данных в облаках 

Согласно другому исследованию, проведенному аналитическим центром BARC в 2015 году, для выполнения обработки big data пользователи чаще всего переносят в облака свои реляционные базы данных или применяют для анализа облачные инструменты business intelligence.

Use regions/landmarks to skip ahead to chart and navigate between data series.

Технологии больших данных в 2015 году. Какие из следующих технологий вы используете или планируете использовать в облачной среде?

Long description.

No description available.

Structure.

Chart type: column chart.

The chart has 1 X axis displaying categories.

The chart has 1 Y axis displaying values.

Chart graphic.

Технологии больших данных в 2015 годуКакие из следующих технологий вы используете или планируете использовать в облачной среде?29%29%36%36%31%31%31%31%37%37%38%38%36%36%40%40%37%37%38%38%36%36%40%40%37%37%43%43%52%52%54%54%46%46%48%48%54%54%50%50%56%56%54%54%60%60%55%55%7%7%7%7%6%6%4%4%8%8%8%8%7%7%7%7%6%6%26%26%14%14%11%11%11%11%10%10%6%6%РассматриваютНе рассматриваютПланируютИспользуютРеляционные БДИнструменты BIИнструменты для интеграции данныхСобственная разработкаИнструменты анализа данныхАналитические БДЭкосистема HadoopData miningСистемы отслеживания событийNoSQL БДСистемы анализа больших данныхСистемы больших данных020406080100Highcharts

Реляционные базы данных 

Их размещают в облаках около 26% опрошенных, планируют использование — 7%, 29% считает решение о переносе РБД в облачные сервисы приемлемым.

Облачные провайдеры предлагают специализированные услуги по размещению РБД. Например, в 2009 году Amazon запустил сервис реляционных баз данных — Amazon RDS. Сервис предоставляет клиенту все необходимое для работы с базой данных и возможность масштабировать свою БД в зависимости от нагрузки на приложение. Свои решения предлагают и другие провайдеры, например Microsoft Azure SQL Database или Google Cloud SQL.

Свои услуги для размещения реляционных баз данных под управлением MySQL, Postgresql или MS SQL предлагает и компания Colobridge. Мы можем подготовить спецификацию по запросу и предложить проекты для физической инфраструктуры от выделенного сервера до частного облака или виртуальной инфраструктуры.

Инструменты Business Intelligence

Облачные решения для BI предлагают пользователю легкий и быстрый анализ большого объема данных для поиска новых стратегических бизнес-решений. К ним относятся электронные таблицы, инструменты визуализации, аналитическая обработка онлайн, data mining и другие. Конкретные примеры, активно используемые бизнесом в разных странах, включают такие продукты, как SAP BusinessObjects BI, IBM Cognos, Microsoft Power BI, Oracle Business Intelligence Foundation Suite. 

Компания Colobridge предлагает различные решения для развертывания business intelligence приложений в облаке. Среди преимуществ BI-приложений, размещенных в облаке, отмечается: полный спектр функций для BI, включая извлечение, управление и анализ данных, а также высокая надежность, гибкость расходов и удобный интерфейс. 

Опрос показал, что BI-приложение, развернутое в облаке, используют 14% опрошенных, в то же время планируют их использование вдвое меньше респондентов — 7%, возможным для реализации своих целей считают это решение 36%.

Заключение

Перенос и анализ больших данных в облаке успешно применяется многими компаниями. Конечно, требования по адаптации облачных сред к big data, в частности улучшение производительности хранилищ и ускорение процесса обработки информации, повышаются, но уже сейчас облачные решения для больших данных показывают неплохие результаты. 

Эксперты прогнозируют рост популярности big data анализа в 2017 году до 59% (по сравнению с 34% респондентов, заявивших об использовании этих технологии в 2015), а к 2017 году анализ данных (пусть даже небольших) в облачных сервисах будут осуществлять уже не 37% (2015), а 69% опрошенных — то есть абсолютное большинство.

Источник: blog.colobridge.net

Комментарии: