10 технологических трендов в обработке данных и аналитике в 2019 году по мнению Gartner

Перевод статьи подготовлен для студентов курса «Аналитик BI» в образовательном проекте OTUS.

В центре внимания на саммите Gartner Data & Analytics 18-19 февраля в Сиднее были расширенная аналитика (Augmented Analytics) и искусственный интеллект.

Расширенная аналитика, непрерывный интеллект (continuous intelligence) и объяснимый искусственный интеллект (explainable artificial intelligence) являются одними из самых громких тенденций в области технологий обработки данных и аналитики, которые будут иметь разрушительный потенциал в последующие 3-5 лет, по мнению Gartner, Inc.

Выступая на саммите Gartner Data & Analytics в Сиднее, Рита Саллам, вице-президент по исследованиям Gartner, отметила, что лидеры в области данных и аналитики должны изучить потенциальное влияние этих тенденций на бизнес и соответствующим образом скорректировать бизнес-модели и производимые операции, в противном случае они рискуют потерять конкурентные преимущества перед теми, кто уделил этому достаточно внимания.

«История обработки данных аналитики продолжает развиваться, начиная от поддержки внутреннего принятия решений до непрерывного интеллекта, информационных продуктов и найма специалистов по данным», — сказала Рита Саллам. «Очень важно получить более глубокое понимание технологических тенденций, лежащих в основе создания и развития этой истории, а также расставить определенные приоритеты относительно них, в зависимости от ценности для конкретного бизнеса.»

По словам Дональда Файнберга, вице-президента и выдающегося аналитика Gartner, основная проблема, вызванная цифровым сбоем (слишком большое количество данных), открыла еще и беспрецедентную возможность. Громадный объем данных вкупе с растущей мощью средств обработки, которую обеспечивают облачные технологии, дает четкое понимание, что теперь можно обучать и выполнять алгоритмы в больших масштабах, необходимых для полной реализации потенциала ИИ.

«Размер, сложность, распределенный характер данных, скорость работы и непрерывный интеллект, необходимые для цифрового бизнеса, дают понять, что жесткие и централизованные архитектуры и инструменты больше не справляются,» — говорит Файнберг. «Дальнейшее выживание любого бизнеса будет зависеть от гибкой архитектуры, ориентированной на данные, которая отвечает постоянно растущим темпам изменений.»

Компания Gartner рекомендует лидерам в области обработки данных и аналитики обсудить с представителями бизнеса основные приоритеты компании и подумать о том, как они смогут интегрировать в работу следующие тенденции.

Тренд №1. Расширенная аналитика

Расширенная аналитика – это следующая волна прорыва на рынке обработки данных и аналитики. Она использует машинное обучение и технологии искусственного интеллекта для преобразования методов разработки, потребления и совместного использования аналитического контента.

К 2020 году расширенная аналитика станет основным двигателем новых покупок в аналитике и BI, а также Data Science, ML платформ и встроенной аналитики. Лидеры в области обработки данных и аналитики обязаны планировать внедрение расширенной аналитики по мере развития возможностей платформы.

Тренд №2. Расширенное управление данными

Технология расширенного управления данными (Augmented Data Management) использует возможности ML и механизмы ИИ, чтобы создать категории управления информацией компании, включая качество данных, управление метаданными, управление основными данными, их интеграцию, а также самонастройку и самонастройку систем управления базами данных (СУБД). Она автоматизирует многие задачи и позволяет менее квалифицированным пользователям самостоятельно использовать данные. Таким образом высококвалифицированные технические специалисты могут сосредоточиться на более важных задачах.

Расширенное управление данными преобразует метаданные из используемых только для аудита, родословной и отчетности, в итоге поставляя их динамическим системам. Метаданные меняются с пассивных на активные и становятся основным двигателем для всего ИИ/ML.

К концу 2022 года количество задач, выполняемых вручную в области управления данными, уменьшится на 45% за счет внедрения машинного обучения и автоматизированного управления уровнем обслуживания.

Тренд №3. Непрерывный интеллект

К 2022 году более половины новых крупных бизнес-систем будут использовать непрерывный интеллект, который в свою очередь использует контекстные данные в режиме реального времени для улучшения решений.

Непрерывный интеллект – это паттерн проектирования, в котором аналитика в реальном времени интегрируется в бизнес-операции, обрабатывая текущие и исторические данные для предложения действий в ответ на событие. Он обеспечивает автоматизацию или поддержку принятия решений. Непрерывный интеллект использует несколько технологий, таких как расширенная аналитика, обработка потока событий, оптимизация, управление бизнес-правилами и машинное обучение.

«Непрерывный интеллект – это серьезное нововведение в работе команд, занимающихся данными и аналитикой,» — говорит Саллам. «Это грандиозная задача и прекрасная возможность для команд аналитиков и BI-специалистов помочь компаниям принимать более разумные решения в режиме реального времени уже в 2019 году. Его можно рассматривать, как окончательный вариант оперативного BI.»

Тренд №4. Объяснимый ИИ

Модели ИИ чаще всего используются для улучшения или полного замещения человека в вопросах принятия решений. Однако в некоторых сценариях компании должны обосновать, как эти модели приходят к конкретным решениям. Для укрепления доверия пользователей или заинтересованных сторон, архитекторы приложений должны сделать эти модели более понятными и объяснимыми.

К сожалению, большинство продвинутых моделей ИИ являются сложными черными ящиками, которые не в состоянии объяснить, как они вывели конкретную рекомендацию или решение. Объяснимый ИИ в data science и ML платформах, например, автоматически генерирует объяснение моделей с точки зрения точности, атрибутов, статистики моделей и функций на естественном языке.

Тренд №5. Графика

Графическая аналитика (Graph analytics) – это набор аналитических методов, позволяющих исследовать отношения между интересующими объектами, такими как организации, люди и транзакции.

Применение графической обработки и графических СУБД будет увеличиваться на 100% с каждым годом до 2022 года, что позволит ускорить подготовку данных и обеспечивать более сложную и адаптивную data science.

Графические хранилища данных могут эффективно моделировать, исследовать и запрашивать данные со сложными взаимосвязями между хранилищами данных, но потребность в специализированных навыках для работы с ними является их основным ограничителем на сегодняшний день.

Графическая аналитика в ближайшие несколько лет будет неуклонно расти, поскольку существует необходимость задавать сложные вопросы сложным данным, что не всегда практично или хотя бы осуществимо в масштабе, в котором можно использовать SQL-запросы.

Тренд №6. Ткань данных

Ткань данных (Data fabric) обеспечивает беспрепятственный доступ к данным и их совместному использованию в распределенной среде данных. Она представляет собой единый и согласованный фреймворк для управления данными, который предоставляет беспрепятственный доступ к данным и возможность их архитектурной обработки в любом другом хранилище.

До 2022 года заказные проекты ткани данных будут развернуты в основном как статическая инфраструктура, заставляя организации вкладываться в новую волну затрат на полную реорганизацию для обеспечения более динамических подходов к сетке данных (data mesh).

Тренд №7. NLP/Разговорная аналитика

К 2020 году 50 процентов аналитических запросов будут генерироваться с помощью поиска, обработки естественного языка (natural language processing (NLP)) или голоса, или же будут генерироваться автоматически. Необходимость анализировать сложные комбинации данных и делать аналитику доступной для всех в организации приведет к более широкому ее использованию, что позволит инструментам аналитики быть такими же легкими, как интерфейс поиска или разговор с виртуальным помощником.

Тренд №8 Коммерческий ИИ и ML

Gartner прогнозирует, что к 2022 году, 75% новых решений для конечных пользователей, в которых используются методы ИИ и ML, будут построены на коммерческих решениях, а не на платформах с открытым исходным кодом.

Коммерческие вендоры встраивают коннекторы в экосистему с открытым исходным кодом, тем самым предоставляя корпоративные функции, необходимые для масштабирования и демократизации ИИ и ML, такие как управление проектами и моделями, повторное использование, прозрачность, происхождение (lineage) данных, а также согласованность и интеграция с иными платформами, чего так не хватает открытым платформам.

Тренд №9: Блокчейн

Основная ценность блокчейна и распределенного реестра (distributed ledger technologies) заключается в обеспечении децентрализованного доверия в сети недоверенных участников. Появляется значительный потенциал вариантов использования аналитики, особенно тех, в которых фигурируют отношения и взаимодействия участников.

Однако, пройдет несколько лет, прежде чем четыре или пять основных блокчейн-технологий начнут доминировать. Пока это время не настанет, конечные пользователи технологий будут вынуждены подстраиваться под технологии и стандарты блокчейна, которые диктуются преобладающими клиентами или сетями. Это включает в себя интеграцию с существующей инфраструктурой данных и аналитики. Затраты на интеграцию могут превысить любую потенциальную выгоду. Блокчейн является источником данных, а не базой данных, и не заменяет существующие технологии управления данными.

Тренд №10. Серверы постоянной памяти

Новые технологии с использованием постоянной памяти (persistent-memory technologies) помогут снизить затраты и сложность внедрения архитектур с поддержкой вычислений в оперативной памяти (IMC). Постоянная память представляет собой новый уровень памяти между DRAM и NAND флэш-памятью, который может послужить экономичным запоминающим устройством для высокопроизводительных нагрузок. Он имеет определенный потенциал, который может быть использован для повышения производительности приложений, их доступности, времени загрузки, методов кластеризации и методов безопасности, сохраняя при этом затраты под контролем. Он также поможет организациям снизить сложность их прикладных программ и архитектур данных за счет снижения необходимости дублирования данных.
«Объем данных быстро растет, и актуальность преобразования обычных данных в ценные в режиме реального времени растет вместе с ним» — сказал Файнберг. «Новые серверные нагрузки требуют не просто более высокой производительности процессора, но и большего объема памяти и более быстрого сохранения данных.”
Более подробную информацию об использовании данных и аналитики для получения конкурентных преимуществ можно найти в Gartner Data & Analytics Insight Hub.

Саммит Gartner Data & Analytics

Саммиты Gartner Data & Analytics в 2019 году пройдут 4-6 марта в Лондоне, 18-21 марта в Орландо, 29-30 мая в Сан Паулу, 10-11 июня в Дубае, 11-12 сентября в Мехико, 19-20 октября во Франкфурте. Следите за новостями и обновлениями в Твиттере по хэштегу #GartnerDA.

О Gartner

Gartner, Inc. является ведущей мировой научной консалтинговой компанией и членом S&P 500. Мы снабжаем лидеров бизнеса необходимыми данными, советами и инструментами для достижения их целей сегодня и создания успешных организаций завтра.
Наша непревзойденная комбинация экспертных, практических исследований данных помогает клиентам принимать правильные решения по наиболее важным вопросам. Мы являемся надежным консультантом и объективным ресурсом для более чем 15 000 организаций в более чем 100 странах — по всем основным функциям, в любой отрасли и для компаний любого размера.
Чтобы узнать больше о том, как мы помогаем людям, принимающим решения, строить будущее их бизнеса, посетите gartner.com.На этом все. Пишите комментарии и до встречи на курсе!

Источник: m.vk.com

Комментарии: