Обнаружение аномалий в DevOps (Anomaly Detection)

Обнаружение аномалий или анализ выбросов - это процесс интеллектуального анализа данных, направленный на выявление точек, которые выходят за рамки нормы, установленной базовой линии или ожидаемого шаблона в наборе данных или отклоняются от них. Этот процесс обнаружения жизненно важен, поскольку подобные аномалии часто являются индикатором необычного поведения, такого как потенциальные попытки мошенничества, нарушения безопасности или вторжения в систему кибербезопасности.

1. Почему важно обнаружение аномалий?

Организации используют методы интеллектуального анализа данных для обнаружения аномалий и мониторинга точек данных — входов и выходов — перемещающихся по их ИТ-инфраструктуре и системам. По сути, обнаружение аномалий помогает организациям устранять утечки в системе безопасности, избегать раскрытия данных и устанавливать предупреждения о необычном поведении, которое отклоняется от установленного шаблона. Это ценно при выявлении критических инцидентов и потенциальных возможностей.

Однако, как упоминалось ранее, аномалии не всегда означают проблему. Таким образом, важность обнаружения аномалий, как правило, различается внутри отраслей и между вариантами использования. Независимо от этого, они полезны при попытке идентифицировать, исследовать и отследить первопричину скачков или выбросов.

2. Поведение сети

Обнаружение аномалий сетевого поведения заключается в проверке пакетов, полосы пропускания, байтов, объема трафика, потока и протокола сети на предмет любых подозрительных действий или событий, которые могут быть вредоносными или с намерением скомпрометировать сетевые операции. Обнаружение необычного сетевого трафика, подозрительных передач большого объема данных или неожиданных скачков в течение “спокойных” часов является неотъемлемой частью современных систем кибербезопасности.

3. Производительность приложений

Сегодняшние аномалии производительности являются основой бизнес-проблем, поскольку они могут снизить оперативную производительность всей инфраструктуры. Эти проблемы могут накапливаться и вызывать постепенные проблемы с производительностью, такие как перебои в работе серверов, деградация и внезапные скачки загрузки ЦП в приложениях и инфраструктурах. Обнаружение аномалий помогает обнаружить эти проблемы до того, как они вызовут какие-либо серьезные нарушения, которые могут повлиять на пользователей.

Обнаружение аномалий производительности приложений направлено на снижение трех ключевых показателей инцидентов:

+ Среднее время обнаружения (MTTD) - время между возникновением и обнаружением аномалии.

+ Среднее время расследования (MTTI) - время, необходимое на установление причины проблемы.

+ Среднее время устранения (MTTR) - время, необходимое для устранения проблемы.

Эти показатели обеспечивают контекст работоспособности приложения и полезны при попытке понять, как снизить ненужные затраты и неэффективность.

4. Безопасность веб-приложений

Веб-приложения используются сегодня практически во всех аспектах жизни, особенно с развитием облачных технологий. Они являются одними из наиболее подверженных атакам поставщиков и мишеней в различных отраслях. Одной из распространенных уязвимостей являются уязвимости, связанные с HTTP-запросами. Здесь злоумышленники пытаются воспользоваться несогласованностью в том, как внешние и внутренние серверы обрабатывают запросы.

Система обнаружения на основе аномалий ищет аномальное поведение, анализируя веб-журналы с веб-серверов и определяя поведение пользователей. Как только определен обычный шаблон поведения, все, что выходит за рамки, помечается как навязчивое. Используя эти системы обнаружения аномалий, можно отслеживать веб-приложения и выдавать предупреждения при обнаружении попытки атаки.

5. Нарушения безопасности

Обнаружение аномалий также может использоваться для выявления потенциальных нарушений безопасности или уязвимостей в системах и сетях организации. Под нарушениями безопасности мы подразумеваем вредоносное ПО, инсайдерские угрозы или уловки социальной инженерии, фишинговые атаки. Методы обнаружения аномалий могут помочь обнаружить и предотвратить эти нарушения, выявляя необычные модели поведения, которые могут указывать на атаку. Например, всплески неудачных попыток входа в систему, за которыми следует успешный вход в систему, и кто-то получает доступ к данным, которые он никогда раньше не использовал или запрашивает их.

В ответ на это будут активированы алгоритмы обнаружения аномалий. Кроме того, активность будет помечена как подозрительная, и служба безопасности будет предупреждена. Важно понимать, что для того, чтобы системы могли выявлять наиболее важные для организации аномалии, они должны быть правильно настроены и обучены с использованием исторических данных.

6. Качество продукции

Создание физического продукта выходит за рамки производства и запуска продукта на рынок. Проблемы неизбежно возникают на различных этапах производственного цикла. Обнаружение аномалий может обеспечить качество на всем этапе создания продукта и помочь быстро обнаружить дефекты. Процесс ручного контроля качества включает традиционные тесты, которые допускают ошибки. Методы обнаружения аномалий обеспечивают менее трудоемкий и подверженный ошибкам способ точной идентификации и классификации бракованных продуктов без сбоев в производстве.

Цифровые продукты ничем не отличаются. Обнаружение аномалий можно использовать для мониторинга жизненного цикла продукта и обеспечения того, чтобы пользователи получали отличный опыт. Отслеживая различные показатели в течение жизненного цикла продукта, команда может разобраться в любых показателях и обнаружить инциденты, такие как утечки в воронках или любые неожиданные изменения, которые требуют расследования.

7. Типы аномалий

Аномальные данные подобны хлебным крошкам, которые помогают команде быстрее определить первопричину проблемы. Однако, прежде чем эффективно использовать полученную информацию, необходимо понять, с каким типом аномалий или выбросов работаете:

+ Глобальные.

Глобальные аномалии, также известные как точечные аномалии, представляют собой значения точек данных, далекие от ожидаемого шаблона набора данных. Например, представьте необычно высокую сумму транзакции из набора данных транзакций по кредитным картам или высокий всплеск активности пользователей, который ранее не регистрировался в определенной географической области. Такого рода аномалии часто являются признаком мошеннической деятельности.

+ Контекстуальные.

Также известные как условные аномалии, это аномалии, значение которых кажется аномальным в одном контексте, но не кажется аномальным в другом контексте. Здесь значение кажется нормальным в контексте глобального диапазона, но является аномальным с точки зрения контекста сезонности. Это очень часто встречается в данных временных рядов, поскольку значения регистрируются в течение определенного периода. Например, более высокий, чем обычно, всплеск активности пользователей может показаться аномальным. Но если учесть рекламное предложение или скидку, объявленные вашей маркетинговой командой, этот всплеск может уже не казаться таким аномальным.

+ Общие.

Коллективные аномалии - это аномальные точки данных, рассматриваемые как набор или в коллекции. Эти точки данных кажутся нормальными, если рассматривать их глобально, контекстуально или индивидуально в рамках определенного временного ряда. Однако при объединении с другим набором данных временных рядов их аномальная природа становится более очевидной — например, высокий трафик в часы, не связанные с сезонностью бизнеса.

Неожиданно большое количество новых пользователей в приложении за один день - это глобальная аномалия, поскольку еще предстоит зафиксировать такое количество новых пользователей в истории стартапа. Теперь предстоит выяснить, связано ли это недавнее увеличение числа пользователей с маркетинговыми усилиями или пользователи пытаются воспользоваться реферальным бонусом.

Контекстуальным может быть внезапный всплеск количества сообщений электронной почты от пользователей платформы автоматизации маркетинга и маркетинга по электронной почте. Если это происходит вне периодов высокой активности и рекламных акций, таких как Черная пятница и Новый год, это может означать попытки фишинга со взломанных аккаунтов. Хотя это не редкость, будет необычно наблюдать такую активность от всех в любое время, включая нечетные часы, и от клиентов, которые редко совершают покупки, внезапно в течение всего дня.

8. Типы методов обнаружения аномалий

Процессы обнаружения аномалий основаны на различных методологиях статистики и машинного обучения (ML). Машинное обучение - это подмножество искусственного интеллекта, ориентированное на передачу данных компьютерным моделям, чтобы они могли точно прогнозировать результат, понимая данные и извлекая из них уроки. Это обучение может быть контролируемым, полу-контролируемым или неконтролируемым.

Организации используют эти модели и алгоритмы для улучшения своих возможностей прогнозирования, улучшения анализа первопричин и точного обнаружения аномалий. Однако, чтобы сделать это точно, нужно выбрать подходящую модель ML.

+ Контролируемые

Здесь полностью помеченные обучающие и тестовые наборы данных используются для построения и обучения моделей ML для точной классификации данных или прогнозирования результатов. Сначала столбец атрибутов набора данных помечается как нормальный и аномальный. Затем это используется для определения “нормальных” и обнаружения аномальных паттернов в невидимых данных.

Эта модель лучше всего работает с несбалансированными классами и в предположении, что аномалии хорошо известны и уже помечены. Таким образом, трудно обнаружить аномалии, которые еще предстоит идентифицировать. Распространенными контролируемыми методами являются байесовские сети, деревья решений, k-ближайшие соседи и SVM.

+ Полуконтролируемые

В отличие от контролируемых моделей ML, полуконтролируемые модели обучаются на помеченных и немаркированных наборах данных. Такой подход к обучению по ходу работы имеет некоторые преимущества. Во-первых, он значительно сокращает расходы на ручное аннотирование. Кроме того, поскольку модель обучается на немаркированных данных, прогнозы становятся намного точнее, как только модель узнает, что такое норма и что от нее отклоняется. Несколько распространенных методов с полууправлением - это совместное обучение, обучение с полууправлением на основе графов и полууправляемые машины опорных векторов.

+ Неконтролируемые

Алгоритм ML для обнаружения неконтролируемых аномалий обучается на немаркированных данных; таким образом, ручная маркировка не требуется. Он работает в предположении, что только небольшой процент доступных данных является аномальным. Здесь для обнаружения и классификации аномальных данных используются такие модели, как GMMs, k-средние значения, анализ на основе проверки гипотез и гауссовская смесь.

Неконтролируемое обнаружение аномалий является наиболее гибким в отношении новых неидентифицированных наборов данных. Прежде всего, строится модель для выявления аномалий на основе характеристик, а не каких-либо заранее определенных значений нормальности. Однако, из-за сложности ее часто помечают как черный ящик. Это также считается менее надежным, поскольку мы не знаем, как и почему атрибуты помечаются как аномалии.

9. Популярные методы обнаружения аномалий с помощью машинного обучения

При большом объеме данных, быстрых изменениях и сложности современного распределенного облачного ландшафта обнаружение аномалий может быть трудоемким и неточным, если выполняется вручную. Кроме того, это также будет означать ручное определение того, что является нормальным для каждого приложения, и постоянную корректировку базовой линии в соответствии с постоянно меняющимися потребностями современной среды. Именно здесь на помощь приходят автоматизированные системы обнаружения аномалий.

Автоматическое обнаружение аномалий использует методы DL и ML для получения целостной картины того, что происходит с данными. Кроме того, этот процесс обеспечивает точное обнаружение и оповещение в режиме реального времени. В зависимости от используемого инструмента, весь процесс может быть выполнен с помощью встроенного, интуитивно понятного, простого в использовании графического интерфейса пользователя (GUI), который легко интегрируется с существующим рабочим процессом.

Банковское дело и финансы: Записи о финансовых транзакциях фиксируют движение денежных и неденежных активов между сторонами. В результате эти записи имеют определенные закономерности. К сожалению, мошеннические действия, как правило, отклоняются от этих закономерностей, и для их выявления используются модели обнаружения аномалий. Мошеннические действия здесь варьируются от выставления счетов с высокой степенью риска, дублирования платежей и мошенничества по принципу "знай своего клиента" (KYC) до банковских переводов, страхования, чеков и мошенничества с кредитными картами. Однако представленные здесь модели работают в режиме реального времени, чувствительны ко времени и сопряжены с высоким риском, поскольку ложные срабатывания могут нарушить работу пользователя, а задержки могут дорого обойтись всем.

Мониторинг состояния здоровья: Обнаружение аномалий используется для улучшения ухода за пациентами путем выявления аномальных данных в данных об уходе за пациентами, физиологических переменных, показаниях о состоянии здоровья и анализе медицинских изображений. Эти данные могут помочь провести более точную диагностику и предотвратить потенциально фатальные ошибки в планах лечения. Точное обнаружение аномалий косвенно снижает ручную работу и когнитивную нагрузку на медицинских работников, помогая им быстрее принимать меры. Как и в случае с финансовым использованием, эти модели чувствительны и подвержены высокому риску, поскольку ложноположительные результаты могут быть столь же пагубными для пациента.

Кибербезопасность и обнаружение вторжений: Безопасность сегодня имеет решающее значение для любого бизнеса. Обнаружение аномалий используется для выявления потенциальных угроз безопасности в сигнатурах сетевых пакетов и инфраструктуре организации. Это помогает блокировать вредоносные программы, подозрительные события и несанкционированную передачу данных. Эти модели также выявляют и предупреждают об аномалиях в потребительских расходах или поведенческих действиях в режиме реального времени. Сложность здесь заключается в адаптивном характере вредоносного поведения и в том факте, что необходимо быть более активным в отношении угроз.

Интернет вещей (IoT): При применении обнаружения аномалий к Интернету вещей конечной целью является решение вопроса о том, как защитить активы этого клиента от эксплуатации. Модели ML используют данные, полученные с устройств Интернета вещей, для анализа моделей поведения пользователей с целью выявления аномалий, связанных с угрозами Интернета вещей на уровне сети и центра обработки данных. Распространенными угрозами Интернета вещей являются атаки "человек посередине" и "Прятки" (HNS).

Электронная коммерция: Обнаружение аномалий жизненно важно для предприятий электронной коммерции для выявления необычных моделей и поведения. Интеграция с мониторингом электронной коммерции позволяет предприятиям проактивно устранять проблемы и оптимизировать операции. Алгоритмы обнаружения аномалий анализируют поведение клиентов, обнаруживают всплески посещаемости веб-сайтов, отслеживают транзакции и выявляют мошенничество. Это приводит к улучшению качества обслуживания клиентов, эффективной цепочке поставок и управлению запасами, а также снижению затрат. Кроме того, постоянно используя обнаружение аномалий в электронной коммерции, можно предвидеть сезонность товаров и лучше согласовать ее, чтобы обеспечить клиентам лучший опыт онлайн-покупок.

SaaS: Хотя популярность SaaS-приложений среди предприятий со временем росла, они стали мишенью для атак. Атаки происходят из-за данных, доступных в этих приложениях, от интеллектуальной собственности до информации, позволяющей идентифицировать личность. Организации могут использовать модели обнаружения аномалий для борьбы с этими угрозами и выявления вредоносных событий аутентификации и поведения из журналов приложений. Эти модели позволяют команде активно реагировать на проблемы, зависящие от времени, и получать уведомления о нарушениях в работе приложений.

Источник: vk.com

Комментарии: