Глубокое обучение для анализа сетевого трафика

Поскольку проблемы конфиденциальности возрастают, неудивительно, что более половины из 1 миллиона наиболее часто посещаемых веб-сайтов по всему миру теперь используют HTTPS. Вам будет трудно найти специалиста по безопасности, который не приветствовал бы этот результат, и на то есть веская причина: широкое использование шифрования сеансового в Интернете оказало неизгладимое влияние на конфиденциальность и безопасность пользователей в лучшую сторону.

Однако, с точки зрения аналитика безопасности или охотника за угрозами, тенденция к шифрованию сводит на нет существующие методы анализа сетевого трафика и приводит к большей непрозрачности. Во время реагирования на инциденты самонаведение на трафик, отправляемый через SSH-туннель, по сути, сводится к попаданию в тупик. И злоумышленники знают это — поэтому большая часть их трафика шифруется! Защитники лишены возможности заглянуть внутрь этого туннеля и, следовательно, не имеют возможности оценить, является ли его содержимое безвредным или представляет угрозу. Внезапно инструмент, защищающий безопасность, становится помехой для аналитика, который хочет получить прозрачные ответы о рассматриваемом трафике.

Самый современный

Когда вы сталкиваетесь с зашифрованным или неизвестным трафиком, будь то сеанс TLS, туннель SSH или просто непризнанный протокол связи, обычных инструментов анализа трафика просто недостаточно. Глубокая проверка пакетов, несмотря на все, что она может сделать, просто не поможет. Нам нужно выйти за рамки простого чтения того, что ясно.

Тем не менее, как отрасли, инновации в этой области отсутствуют. “Лучшие” решения были сосредоточены на расшифровке всего потока. Это правильный подход, но он теряет популярность из-за его последствий для конфиденциальности и политики, не говоря уже о TLS 1.3. Фундаментальная проблема заключается в том, что инструменты сетевого анализа по-прежнему в значительной степени полагаются на способность идентифицировать трафик с помощью стандартных метаданных (например, номера портов), которые мы можем прочитать в чистом поле, когда пакет проходит по проводу. У нас не будет такой роскоши вечно, и кто-то может возразить, что у нас ее нет даже сегодня! Поэтому нам нужно адаптироваться, чтобы преуспеть в наших постоянных усилиях заглянуть в наши сети.

Может ли помочь машинное обучение?

Хорошая новость…

Индустрия безопасности обладает огромным богатством в виде всеми любимой валюты 21 века: данных. Каждый кадр, проходящий по проводу, представляет собой фрагмент данных со скрытым внутри него сигналом, скрытым шумом и шифрованием. Сети по всему миру ежесекундно обрабатывают больше этих данных, чем можно было бы надеяться представить, создавая почти бесконечный запас полуструктурированных, насыщенных контентом данных, и из всего этого можно извлечь информацию. Извлечение ценной информации из всех этих данных – проблема, над которой должны работать как эксперты по обработке сигналов, так и энтузиасты машинного обучения, и в Arista NDR мы были рады вонзить в нее свои зубы.

https://www.cti.ru/media/news/kompanii-cti-dobavila-v-portfel-resheniya-po-zashchite-dannykh-i-analizu-trafika-ot-garda-tekhnologi/

Чтобы извлечь какую-либо реальную ценность из всех этих данных, их необходимо объединить в приемлемую форму. Платформа Arista NDR предоставляет всю инфраструктуру, необходимую нам именно для этого. Организованный, индексированный граф знаний обо всем, что касается сети — от топологии до метаданных, моделей поведения и необработанных пакетов, связанных с объектами реального мира, - это золотая жила для инженера по машинному обучению.

Мы используем эту инфраструктуру, чтобы предпринять решающие шаги в направлении анализа сети на основе искусственного интеллекта, используя передовые приложения для глубокого обучения, которые используют сочетание институциональных знаний и наших сетевых данных, богатых сигналами.

Но... как?

Подождите, — могут сказать скептики, - вы вряд ли сможете извлечь достаточно информации из зашифрованного / неизвестного трафика, чтобы действительно использовать ее во время расследования ... сетевой анализ мертв! Напротив, мой скептически настроенный друг, предоставленная информация действительно богата — просто не так, как мы привыкли. Неизвестный трафик неприятен для обнаружения полезной нагрузки на основе сигнатур. Я не буду оспаривать это. Но что, на самом деле, мы делаем с обнаружением на основе сигнатур? В лучшем случае мы обнаруживаем конкретные действия, которые могут представлять собой единую часть головоломки: интерактивное взаимодействие с сервером C2 здесь, эксфильтрация данных там.

Что же тогда происходит, когда мы хотим найти абстрактное понятие, например, боковое движение? Есть ли для этого сигнатура полезной нагрузки? Можем ли мы полагаться на сигнатуры полезной нагрузки, чтобы идентифицировать что-то вроде бокового перемещения? Я собираюсь рискнуть здесь и сказать “нет”; это безнадежная попытка. Мы должны подойти к этому по-другому.

Чтобы обнаружить что-то столь туманное, как боковое движение, нам нужно рассмотреть нечто большее, чем просто отдельные пакеты и сеансы. Нам необходимо расширить сферу нашего анализа от пакетов до сеансов и поведения на нескольких устройствах и службах с течением времени. Однако по мере того, как мы это делаем, то, что мы ищем, становится все более скрытым в шуме (часто в форме законного трафика). Обычные инструменты анализа сетевого трафика с этим не справляются: проблема слишком шумная и нелинейная, чтобы современные приложения мониторинга plug-and-play оказались эффективными.

Поэтому мы выбрали другой подход: для решения этих проблем используем самые современные методы машинного обучения. Мы бросаем вызов существующему положению вещей и говорим: что, если абстрактное поведение, такое как боковое движение, можно обнаружить, объединив возможности традиционных методов обнаружения и глубокого обучения? Что, если бы мы могли изучить зашифрованный туннель, определить различные варианты поведения в рамках сеанса и проанализировать это поведение для обнаружения злонамеренного использования? Что, если бы мы могли сказать вам, что, хотя мы не можем заглянуть в зашифрованные данные, сеанс определенно выглядит и пахнет как интерактивная оболочка? Да, и, кстати, он контролируется подозрительным доменом, находящимся в облаке.

“Что, если” больше не нужно.

Источник: aristanetworks.force.com

Комментарии: