![]() |
![]() |
![]() |
![]() |
Что означает понятие «дрейф»? |
|
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2024-07-05 20:00 ![]()
При прогнозном моделировании (как показано на рисунке выше) мы создаем контролируемую модель на основе исторических данных, а затем используем обученную модель для прогнозирования на основе невидимых данных. В процессе модель изучает взаимосвязь между целевой переменной и входными объектами. Например, классификатор спама в электронной почте, который прогнозирует, является ли электронное письмо спамом или нет, на основе текстового тела электронного письма. Модель машинного обучения изучает взаимосвязь между целевой переменной (спам или не спам) и набором ключевых слов, которые появляются в спам-сообщении. Эти наборы ключевых слов не могут быть постоянными, их структура меняется со временем . Следовательно, модель, построенная на старом наборе электронных писем, больше не работает с новым шаблоном ключевых слов. Если это так, то необходимо переобучить модель на текущем наборе данных. На этом рисунке показана производительность модели с течением времени, поскольку вы видите, что производительность модели (измеренная по показателю F1) ухудшается с течением времени. Это явление называется распадом модели. Когда производительность падает ниже порогового значения, модель повторно обучается на перемаркированном наборе данных. Так решается проблема разрушения модели. Если эту проблему не решать и не контролировать, производительность модели будет продолжать ухудшаться, и в какой-то момент модель перестанет служить своей цели. В целом распад модели может произойти из-за следующего типа сдвига.
Дрейф концепции против смещения ковариации Рассмотрим модель рекомендаций фильмов, обученную на фильмах, которые смотрят пенсионеры. Будет ли она давать хорошую точность, когда эта модель будет использоваться для рекомендации фильмов детям? Я не буду. Причина в том, что между этими двумя группами существует большой разрыв в интересах и деятельности. Значит, в этих условиях модель потерпит неудачу. Такие изменения в распределении данных в обучающих и тестовых наборах называются ковариатным сдвигом. Основной причиной возникновения ковариатного сдвига является систематическая ошибка отбора выборки и нестационарная среда.
Сдвиг ковариации и дрейф понятий являются причиной ухудшения производительности модели, но к обоим следует относиться по-разному. Таким образом, необходимо устранить неоднозначность ковариатного сдвига, связанного с дрейфом концепций, и применять профилактические меры, основанные на наличии ковариатного сдвига или дрейфа концепций, или того и другого. Дрейф данных против дрейфа концепции В мире больших данных в каждый момент времени генерируются миллиарды данных. Поскольку мы собираем данные из источника в течение длительного времени, сами данные могут измениться, и это может быть по нескольким причинам. это может быть связано с динамическим поведением шума в данных или с изменением процесса сбора данных. Когда данные изменяются в целом, эта проблема называется дрейфом данных, тогда как изменения в контексте целевой переменной называются дрейфом концепции. Оба эти отклонения приводят к ухудшению качества модели, но их необходимо решать отдельно. Примеры отклонения концепций
Как отслеживать дрейф концепции Общий способ отслеживания отклонения концепций показан на следующем изображении:
В основном существует три вида отклонения понятий, как показано на рис. 2, и каждый тип явления требует своего метода его обнаружения (и отслеживания изменений).
В зависимости от типа существующего дрейфа концепций существует разнообразный набор методов мониторинга дрейфа концепций. Некоторые из наиболее известных методов:
Как предотвратить дрейф концепций Теперь самый большой вопрос заключается в том, можно ли избежать этой проблемы и каковы способы предотвратить ее возникновение. Идеальная концептуальная система управления заносами должна быть способна:
На высоком уровне существует пять способов борьбы с дрейфом концепций.
Онлайн обучение В машинном обучении модели часто обучаются в пакетном режиме , когда учащийся оптимизируется на пакете данных за один раз. В результате получается статическая модель, предполагающая статическую связь между независимой и целевой переменной. Таким образом, через долгое время такая модель может потребовать повторного обучения для изучения закономерностей на основе новых данных. В реальной жизни большая часть приложения работает с потоковой передачей данных в реальном времени , где модель обрабатывает одну выборку за раз и, следовательно, может обновляться на лету. Этот процесс называется онлайн-обучением или дополнительным обучением, который помогает модели избежать дрейфа концепции, поскольку новые данные используются для постоянного обновления гипотезы модели. Этот процесс позволяет нам учиться на огромном потоке данных и может легко применяться к таким приложениям, как прогнозирование временных рядов, система рекомендаций фильмов или электронной коммерции, фильтрация спама и многие другие. При онлайн-обучении наблюдается последовательность примеров, по одному, которые могут быть неравномерно распределены во временном интервале. Итак, в каждой временной метке t мы пометили исторические данные (X 1 ,……X t ). Использование этих исторических данных (X 1 ,…, X t ) или их подвыборки используется для построения модели, скажем, L t . По мере поступления следующей точки данных X t +1 целевая переменная (y t +1) прогнозируется с использованием L t . Как только прибудет следующий экземпляр X t +2, станет доступен реальный y t +1. Итак, модель обновляется историческими данными (X 1 ,….X t , X t +1). Вероятность отклонения концепции увеличивается, когда данные в разное время генерируются из другого источника. Часто мы не можем отличить дрейф концепций от случайного шума и ошибочно воспринимаем шум как дрейф концепций. Нам следует быть предельно осторожными в обращении с шумом. Примечание: Обратите внимание, что периодическая сезонность не считается отклонением концепции, за исключением случаев, когда сезонность неизвестна с уверенностью. Например, пик продаж мороженого связан с летом, но каждый год он может начинаться в разное время в зависимости от температуры и других факторов, поэтому точно неизвестно, когда наступит пик. Creme — это библиотека Python для онлайн-машинного обучения, где модель обучается на основе одного наблюдения за раз и может использоваться для обучения на основе потоковых данных. Это один из фантастических инструментов, доступных для онлайн-обучения, который помогает нам избежать отклонения концепции от модели. Переобучение модели Другой способ справиться с дрейфом концепций — периодически переобучать модель для обучения на исторических данных. Если в модели наблюдается дрейф концепции, модель следует повторно обучить с использованием последних данных. Например, приложению в финансовой сфере может потребоваться повторное обучение в первую неделю апреля, чтобы учесть изменения, связанные с концом финансового года. Другим примером может быть внезапное изменение предпочтений пользователей из-за эпидемии. Сложнее всего определить момент, когда необходимо переобучение модели , но, как мы обсуждали ранее, есть способы сделать это. В любом случае, как только дрейф обнаружен, мы переобучаем модель на новых данных, чтобы учесть изменяющиеся условия. Этот процесс может оказаться дорогостоящим , поскольку в контролируемых условиях дополнительные точки данных необходимо перемаркировать. Таким образом, вместо повторного обучения на всем наборе данных можно рассмотреть возможность выборочного создания подвыборки из всей совокупности и повторного обучения на ней. Этот подход обсуждается в следующем разделе. Повторная выборка с использованием выбора экземпляра Выбор экземпляра — это концепция выбора подмножества из совокупности путем сохранения основного распределения нетронутым, чтобы выборочные данные были репрезентативными для характеристик всей совокупности данных. Проще говоря, идея заключается в том, что мы:
Ансамблевое обучение с взвешиванием модели Ансамблевое обучение поддерживает ансамбль из нескольких моделей, которые делают комбинированный прогноз . Обычно окончательный прогноз представляет собой средневзвешенное значение отдельных прогнозов, где вес отражает эффективность отдельной модели на последних данных. Мотивация метода ансамблевого обучения заключается в том, что во время изменения данные могут генерироваться из смеси нескольких распределений. Ансамбль из нескольких моделей, в котором каждая модель по отдельности пытается охарактеризовать распределение данных и взаимосвязь между признаком и целевой переменной, должен работать лучше. Существуют различные варианты ансамблевого обучения в зависимости от того, как обновляются модели. Один из способов заключается в том, что для каждой новой партии данных новый классификатор обучается и объединяется с использованием стратегии динамически взвешенного большинства. Удаление функции Удаление функций — один из самых простых, но эффективных методов борьбы с дрейфом концепций, широко используемый в отрасли. Идея состоит в том, чтобы построить несколько моделей, в которых одновременно используется одна функция, сохраняя целевую переменную неизменной . Для каждой модели после прогнозирования на основе тестовых данных отслеживается ответ AUC-ROC, и если значение AUC-ROC для определенного признака выходит за пределы определенного порога (возможно, 0,8), этот конкретный признак можно рассматривать как дрейфующий и, следовательно, функция может быть удалена. Лучшие практики борьбы с дрейфом концепций В последнее время в этой области проводится много исследований, и не существует единого де-факто стандартного алгоритма или методологии, которым можно было бы противостоять дрейфу концепций. Тем не менее, во время работы над этими проблемами я пришел к следующему комплексному процессу, который может обнаружить и предотвратить наличие отклонения концепций: Шаг 1. Сбор и предварительная обработка данных: Этот шаг включает в себя работу с пропущенными значениями, выбросами, кодированием меток для категориальных переменных и т. д. Шаг 2: Маркировка данных: i) Разделите поток данных на ряд окон. iii) Присвойте метку класса отдельным точкам данных в зависимости от бизнес-контекста. Шаг 3: Обнаружение отклонения концепции: i) Точки данных соседних окон анализируются для выявления отклонения концепции. Показатели точности, такие как точность, точность, отзыв, кривая отклика AUC-ROC и время выполнения, ошибка классификации или кластеризации, могут быть проанализированы, чтобы обнаружить отклонение концепции. Шаг 4. Избегайте или устраните отклонение концепции: Если обнаружено наличие отклонения в концепции, следуйте соответствующей методологии, чтобы избавиться от него. Последние мысли Дрейф концепций — важная проблема в машинном обучении и интеллектуальном анализе данных, и к ней следует подходить осторожно. Большая проблема заключается в том, как обнаружить наличие отклонения в концепции, поскольку не существует универсального решения. Оно возникает при наличии множества скрытых факторов, разобраться в которых сложно. В большинстве случаев методы, связанные с «дрейфом понятий», очень субъективны в зависимости от характера проблемы . Тем не менее, методы, упомянутые в этой статье, могут стать хорошим справочником для создания базовой системы для обнаружения и предотвращения отклонения концепций. По этой теме проводится множество исследований, и в основном они направлены на разработку критериев обнаружения важных изменений. Необходимы дополнительные исследования для создания надежной системы, которая может инициировать оповещение на основе различных видов отклонения концепций и различного уровня шума. Источник: neptune.ai Комментарии: |
|