Машинное обучение в индустриальной инженерии

месте со Сколковским институтом науки и технологий мы сняли курс «Машинное обучение», посвященный математическому моделированию и методам машинного обучения. В этой лекции преподаватель магистерской программы «Вычислительные системы в науке и технике» Сколтеха Евгений Бурнаев рассказывает о типах задач и методов машинного обучения.

Прежде чем приступать к описанию задач и сопутствующих методов, я опишу причины, по которым возникает потребность в машинном обучении. Рассмотрим пример ? расчет аэродинамики компоновки пассажирского самолета. Для этого используется модель, основанная на физике процессов. С ростом высокопроизводительных вычислений стало возможным делать так называемую инженерную оптимизацию, то есть использовать модели на основе физики процессов в качестве целевой функции и оптимизировать дизайн изделия, начиная с какого-то начального дизайна.

Однако, как это обычно бывает, потребности растут быстрее возможностей. Например, рассмотрим задачу оптимизации массы композитной обшивки пассажирского самолета. Для расчета коэффициента прочности каждой композитной панели используется специальная программа, на вход которой подается порядка 150 параметров, описывающих геометрию и структуру этой композитной панели, а также приложенной силы. На выходе программа выдает порядка 20 характеристик, определяющих различные коэффициенты прочности композитной панели. Соответственно, на каждой итерации оптимизации геометрии обшивки самолета необходимо считать для каждой композитной панели коэффициент прочности, градиенты — объем вычислений огромный. Один прогон оптимизации может занимать до нескольких дней даже на современном кластере. По оценкам специалистов Airbus, если уменьшить время вычисления программы, которая применяется для расчетов коэффициента прочности, примерно в 100 раз, то удалось бы сократить общее время оптимизации с нескольких дней до нескольких часов.

Таким образом, предсказательное моделирование является одним из важнейших инструментов для решения задач индустриальной инженерии. Оно позволяет проводить анализ «что, если», понимать, какие параметры действительно влияют на те или иные характеристики изделия. Однако при решении реальных задач очень часто приходится проводить тысячи, сотни тысяч и даже миллионы вычислительных экспериментов. Это дорогое удовольствие, поэтому возникает потребность в том, чтобы по данным уже проведенных вычислительных экспериментов строить так называемые суррогатные модели, то есть модели, аппроксимирующие исходные модели на основе физики процессов, которые и породили данные. Естественно, данные натурных экспериментов также могут быть использованы при построении суррогатных моделей, однако обычно их количество существенно меньше, чем данных, полученных при проведении вычислительных экспериментов, потому что проведение натурных экспериментов обычно достаточно затратное мероприятие.

Суррогатные модели строятся с помощью методов машинного обучения. Давайте на конкретном примере разберем процесс построения суррогатной модели. Рассмотрим задачу оптимизации массы боковой панели болида «Формулы-1». Речь идет о панели, которая защищает гонщика во время столкновений. Это композитная панель, есть определенный набор параметров, которые характеризуют ее структуру. С одной стороны, мы хотим минимизировать массу этой пластины, с другой стороны, мы должны удовлетворить заданным критериям на ее прочность. Для того чтобы оценить характеристики прочности пластины, нужно либо провести натурный эксперимент, изготовив настоящую пластину и сломав ее (это дорогое мероприятие), либо провести вычислительный эксперимент с некоторой моделью такого типа пластины. Натурный эксперимент здесь проводится потому, что результаты вычислительного моделирования зачастую недостаточно точны.

После проведения некоторого набора натурных и вычислительных экспериментов при решении этой задачи была построена база данных типа «вход — выход». Вход — это различные значения параметров, задающих структуру различных вариантов боковой панели, выходные характеристики — это коэффициенты ее прочности. По полученной начальной базе данных была построена суррогатная модель с помощью методов машинного обучения. Дальше решалась оптимизационная задача, в ходе которой оптимизировалась масса пластины, которая является функцией параметров ее структуры. В качестве ограничений использовалась прочность, которая вычислялась с помощью построенной суррогатной модели. При решении оптимизационной задачи был найден вариант структуры пластины, который имел меньшую массу и удовлетворял ограничениям на прочность. Дальше с помощью натурного эксперимента проводилась верификация: насколько прочность этого решения действительно соответствует прогнозу? Настоящее значение прочности добавлялось в базу данных, и по ней перестраивалась суррогатная модель, что позволяло увеличить ее прочность, после этого процесс повторялся снова.

После совершения таким образом нескольких шагов был получен дизайн изделия, удовлетворяющий необходимым требованиям. И при этом масса боковой панели была примерно на 10 % меньше, чем ранее. Таким образом удалось уменьшить массу одной из наиболее тяжелых частей машины. При этом человек с такой задачей справиться вряд ли может ? просто потому, что даже хорошо обученный эксперт обычно может контролировать не более трех параметров. В данной задаче необходимо было одновременно менять порядка десяти параметров, чтобы уменьшить массу пластины, но при этом удовлетворить требованиям на прочность.

Подобного рода задачи возникают не только в индустриальной инженерии, но и в так называемой индустрии красоты. Речь идет о креме, который позволяет отбеливать кожу. У него есть два показателя ? это, условно говоря, степень отбеливания и токсичность. Есть набор параметров, который характеризует состав крема, и понятно, что никакой физической модели здесь нет. Тем не менее есть экспериментальная база данных, по ней также можно построить суррогатную модель, с помощью которой можно нащупать улучшенный состав крема, у которого токсичность пониже, а требуемые свойства повыше.

Подобного типа задачи возникают и в других приложениях. Например, если мы собираем данные с различных сенсоров на морском судне и хотим уметь по этим показаниям сенсоров, а именно: по крейсерской скорости, по прогнозам погоды, по скорости течения — прогнозировать потребление топлива морским судном. Набрав историческую базу данных такого типа, мы можем построить предсказательную модель, с помощью которой будем прогнозировать потребление топлива. Что нам это даст? Во-первых, мы сможем планировать более оптимальные маршруты, чтобы потреблять меньше топлива. Во-вторых, мы можем обнаруживать утечки топлива и сливы.

Во всех упомянутых приложениях для того, чтобы построить суррогатную модель, необходимо реализовать следующие шаги. Собрать данные и проверить их консистентность, а если есть пропуски, то их необходимо заполнить. Данные нужно представить в виде таблицы, дальше по этой таблице, применяя ряд методов машинного обучения, строится суррогатная модель. На самом деле не все так просто, не надо думать, что, взяв стандартную библиотеку машинного обучения для одной из описанных задач, вы легко построите качественную прогнозную модель. Дело в том, что как данные, которые там возникают, так и требования предметной области зачастую достаточно специфичны. Данные могут быть порождены разными источниками: часть данных порождена аэродинамической трубой, часть данных порождена в ходе проведения вычислительного эксперимента. Как следствие, данные будут иметь различные статистические свойства, разные точности, и все это необходимо учитывать при построении соответствующей суррогатной модели.

При построении суррогатной модели также очень важны байесовские методы машинного обучения. Допустим, что мы решаем некоторую задачу оптимизации и вместо дорогой в смысле вычисления целевой функции используем ее аппроксимацию, заданную суррогатной моделью. Поскольку суррогатная модель при вычислении прогноза также имеет ошибки, то необходимо учитывать неопределенность в прогнозах суррогатной модели при решении оптимизационной задачи. Байесовские методы и позволяют это делать, фактически удается построить специальный вероятностный критерий, который принимает во внимание и неопределенность в прогнозах суррогатной модели. Оптимизируя этот вероятностный критерий, мы фактически максимизируем вероятность того, что в результате процесса мы получим оптимальное решение, близкое к исходному оптимуму.

После того как суррогатная модель построена, ее можно использовать не только для оптимизации дизайна изделия, как в примере про болид «Формулы-1», или для оптимизации ресурсов, как в примере про морское судно. Также суррогатную модель можно использовать для того, чтобы делать так называемое предсказательное обслуживание. Методы предсказательного технического обслуживания используются для поиска разладок или аномалий в работе сложных технических систем. Речь идет о том, чтобы обеспечить непрерывный мониторинг сложной технической системы и отследить нежелательные изменения в состоянии технической системы до того, как эти изменения станут заметными или приведут к катастрофическим последствиям.

Итак, с помощью методов машинного обучения построена суррогатная модель, которая моделирует зависимости между различными характеристиками технической системы по данным, которые были собраны в режиме нормальной работы технической системы. Сравнивая прогноз этой модели с текущими измерениями характеристик, мы можем выявить в работе технической системы те или иные аномалии, а также рекомендовать инженеру, из-за каких параметров произошла эта аномалия, которую мы наблюдаем. По обнаруженным аномалиям мы можем принимать либо решения о том, что нужно провести технический осмотр, можем строить прогнозы поломок. При этом необходимо учитывать специфику задачи, надо понимать, что в обучающих данных, которые будут использованы для построения прогнозной модели, примеров поломок будет очень мало. То есть это задача либо одноклассовой классификации, либо задача несбалансированной классификации.

Это нестандартные задачи машинного обучения, и, в отличие от классических, здесь зачастую требуется дополнительная проработка и даже разработка новых методов. При этом метод обнаружения аномалий и прогнозирования поломок всегда будет иметь ошибки двух типов. Первая ошибка — это пропуск цели, то есть пропуск поломки. Второй тип ошибки — это ложная тревога. В разных приложениях ошибки имеют разную цену. В случае если мы говорим о медицинских приложениях и детектировании серьезной болезни, например рака, пропуск цели имеет очень большую цену, ложные аномалии создадут дополнительные неудобства. Человек пройдет дополнительный осмотр, но, на мой взгляд, здесь ничего страшного нет. Если мы прогнозируем поломки в системе пассажирского самолета, то ситуация совсем другая. Там задача ставится следующим образом: необходимо выявить значимое количество поломок, из-за которых самолет не может вовремя вылететь из аэропорта, поскольку простои приводят к значительным издержкам. При этом ложные тревоги в этом приложении стоят достаточно дорого, поскольку из-за них приходится проводить технический осмотр, который в противном случае бы не проводился. Такого типа специфику прикладной области всегда необходимо принимать во внимание, и это является одной из важных особенностей применения машинного обучения в индустриальной инженерии.

Источник: www.youtube.com

Комментарии: