DeepMind помогла Waymo обучать беспилотники эволюционным методом

Компания Waymo объявила о партнерстве с компанией DeepMind в области обучения нейросетевых алгоритмов беспилотных автомобилей. Теперь для части алгоритмов Waymo использует разработанную в DeepMind методику, при которой гиперпараметры обучения подбираются параллельно на множестве моделей с помощью способа, напоминающего эволюционное развитие живых организмов.

В основе системы управления беспилотным автомобилем лежат нейросетевые алгоритмы, эффективность работы которых напрямую зависит от количества и качества обучающих данных. Именно из-за этого ведущие разработчики, такие как Waymo, расширяют парк автомобилей и тестируют их, проезжая миллионы километров на реальных дорогах и миллиарды километров в симуляции. Однако сами по себе данные — лишь часть условий, необходимых для создания автомобиля, ездящего по дорогам безопаснее, чем люди. Не менее важно устройство тех или иных нейросетевых моделей, а также то, каким именно образом они обучаются.

В нейросетевых алгоритмах есть два вида параметров. Один вид — это непосредственные параметры нейросети, меняющиеся во время обучения, например, веса нейронов. Другой вид — это гиперпарметры. Они отвечают за то, как именно происходит обучение. Например, один из ключевых гиперпараметров — это скорость обучения, то есть то, как быстро нейросеть подстраивает свои параметры во время обучения. При этом скорость обучения необходимо держать на сбалансированном уровне, потому что при слишком низкой скорости на обучение уйдет много времени и вычислительных ресурсов, а при слишком высокой параметры могут резко меняться и в итоге так и не прийти к оптимальному значению.

Обычно процесс подбора гиперпараметров происходит полуавтоматически. Во время него множество нейросетевых моделей обучаются параллельно и гиперпараметры для каждой из них выбираются случайным образом, после чего «побеждают» лучше всего обучившиеся модели. В 2017 году специалисты из компании DeepMind, которая, как и Waymo, а также Google, входит в холдинг Alphabet, предложили значительно улучшенный метод обучения, который теперь используется для обучения алгоритмов беспилотников.

Метод можно представить как эволюцию. Изначально модели начинают параллельное обучение со случайным набором гиперпараметров. Через небольшое время худшие модели из «популяции» заменяются на новое поколение — копии лучших моделей с немного измененными гиперпараметрами обучения. При этом копии полностью наследуют состояние модели-родителя, поэтому их не приходится переобучать «с нуля» и тратить на это ресурсы. Поскольку некоторые гиперпараметры могут не обеспечивать итоговый хороший результат быстро, исследователи реализовали разбиение всей «популяции» на изолированные «субпопуляции», соревнующиеся только между собой подобно тому, как происходит настоящая эволюция на островах. Кроме того, во время каждого отрезка обучения модели обучаются не в полной изоляции, а могут «подсматривать» гиперпараметры у более успешных моделей.

Waymo протестировала метод обучения на алгоритме, который выделяет на изображении с камер области с пешеходами, велосипедистами и мотоциклистами. Обученный таким методом алгоритм в итоге обладал на 24 процента более низким уровнем ложноположительных срабатываний, при которых он распознает целевой объект там, где его на самом деле нет. При этом на обучение ушло вдвое меньше вычислительных ресурсов.

В начале года Департамент транспортных средств штата Калифорния опубликовал ежегодную статистику по частоте вмешательств инженеров-испытателей в работу беспилотных автомобилей во время их тестирования на улицах. Лидером по этому показателю, как и в прошлом году, оказалась именно Waymo. Ее автомобили в среднем проезжают почти 18 тысяч километров без необходимости вмешательство. Однако эти данные необходимо воспринимать с долей скептицизма, потому что в официальную статистику попадают лишь случаи, которые в результате воспроизведения на симуляторе оказались способны привести к серьезной аварии в случае, если бы инженер не перехватил управление.

Григорий Копиев

Источник: nplus1.ru

Комментарии: