SEGA: Семантическое направленное внимание на визуальный прототип для обучения с несколькими кадрами

Обучение машин распознаванию новой категории на основе небольшого количества обучающих образцов, особенно одного, остается сложной задачей из-за неполного понимания новой категории, вызванного недостатком данных. Однако человек может быстро выучить новые классы даже при небольшом количестве образцов, поскольку он может сказать, на какие дискриминационные признаки следует обратить внимание в каждой категории, основываясь как на визуальных, так и на семантических предварительных знаниях.

Чтобы лучше использовать эти предварительные знания, авторы данной работы предложили механизм SEmantic Guided Attention (SEGA), в котором семантические знания используются для управления визуальным восприятием сверху вниз в отношении того, на какие визуальные признаки следует обратить внимание при отличии категории от других. В результате встраивание нового класса даже при небольшом количестве образцов может быть более дискриминационным.

Статья: https://arxiv.org/pdf/2111.04316v1.pdf

Источник: arxiv.org

Комментарии: