Сеть слияния кросс-моделей, основанная на самоконтроле и остаточной структуре для мультимодального распознавания эмоций

Мультимодальное распознавание эмоций на основе аудио-видео привлекает большое внимание благодаря своей надежной работе. Большинство существующих методов сосредоточены на предложении различных стратегий кросс-модального слияния. Однако эти стратегии вносят избыточность в характеристики различных модальностей без полного учета дополнительных свойств между модальной информацией, и эти подходы не гарантируют отсутствие потери исходной семантической информации при внутри- и межмодальном взаимодействии.

В данной работе авторы предлагают новую кросс-модальную сеть слияния на основе самовнимания и остаточной структуры (CFN-SR) для мультимодального распознавания эмоций.

Статья: https://arxiv.org/pdf/2111.02172v1.pdf

GitHub: https://github.com/skeletonnn/cfn-sr

Источник: github.com

Комментарии: