АНАЛИЗ МИМИЧЕСКИХ ВЫРАЖЕНИЙ ДЛЯ ЗАДАЧИ РАСПОЗНАВАНИЯ ЭМОЦИЙ

В работе рассматривается задача распознавания эмоций по мимическим микровыражениям. Приведен анализ мимических проявлений эмоций. Выявлены мимические признаки для распознавания базовых эмоций. Определен базис пространства мимических проявлений эмоциональных состояний.

Ключевые слова: мимические микровыражения, базовые эмоции, характеристический признак эмоции

The work is devoted to the task of emotion recognition based on facial microexpressions. Described the emotion mimic expressions analysis. Defined mimic features for recognition of basic emotions. Defined the basis of the space of mimic expressions emotional states. Key words: mimic microexpressions, basic emotions, emotion characteristic feature

В робот розглядаеться задача розшзнавання емоцш по мiмiчним мiкровиразам. Наведено аналiз мiмiчних проявiв емоцш. Виявлено мiмiчнi ознаки для розшзнавання базових емоцш. Визначено базис простору мiмiчних проявiв емоцшних стаыв.

Ключовi слова: м1м1чн1 м1кровирази, базов1 емоцп, характеристична ознака емоцп.

С

Введение

В основе распознавания истинного лица человека лежит распознавание эмоций. Эмоции являются неотъемлемой частью общения и способом взаимопонимания между людьми. Эмоцией называется особый вид психических процессов, которые отражают субъективное оценочное отношение к существующим или возможным ситуациям, к окружающему миру и самому себе в конкретный момент времени. Хотя эмоции могут быть выражены с помощью голоса, мимики, движения, позы и вегетативных реакций (частота сердечных сокращений и дыхания, артериальное давление), наибольшей значимостью обладает именно лицо человека [1-3].

Общение между людьми невозможно без проявления и анализа эмоций. Поэтому моделирование и распознавание эмоций является актуальным и важным направлением исследований при создании систем компьютерного распознавания и синтеза зрительных образов [4]. Невербальная, мимическая передача информации человеком стала предметом исследований в Массачусетском технологическом институте, Оксфордском, Санкт-Петербургском, Московском университетах, Институте кибернетики им. В.М. Глушкова, Киевском национальном университете им. Тараса Шевченко, Донецком национальном техническом университете и др.

Эмоциональное состояние человека наиболее точно характеризует именно мимика человека. В работах [5-8] доказано, что эмоция состоит на 55% из мимики, 38% интонации голоса и 7% составляют сказанные слова. Мимические микровыражения способны отобразить информацию, которую человек сознательно или бессознательно пытается скрыть. Однако, из-за слишком короткой продолжительности, мимические микровыражения обычно остаются незамеченными. Это позволяет утверждать, что возможность их распознавания является актуальной задачей, поскольку способна открыть новые возможности во взаимодействии людей между собой. Задача распознавания эмоций может решаться в системах, применяемых в различных сферах человеческой деятельности. К наиболее значимым областям применения можно отнести: распознавание состояния водителя, криминалистику, маркетинговые исследования, человеко-машинное взаимодействие, системы безопасности и виртуальной реальности, опНпе-обучение и др. [9].

Взаимосвязь активности лицевых мышц и эмоций

Эмоции и физиологические реакции организма регулируются одними и теми же мозговыми структурами, а значит, тесно взаимосвязаны друг с другом. О взаимосвязи мимических мышц и эмоций говорил в своих работах С. Томкинс [10]. Он считал, что реакция от лицевых мышц трансформируется в осознанную форму и вызывает эмоциональное переживание. Поэтому эмоция, по его мнению, является именно мимической реакцией. Дальнейшее развитие гипотеза о лицевой обратной связи получила в трудах Э. Геллгорна и К. Изарда [10]. В теории эмоций К. Изарда мимические проявления определяют специфику эмоций. В качестве составляющих эмоции он выделял три элемента: активность центральной нервной системы и мозга; активность системы мимической и пантомимической экспрессии и обратной связи от нее в мозг; субъективные переживания. Таким образом, эмоциональные переживания выступают условием для физиологических изменений лица, т.е. фактически, формируют контур и рельеф лица (морщины также являются следствием эмоциональной напряженности мимической мускулатуры).

С

Американские психологи П. Экман и У. Фризен исследовали взаимосвязь активности лицевых мышц (рис. 1) с различными эмоциями [6-8], [11], когда испытуемые просматривали фильмы приятного и неприятного характера. После просмотра фильма испытуемые описывали свои эмоции в соответствии с 9 шкалам (счастья, гнева, страха и др.). На основании их работы можно сделать вывод о том, что:

- по активности большой скуловой мышцы можно предсказывать появление положительной эмоции;

- знак эмоционального переживания можно контролировать по соотношению активности двух мышц: большой скуловой и мышцы гордецов, так как активность скуловой мышцы отвечает за эмоцию «счастье», а мышцы гордецов - за эмоцию «горе»;

- все отрицательные эмоции связаны с подавлением активности большой скуловой мышцы, а положительные, наоборот, с ее усилением;

- активность мышцы гордецов возрастает во время возникновения эмоций «гнев» и «горе», но уменьшается при возникновении эмоций «страх» и «радость»;

- жевательная мышца активируется во время возникновения эмоций «гнев» и «радость», но не реагирует при возникновении эмоций «печаль» и «страх».

П. Экман и У. Фризен утверждали о существовании универсальных мимических выражений для конкретных эмоций у разных людей, независимо от пола, возраста, расы и других индивидуальных особенностей [6], [8]. В качестве универсальных эмоций использовались: злость, страх, отвращение, горе, удивление, презрение, радость.

лобное брюшко затылочно-лобной мышцы

Рисунок 1 - Мышцы лица

С

Разные люди могут демонстрировать одни и те же эмоции по-разному (разная интенсивность, продолжительность и т.д.), поэтому ученые предприняли попытку систематизировать и обобщить мимические выражения человека. В результате была разработана система кодирования лицевых движений FACS (Facial Action Coding System). В FACS лицо делится на 44 части (нос, губы, брови, веки и т.д.), соответствующие движения которых обозначают конкретное мимическое выражение [8].

Мимические признаки базовых эмоций

Эмоции предназначены для решения определенных жизненных трудностей, сложных ситуаций. Каждая эмоция подготавливает человека к какому-то конкретному событию. Это событие может происходить как с внешним объектом, так и с самим человеком. В работах [12-16] предложено описывать эмоции используя набор бинарных признаков. Для обозначения эмоции используется вектор со следующими признаками:

E = ^ e2 , вз 1 = 1,8 (1)

где е1 - бинарный признак определяющий знак эмоции: 1 - позитивная эмоция (возникает в связи с удовлетворением потребности или достижением цели), 0 -негативная эмоция (возникает в связи с неудовлетворением или недостижимостью цели); е2 - бинарный признак, который определяет время возникновения эмоции относительно события: 0 - предвидящая эмоция (возникает до события с достижением или не достижением цели, предшествуют ей), 1 - констатирующая эмоция (возникает после события); е3 - бинарный признак, который определяет направленность эмоций: 1 - эмоция направлена на себя, 0 - эмоция направлена на внешние объекты или других людей; t - признак, который описывает группы эмоций по источнику их происхождения.

Комбинируя три описанных бинарных признака, получаем 8 различных вариантов, соответствующие базовым эмоциям: горе, радость, страх, надежда, гнев, удовольствие, интерес, пренебрежение. Для исследования воспроизведения мимики обратим внимание на основные мышцы лица человека [11], с целью разделения лица на определенные участки и определения точек для анализа базовых эмоций. На основании работ П. Экмана [6-8], можно выделить такие элементы лица, размещение которых важно для определения присутствия или отсутствия базовой эмоции (табл. 1).

Таблица 1 - Элементы лица, определяющие эмоцию

Базовая эмоция Элементы лица

Горе Внутренние уголки бровей, внутренние уголки верхних век, уголки рта, губы

Радость Уголки рта, рот, носогубные складки, щеки, веки, морщины под веками, морщины в виде "гусиных лапок" от внешних уголков глаз к вискам

Страх Брови, морщины в центральной части лба, веки, рот, губы

Надежда Внутренние уголки бровей, внутренние уголки верхних век

Гнев Брови, вертикальные морщины между бровями, веки, губы, ноздри

Удовольствие Рот, губы

Интерес Брови, горизонтальные морщины на лбу, веки, нижняя челюсть, губы

Пренебрежение Губы, морщины на носу, щеки, морщины на коже под нижними веками, веки, брови

С

Обозначим выделенные участки лица соответствующими маркерами (рис. 2): 1 - середина правой брови; 2 - край правой брови; 3 - верхнее веко правого глаза; 4 - нижнее веко правого глаза; 5 - верх правой щеки; 6 - правый край носа; 7 -правый край губ; 8 - верхний край губ; 9 - нижний край губ; 10 - подбородок; 11 -край левой брови; 12 - середина левой брови; 13 - верхнее веко левого глаза; 14 -нижнее веко левого глаза; 15 - верх левой щеки; 16 - левый край носа; 17 - левый край губ.

Рисунок 2 - Участки лица для анализа Проанализируем степень их влияния при классификации эмоции (табл. 2).

Таблица 2 - Качественные характеристики мимических проявлений эмоций

Эмоции Маркеры: Б - большое влияние, С - среднее влияние, Н - низкое влияние

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

Горе Н Б Б С - - - - -

Радость - - - Н - - С Н Н Б

Страх - - - - - - Н - Б - - - - - - - Н

Надежда - - Н Н - - Б Н Н - - - Н Н - - Б

Гнев Б Б С С - - Н Н Н - С С Н Н - - Н

Удовольствие - - - - - - Б - - - - - - - - - Б

Интерес Б Б Н Б Б - - - - -

Пренебрежение Н Б Б Н - - - - -

В ходе проведенного исследования оказалось, что такие участки лица как левый (16) и правый (6) край носа являются наименее активными и мало влияют на эмоции, а такие участки лица как верх правой щеки (5), верх левой щеки (15) и подбородка (10) вообще не являются информативными. Таким образом, для анализа выражения лица нужно рассматривать следующие зоны лица:

1. Область лба и бровей (внешние и внутренние концы бровей, а также их середина; наличие морщин на лбу; наличие морщин между бровями);

С

2. Область глаз (внешние и внутренние уголки верхних и нижних век, а также их середина; наличие морщин под нижними веками);

3. Область рта (уголки губ; середина верхней и нижней губы).

В табл. 3 приведем мимические описания базовых эмоций в соответствии с выделенными областями лица человека.

Таблица 3 - Мимические характеристики базовых эмоций

Базовая эмоция Изображение Мимическое описание

1. Брови приподняты. 2

Пренебрежение В || Щ к*» щ 3. Уголки губ опущены.

Страх _-Р Щ ^ тя .^шк ?л 1. Брови подняты и сведены. Морщины в центре лба. 2. Верхние веки сильно подняты. Нижние веки приподняты и напряжены. 3. Рот раскрыт, губы растянуты и напряжены.

Гнев .Н! V- я 1. Брови опущены и сведены. Вертикальные морщины между бровями. 2. Верхние веки напряжены. Нижние веки напряжены и приподняты. 3. Рот закрыт, губы сжаты.

Горе ^В .ат- ^^И и ИИ _ Н /Ш 1. Внутренние уголки бровей подняты вверх. 2. Внутренние уголки верхних век приподняты. 3. Рот закрыт, уголки губ опущены.

Интерес ?Ш 1. Брови приподняты. Морщина на лбу 2. Веки немного расширены. 3. -.

Надежда 1. Верхние уголки бровей подняты вверх. 2. Верхние веки приподняты. 3. -.

С

Продолжение таблицы 3

Удовольствие

Радость

1. -. 2. -.

3. Уголки губ оттянуты в стороны и приподняты.

1. Брови и лоб спокойны.

2. Верхние веки спокойны. Нижние веки приподняты. Морщины под нижними веками. Вокруг внешнего края уголков глаз морщины - «гусиные лапки».

3. Уголки губ оттянуты в стороны и приподняты. Носогубные морщины._

Используя полученные мимические проявления, можно получить 21 характеристический признак для описания базовых эмоций. Комбинация этих признаков создает базис мимических проявлений эмоций. Таким образом, мимические проявления эмоций (Е) можно представить в виде вектора:

Е = (п,...,^), г = 1,8 (2)

где п Е [0;1] - мимический признак (если V = 0, то признака нет; если V = 1 -

признак имеет максимальное влияние).

В таблицах 4-6 приведены значения выделенных характеристических мимических признаков для базовых эмоций.

Таблица 4 - Описание мимических проявлений в области лба и бровей для формирования базовых эмоций

Базис эмоциональных состояний Ау

Признак Мимические проявления Горе Радость Страх Надежда Гнев Удовольствие Интерес Пренебрежение

V: Морщины в центре лба 0 0 1 0 0 0 0 0

Одна горизонтальная морщина на лбу 0 0 0 0 0 0 1 0

Vз Горизонтальная морщина между бровями 0 0 0 0 1 0 0 0

V4 Внутренние углы бровей подняты вверх 1 0 0 1 0 0 0 0

V5 Брови опущены и сведены 0 0 0 0 1 0 0 0

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

V6 Брови приподняты 0 0 0 0 0 0 1 1

V7 Брови подняты и сведены 0 0 1 0 0 0 0 0

С

Таблица 5 - Описание мимических проявлений в области глаз для формирования базовых эмоций

Базис эмоциональных состояний Аг]-

Признак Мимические проявления Горе Радость Страх Надежда Гнев Удовольствие Интерес Пренебрежение

^8 Внутренние уголки верхних век подняты 1 0 0 0 0 0 0 0

У9 Верхние веки напряжены 0 0 0 0 1 0 0 0

Vl0 Верхние веки сильно подняты 0 0 1 0 0 0 0 0

V!! Верхние веки приподняты 0 0 0 1 0 0 0 0

Vl2 Нижние веки приподняты и ненапряженны 0 1 0 0 0 0 1 0

Vl3 Нижние веки приподняты и напряжены 0 0 1 0 1 0 0 0

Vl4 «Гусиные лапки» возле внешних уголков 0 1 0 0 0 0 0 0

Vl5 Морщины под веками 0 1 0 0 0 0 0 0

Таблица 6 - Описание мимических проявлений в области рта для формирования базовых эмоций

Базис эмоциональных состояний Ау

к а Надежда е и в еи не

н з и а С Мимические проявления Горе Радость Страх Гнев т с ь л о в о д У с е р И же е а б е н е р П

Vl6 Рот закрыт, губы сомкнуты 0 0 0 0 1 0 0 0

V:? Рот раскрыт 0 0 1 0 0 0 0 0

Vl8 Уголки губ оттянуты в стороны и приподняты 0 1 0 0 0 1 0 0

Vl9 Уголки губ растянуты и напряжены 0 0 1 0 0 0 0 0

V20 Уголки губ опущены 1 0 0 0 0 0 0 1

V21 Носогубные морщины 0 1 0 0 0 0 0 0

Набор из 8-ми векторов, обозначенных таким образов, образуют базис пространства мимических проявлений эмоциональных состояний: Ау, где г = 1,21, ] = 1,8.

Таким образом, свободный вектор V = (У15...,У21), полученный путем анализа изображения с каким-либо эмоциональным состоянием, можно разложить по базису А и получить описание эмоций, как выпуклой комбинации [15-17]:

X = (АТ ? А)-1 ? АТ ? V, (3)

С

Т

где А - базисная матрица эмоциональных состояний (приведена в табл. 4-6); А -транспонированная матрица А; V - вектор, описывающий мимические проявления произвольного эмоционального состояния; Х = (х1з...,х8), где xi - коэффициент выпуклой комбинации для каждой из восьми базовых эмоций ( ^ а1 = 1, а1 е [0;l]).

Вывод

В работе рассматривается взаимосвязь мимических микровыражений и эмоций человека. Приведены результаты исследования по определению мимических признаков, наличие которых важно для определения присутствия или отсутствия базовой эмоции. Выявлено, что для анализа выражения лица на фотоизображениях нужно рассматривать область лба и бровей, область глаз и область рта. В выделенных зонах получен 21 характеристический мимический признак для классификации эмоций. Определен базис пространства мимических проявлений эмоциональных состояний.

РЕЗЮМЕ

А. П. Семёнова, В.Н. Павлыш

Анализ мимических выражений для задачи распознавания эмоций

Эмоциональное состояние человека наиболее точно характеризует его мимика. Данная статья посвящена анализу взаимосвязи мимических микровыражений и эмоций человека.

В работе приведен обзор теорий, которые объясняют связь между лицевыми мышцами и проявлением эмоций. На основании работ П. Экмана выделены основные элементы лица, размещение которых важно для классификации базовых эмоций.

Установлено, что для анализа выражения лица на фотоизображениях нужно рассматривать область лба и бровей, область глаз и область рта. В выделенных зонах получен 21 характеристический мимический признак для классификации эмоции.

В работе выделены ключевые мимические признаки для распознавания базовых эмоций, определен базис пространства мимических проявлений эмоциональных состояний.

Статья поступила в редакцию 28.07.2020.

Источник: cyberleninka.ru

Комментарии: