Нейросеть самостоятельно научилась распознавать эмоции как человек

Существуют теории, согласно которым человеческие эмоции представляют собой стереотипные ответы на определенные стимулы. Если это верно, то компьютер можно научить освоить эти стереотипы и понять, что вызывает у человека ту или иную эмоцию. Однако таких моделей сделано не очень много.

В новой работе ученые представили еще одну попытку сделать подобную модель. Ее авторы воспользовались уже существующей сверточной нейросетью, которая может распознавать объекты на изображениях. Ее натренировали предсказывать, какие эмоции у людей вызывают различные картинки, на наборе из 2185 видеороликов, который содержал в общей сложности 137 482 кадра. 853 добровольца классифицировали этот набор, выделив в нем 27 категорий эмоций.

Получившуюся нейросеть, EmoNet, проверили, пропустив через нее 25 000 изображений разного содержания – от сцен эротики до природных пейзажей. На этих изображениях присутствовали все 27 выделенных категорий. EmoNet должна была определить эти эмоции, например, страх, веселье, любопытство или сексуальное возбуждение.

Нейросеть смогла точно категоризировать только 11 эмоций из 27. Например, она хорошо справилась с влечением или сексуальным желанием, — фото, которые провоцируют человека на эти чувства, она определила с более чем 95% точностью. Но задача найти изображения, которые вызовут у зрителя растерянность, трепет или удивление, оказалась гораздо сложнее. Также нейросеть плохо различает между собой обожание и радость, Вероятно, у них слишком схожие визуальные особенности.

Простой черный экран EmoNet отнесла к изображениям, вызывающим беспокойство, красный экран, по ее мнению, должен был говорить о влечении. Щенки вызывают веселье, но если их на картинке двое, пробуждают романтические чувства.

Последние исследования показывают, что эмоции связаны с визуальными ощущениями, соответственно, их проявлению может предшествовать активация определенных нейронных контуров мозга. Например, сцены физического насилия вызывают быструю реакцию, связанную с отвращением или ужасом, которые могут смениться состраданием или гневом. Сцены с привлекательными, скудно одетыми людьми заставляют активироваться нейроны, связанные с сексом; сцены с вкусной едой провоцируют возбуждаться нейроны, связанные с потреблением пищи, и так далее. Ученые даже смогли определить конкретные нейроны, которые избирательно реагируют на стимулы. Поэтому во второй части исследования ученые проверили, какие отделы мозга и узлы нейросети активируются при просмотре изображений. 

Для этого они показывали набор из 112 изображений и EmoNet, и 18 добровольцам, мозг которых в это время сканировали с помощью фМРТ. Затем авторы сравнивали активность нейросети и мозга людей в визуальной коре и обнаружили схожие паттерны. Модели активности зрительной коры человека могли предсказать, какие узлы активизируются в EmoNet во время определения эмоции. По словам ученых, это означает, что их нейросеть научилась представлять эмоции «биологически правдоподобным» способом, хотя ее не обучали этому специально.