Нейросеть училась по сериалу «Друзья»

Как Data Sience выглядит на практике

Основную информацию в разговоре мы получаем не из самих слов собеседника, а из его невербальной составляющей. Письменная речь гораздо беднее устной, поэтому одна из труднейших задач, над которой бьются создатели виртуальных ассистентов - как научить компьютер чувствовать тон человеческой речи?

Недавно специалисты по нейросетям предложили эффективную модель, позволяющую определять эмоции в письменной речи с помощью графов - DialogueGCN (от Graph Convolutional Neural Network) или сверточная граф-нейросеть. Давайте разберемся, как она работает.

Исследователи исходят из того, что значение фразы зависит от двух уровней контекста: Последовательный контекст связан с позицией каждого слова в предложении, а высказывания — в диалоге. Разговорный контекст принимает во внимание отношения между участниками беседы.

Создатели DialogueGCN сосредоточились именно на разговорном контексте. Исследователи представили каждое высказывание как вершину графа u[1], u[2], …, u[N]. Это граф направленный, т.е. u[1]-u[2] не равняется u[2]-u[1]. У каждой грани есть две характеристики: вес W (значение слова ) и отношение R (тип высказывания).

У такой методики есть ?слабое место - с течением времени и увеличением числа участников граф может увеличиваться до огромных масштабов, требуя все больше вычислительных ресурсов. Решили эту проблему введением дополнительного параметра i, который ограничивает допустимое окно анализа. Нейросеть принимает во внимание только те высказывания, которые лежат от него в пределах i в обоих направлениях от узла. Таким образом она обрабатывает и прошлые высказывания, которые привели к реплике, так и будущие, которые за ней последовали.

Важная проблема при программировании таких систем машинного обучения - это отсутствие проверочных наборов данных (бенчмарков). Исследователи воспользовались размеченными мультимодальными подборками, которые объединяли текст с видео- или аудиоконтентом - сериал «Друзья».?????????

Результаты испытаний доказали эффективность DialogueGCN, которая в большинстве случаев определила эмоциональный окрас реплик значительно лучше всех других подобных нейросетей. По словам исследователей, это доказывает важность разговорного контекста, поскольку именно в этом и состоит главное отличие новой нейросети от чат-ботов.

Значение этой работы не ограничивается интересными перспективами для систем обработки языка. Это отличный пример применения графов в Data Science и прикладном машинном обучении. Возможность анализировать связи между объектами позволяет раскрыть суть их взаимоотношений!

Комментарии: