Чтобы оптимизировать обучение, алгоритм поделил человеческое лицо на 68 ключевых точек, которые отслеживал в течение каждого видеозвонка,
Затем бот показал, что может, смотря видео с говорящим человеком, выбрать в реальном времени, какая мимическая реакция будет наиболее подходящей. Если человек, например, смеялся, бот решал приоткрыть рот или запрокинуть голову.
После этого исследователи из Facebook протестировали систему на группах людей. Испытуемые смотрели анимации, на которых было взаимодействие как между ботом и человеком, так и между человеком и человеком. Добровольцы посчитали, что боты и люди одинаково естественны и реалистичны.
Однако ученые отмечают, что мимические выражения — еще не все, знания о них недостаточно для поддержания полноценной коммуникации: у людей за лицевыми проявлениями скрываются мысли и чувства.
Facebook представит исследование на конференции International Conference on Intelligent Robots and Systems, которая пройдет в этом месяце в Ванкувере (Канада).