Нейросеть научилась заглядывать в будущее

Доклад о результатах исследования будет представлен на конференции по компьютерному зрению и распознаванию образов в Солт-Лейк-Сити. Статья с описанием разработки и исходный код алгоритма доступны на университетской странице разработчиков.

Помощник шеф-повара всегда знает, какое действие собирается выполнить его начальник, какие продукты нужно порезать и какую посуду подать. Для компьютера работа подобного подмастерья до сих пор оставалась практически невозможной. Команда ученых из Боннского университета разработала искусственную нейронную сеть, которая может предугадывать действия человека, выполняющего обычную работу, например, готовящего еду.

Для «обучения» нейросети ученые сняли 40 коротких видеороликов (каждый длился около шести минут), на которых разные люди готовили салаты. В каждом из роликов повара выполняли около 20 действий, которые ученые на подготовительном этапе описали вручную, например «разбивает яйцо», «добавляет соль» и так далее. Около четырех часов компьютер «просматривал» эти ролики. В результате нейросеть научилась предсказывать, что будет дальше делать повар и как долго.

Разработку ученых можно будет применять, например, для усовершенствования системы «умного дома». Алгоритм сможет угадывать, какие ингредиенты понадобятся в готовке следующими, и подавать команду роботу, который будет доставать их из холодильника. Такой помощник сможет также заранее разогревать духовку, давать советы и сообщать, если вдруг человек добавил не те продукты или, например, забыл помешать суп.