Ученые научили робота жестикуляции при помощи TED Talks

Корейские исследователи научили трехмерную систему использовать жесты в процессе разговора, используя записи выступлений спикеров на TED Talks. Всего было обработано около 52 часов видеоматериала.

Используя технологию OpenPose, позволяющую фиксировать движение частей тел человека в ролике, они загрузили данные о жестах спикеров в искусственный интеллект.

После этого они создали второй ИИ, задача которого состояла в том, чтобы соотносить жесты с фразами выступающего. Также его задача состояла в исправлении ошибок первой нейросети при выборе жестов к синтезированной речи.

Для проверки работоспособности своей системы ученые провели тестирование, в котором было задействовано 46 добровольцев. Им необходимо было оценить правдоподобность жестов системы по шкале от 1 до 5. Результаты показали, что большинство участников оценили ИИ выше 3 баллов.

Свою разработку ученые уже внедрили в гуманоидного робота NAO, которому, по их мнению, удалось успешно воспроизводить все комбинации жестов.