Разработчикам удалось научить нейросеть переносить движение человека между видеороликами

Ученые из США создали нейросеть, которая умеет переносить изображения людей между двумя видеороликами. Подробную информацию о ее возможностях можно узнать в издании arXiv.org.

Искусственному интеллекту необходимо предоставить видео человека продолжительностью в несколько минут. После этого нейросеть сможет перенести на другое видео движения объекта из этого другого ролика.

Примечательно, что созданный алгоритм использует промежуточный перенос моделей тела, а не прямой, как аналогичные ему разработки.

Первым делом нейросеть превращает видео в более простую модель тела человека, а потом переносит их в нужный ролик, предварительно нормализировав. Это связано с тем, что пропорции тел различны, поэтому при переносе они напрямую подвергаются искажениям.

Далее при помощи алгоритма pix2pixHD движения модели превращаются в фотореалистичный ролик, где человек повторяет движения из исходного видеоматериала.