Разработчикам удалось научить нейросеть переносить движение человека между видеороликами
Ученые из США создали нейросеть, которая умеет переносить изображения людей между двумя видеороликами. Подробную информацию о ее возможностях можно узнать в издании arXiv.org.
Искусственному интеллекту необходимо предоставить видео человека продолжительностью в несколько минут. После этого нейросеть сможет перенести на другое видео движения объекта из этого другого ролика.
Примечательно, что созданный алгоритм использует промежуточный перенос моделей тела, а не прямой, как аналогичные ему разработки.
Первым делом нейросеть превращает видео в более простую модель тела человека, а потом переносит их в нужный ролик, предварительно нормализировав. Это связано с тем, что пропорции тел различны, поэтому при переносе они напрямую подвергаются искажениям.
Далее при помощи алгоритма pix2pixHD движения модели превращаются в фотореалистичный ролик, где человек повторяет движения из исходного видеоматериала.