Ученые научили нейросеть распознавать музыку на видео

Эксперты из знаменитого Массачусетского технологического университета научили ИИ распознавать на видео музыкальные инструменты и редактировать их таким образом, чтобы можно было услышать звучание каждого из них по отдельности.

ИИ просмотрел более 60 часов музыкального видеоматериала и уже может распознавать 20 различных инструментов на видео. На первых этапах ученые сами показывали ему, на каких пикселях и частях аудиодорожки звучит конкретный инструмент, а затем искусственный интеллект научился делать это самостоятельно. Название нейросети «PixelPlayer» означает, что она может буквально распознавать звучание отдельного пикселя на видео. Чтобы услышать звучание конкретных инструментов пользователю необходимо всего лишь кликнуть на его изображение. ИИ также позволяет менять громкость и редактировать трек.