Использование «ушей» улучшает восприятие робота

Использование «ушей» улучшает восприятие робота

Люди редко используют только одно чувство, чтобы понять мир, однако роботы обычно полагаются только на зрение и, теперь уже все чаще, на прикосновение. Исследователи из университета Карнеги-Меллона (CMU) обнаружили, что восприятие роботов можно заметно улучшить, если добавить еще одно чувство – слух, сообщает портал Тechxplore.com.

Исследователи из института робототехники при CMU обнаружили, что звуки могут помочь роботу различать объекты, такие как металлическая отвертка и металлический гаечный ключ. Слух также может помочь роботам определить, какое действие вызвало звук, и помочь им использовать звуки для прогнозирования физических свойств новых объектов.

«Большая предварительная работа в других областях показала, что звук может быть полезен, но не было ясно, насколько он поможет при создании робототехники», – сказал Леррел Пинто, недавно получивший докторскую степень. по специальности робототехника в CMU. Он и его коллеги обнаружили, что производительность робота, использующего звук, была довольно высокой: слышащие роботы успешно классифицируют объекты в 76% случаев.

Ученые представили свои выводы в прошлом месяце во время виртуальной конференции по робототехнике и системам. Среди других членов команды были Абхинав Гупта, доцент кафедры робототехники, и Дхирадж Ганди, бывший магистрант, ныне научный сотрудник питтсбургской лаборатории Facebook Artificial Intelligence Research.

Для выполнения своего исследования исследователи создали большой набор данных, одновременно записывая видео и аудио 60 обычных объектов, таких как игрушечные блоки, ручные инструменты, обувь, яблоки и теннисные мячи, когда они скользили или катились по подносу и врезались в его стенки. С тех пор был создан набор данных, каталогизирующий 15 тысяч различных взаимодействий, для использования другими роботами-исследователями.

Команда зафиксировала эти взаимодействия с помощью экспериментального устройства, которое они назвали Tilt-Bot – квадратного лотка, прикрепленного к руке робота «Сойера». Это был эффективный способ создания большого набора данных; они могли поместить объект в лоток и позволить «Сойеру» потратить несколько часов, перемещая лоток в случайных направлениях с различными уровнями наклона, пока камеры и микрофоны записывали каждое действие. Они также собирали некоторые данные за пределами лотка, используя «Сойера» для толкания предметов на поверхности.

Хотя размер этого набора данных беспрецедентен, другие исследователи также изучали, как интеллектуальные агенты могут собирать информацию из звука. Например, Оливер Кремер, доцент кафедры робототехники, руководил исследованием использования звука для оценки количества гранулированных материалов, таких как рис или макароны, путем встряхивания содержащего их контейнера.

Пинто сказал, что польза звука для роботов вполне закономерна, хотя он и другие были удивлены тем, насколько удачным оказался опыт. Они обнаружили, например, что робот может использовать то, что он узнал о звуке одного набора объектов, чтобы делать прогнозы о физических свойствах ранее невидимых объектов.