Устройство на запястье позволяет управлять роботизированной рукой

Каждый раз, когда вы прокручиваете экран своего телефона, задумайтесь о том, как это возможно благодаря координации 34 мышц, 27 суставов и более 100 сухожилий и связок в вашей руке. Руки являются самыми ловкими частями нашего тела, и имитация их сложных жестов долгое время была вызовом для робототехники и виртуальной реальности. Теперь инженеры MIT разработали ультразвуковое устройство на запястье, которое точно отслеживает движения руки носителя в реальном времени.

Это устройство производит ультразвуковые изображения мышц, сухожилий и связок запястья по мере движения руки и соединяется с алгоритмом искусственного интеллекта, который непрерывно переводит изображения в соответствующие позиции пяти пальцев и ладони. Исследователи могут обучить устройство распознавать движения руки носителя, которые оно может передавать в реальном времени роботу или виртуальной среде.

В демонстрациях команда показала, что человек, носящий устройство, может беспроводным образом управлять роботизированной рукой. Когда человек жестикулит или указывает, робот делает то же самое. В рамках такого беспроводного взаимодействия носитель может заставить робота сыграть простую мелодию на пианино или забросить небольшой мяч в настольное кольцо. С помощью того же устройства носитель может также манипулировать объектами на экране компьютера, например, сжимая пальцы вместе, чтобы увеличить или уменьшить виртуальный объект.

Команда использует устройство для сбора данных о движениях рук от множества пользователей с различными размерами рук, формами пальцев и жестами. Они планируют создать большой набор данных о движениях рук, который можно будет использовать для обучения гуманоидных роботов в задачах ловкости, таких как выполнение определенных хирургических процедур. Ультразвуковое устройство также может быть использовано для захвата, манипуляции и взаимодействия с объектами в видеоиграх, дизайнерских приложениях или других виртуальных средах.

«Мы считаем, что эта работа может сразу же повлиять на замену технологий отслеживания рук носимыми ультразвуковыми устройствами в виртуальной и дополненной реальности», — говорит Сюаньхэ Чжао, профессор механической инженерии в MIT. «Это также может предоставить огромное количество обучающих данных для ловких гуманоидных роботов.»