Ваш старый смартфон начнет бегать: исследователи представили платформу PhoneBot

Исследователи из Калифорнийского университета в Лос-Анджелесе создали платформу, способную превратить старый смартфон в функционального двуногого робота.

Проект PhoneBot был реализован в Лаборатории робототехники и механизмов (RoMeLa) Калифорнийского университета. Разработчики описывают двуногого робота, который использует смартфон такие как корпус, глаза и мозг.

Основная идея заключается в том, чтобы добиться этого без дорогостоящих дополнительных устройств. Небольшие исследовательские роботизированные системы, как правило, требуют датчиков, функций машинного зрения и большого количества проводных соединений. PhoneBot возлагает все эти задачи на смартфон.

Камера обеспечивает визуальное взаимодействие с окружающей средой, а также является иммерсионным и измерительным блоком смартфона (IMU), который измеряет наклон и движение, работает как внутреннее ухо для поддержания равновесия. Процессор управляет нейросетью, которая контролирует суставы, а сенсорный дисплей отображает состояние и элементы управления.

Такой робот в высоту 48,3 см и весит всего 1,8 кг. Он оснащён 13 недорогими сервомоторами — по шесть на каждой ноге, а ещё один поворачивает корпус. Это позволяет поворачивать камеру для отслеживания живых объектов или предметов.

Такой робот взаимодействует с ПК через Wi-Fi и получает команды о движении и действиях. По словам исследователей, это упрощает интеграцию со смартфонами разных производителей. Прежде чем начать реально ходить, PhoneBot прошел глубокое обучение с подкреплением. Он зарабатывал очки за поддержание заданного темпа, чередование шагов, сохранение вертикального положения и терял очки за плохое выполнение.

В ходе симуляции были учтены ограниченная мощность и скорость реальных двигателей, а также люфт в шестернях. Это позволило роботу освоить движения, которые он будет выполнять в реальных условиях. Реальный робот продемонстрировал ходьбу, следование за человеком с помощью камеры и подъем из положения лежа лицом вниз.

Голосовой режим пока не является полностью автономным. Распознавание речи и речевая модель работают на ноутбуке, к которому смартфон подключается через Wi-Fi. Управление и визуализация с помощью камеры осуществляются с помощью смартфона.

Исследователи провели испытания PhoneBot с четырьмя Android-смартфонами, среди которых Honor 9 2017 года выпуска и 3 бюджетные модели, приобретённые за $50–$80. На всех устройствах были запущены ключевые функции, включая распознавание движений, управление ходьбой, визуальное управление и взаимодействие с устройствами.

Было установлено, что функция картографирования и локализации (SLAM) не работала на Honor 9. Исследователи объясняют это тем, что сервисы Google недоступны на этом устройстве в США. Исследователи также не гарантируют, что PhoneBot будет совместим со всеми Android-смартфонами.

В настоящее время роботизированная платформа не оснащена манипуляторами и способна передвигаться только по ровной поверхности. Небольшие двигатели также ограничивают вес, который она может переносить PhoneBot и выполняемые им движения.

Исследователи планируют сосредоточиться на попытках научить робота передвигаться по неровной местности, установить легкие манипуляторы, а также интегрировать планирование на основе языковых моделей, которое будет преобразовывать голосовые команды и визуальную информацию в действия. Разработчики хотят запускать модели ИИ непосредственно на смартфоне, чтобы уменьшить зависимость от стороннего аппаратного устройства, в частности ноутбука, который в настоящее время обрабатывает голосовые команды.

Аппаратное и программное обеспечение имеет открытый исходный код. PhoneBot позиционируется как платформа, которую может создать и использовать любой желающий. По оценкам исследователей, стоимость такой платформы составит около $400, не считая смартфона. Стоимость сопоставимых исследовательских роботов составляет от $3500 до $13 800.

Результаты исследования опубликованы на сервере препринтов arXiv

Источник: TechXplore