Американский инженер-самоучка создал очки для управления умным домом с помощью жестов, сообщает Git.
Девайс позволяет взмахом руки включить лампу или музыку на колонке.
В основе устройства лежат не готовые умные очки с камерой, а обычные солнцезащитные очки и дополнительная электроника.
Изобретатель управляет жестами с помощью двух сверточных нейросетей.
Одна из них распознает объекты в кадре, а вторая - жесты руки.
Если алгоритмы получают комбинацию из известных объекта и жеста, очки посредством Wi-Fi посылают команду на устройство.
Для обучения алгоритмов разработчик собрал самостоятельно два датасета, состоящих из более 10 тыс.
кадров объектов и жестов, снятых с разных ракурсов и в разных условиях освещения.
Инженер научил систему принимать в качестве команды взмах руки.