Инженер-самоучка создал очки для управления домом жестами

Американский инженер-самоучка создал очки для управления умным домом с помощью жестов, сообщает Git.

Девайс позволяет взмахом руки включить лампу или музыку на колонке.

В основе устройства лежат не готовые умные очки с камерой, а обычные солнцезащитные очки и дополнительная электроника.

Изобретатель управляет жестами с помощью двух сверточных нейросетей.

Одна из них распознает объекты в кадре, а вторая - жесты руки.

Если алгоритмы получают комбинацию из известных объекта и жеста, очки посредством Wi-Fi посылают команду на устройство.

Для обучения алгоритмов разработчик собрал самостоятельно два датасета, состоящих из более 10 тыс.

кадров объектов и жестов, снятых с разных ракурсов и в разных условиях освещения.

Инженер научил систему принимать в качестве команды взмах руки.