Доповнена реальність на дотик: учені придумали, як перетворити будь-що на клавіатуру

Як звичайна пляшка чи книга можуть замінити клавіатуру?

Традиційні методи введення тексту у віртуальному середовищі часто стають джерелом роздратування. Користувачі змушені взаємодіяти з віртуальними кнопками, що "висять" у повітрі. Це не лише повільно та неточно, але й фізично виснажливо. Тривале утримання рук у піднятому стані викликає специфічне м'язове перенапруження, яке в індустрії отримало назву "ефект руки горили", повідомляє 24 Канал з посиланням на TechXplore.

Щоб подолати цей бар'єр, команда вчених із Техаського університету в Далласі (UT Dallas) розробила інноваційний інтерфейс під назвою PropType. Ця технологія, на яку вже подано заявку на патент, дозволяє накладати віртуальну клавіатуру на реальні фізичні об'єкти, які людина тримає в руках. Система здатна адаптуватися навіть до вигнутих поверхонь, перетворюючи їх на зручні інструменти для друку.

На відеодемонстрації, створеній студентами-дослідниками, показано, як PropType функціонує на найрізноманітніших предметах: пляшках з водою, кавових горнятках, книгах і навіть банках з газованими напоями.

Демонстрація роботи технології: дивіться відео

Доктор Джин Рьон Кім, доцент кафедри комп'ютерних наук, пояснює, що інтеграція предметів з навколишнього середовища створює безшовний зв'язок між фізичним і віртуальним світами. Головна перевага полягає у тактильному відгуку: коли пальці торкаються реальної поверхні, мозок отримує підтвердження натискання, що значно зменшує потребу постійно дивитися на клавіші.

Розробка PropType вимагала вирішення складних інженерних завдань, зокрема адаптації інтерфейсу до об'єктів різної форми та розміру. У ході дослідження науковці проаналізували поведінку 16 учасників, вивчаючи, як вони тримають предмети та які жести використовують для друку.

На основі цих даних були створені кастомні розкладки клавіш. Крім того, розробники додали інструмент редагування, який дозволяє користувачам самостійно налаштовувати візуальні ефекти та розташування кнопок.

Демонстрація роботи технології: дивіться відео

Перші успіхи

Ця робота вже здобула визнання на міжнародному рівні. Команда Лабораторії мультимодальної взаємодії отримала почесну відзнаку за найкращу статтю на конференції ACM CHI в Йокогамі (Японія), а згодом представила проєкт на симпозіумі в Пусані (Південна Корея).

Варто зазначити, що це не єдиний успіх лабораторії у сфері тактильних технологій. Дослідники також працюють над феноменом "термального маскування". Ця технологія обманює мозок, змушуючи його відчувати тепло або холод у певній точці тіла, навіть якщо джерело температури знаходиться в іншому місці – на відстані кількох сантиметрів, зазначено в статті на Digital Library. Наприклад, вібраційний пристрій та нагрівальний елемент, розміщені окремо на руці, при одночасній активації створюють ілюзію тепла в обох точках. Такі розробки обіцяють революцію в медичних симуляторах та VR-іграх, роблячи віртуальний досвід майже відчутним на дотик.