Превзошла обычный ИИ: создана "умная" камера нового типа размером менее 1 мм

Исследователи из Принстонского университета и Вашингтонского университета совершили прорыв, разработав новый тип камеры с функцией компьютерного зрения — типа искусственного интеллекта (ИИ), который помогает компьютерам распознавать объекты на фотографиях и видео. Об этом пишет портал Interesting Engineering.

Сообщается, что камера размером с крупинку соли (менее половины миллиметра в ширину) может делать четкие, полноцветные изображения с беспрецедентной детализацией, а также распознает объекты со скоростью света. При этом устройство использует свет вместо электричества.

"Это совершенно новый способ мышления об оптике, который сильно отличается от традиционной оптики. Это сквозное проектирование, где оптика проектируется совместно с вычислительным блоком", — отметил доктор философии, профессор электротехники, вычислительной техники и физики в Вашингтонском университете и один из авторов исследования Арка Маджумдар.

В свою очередь исследователь Феликс Хайде, отметил, что идея оформилась, когда он начал исследовать метаповерхности — искусственные листообразные материалы с субволновыми характеристиками.

Метаповерхности не преломляют свет через стекло или пластик, как традиционные линзы. Вместо этого они преломляют свет вокруг крошечных структур, подобно тому, как свет распространяется при прохождении через узкую щель.

Чтобы спроектировать камеру и изготовить чип Хайде и его студенты объединили усилия с экспертами Вашингтонской лаборатории нанотехнологий. Вместо использования традиционной стеклянной или пластиковой линзы команда интегрировала 50 сложенных друг на друга плоских и легких металинз, которые используют микроскопические наноструктуры для управления светом. Эти металинзы дублируют оптическую нейронную сеть, систему ИИ, вдохновленную мозгом.

Исследуя эту технологию, ученые выявили, что свет, выходящий из массивов столбов, вовсе не обязательно должен был напоминать исходное изображение. Вместо этого столбы действовали как специализированные фильтры, сортируя оптические данные по категориям, таким как края, светлые и темные области или даже особенности, выходящие за рамки человеческого восприятия, тем самым предоставляя компьютерам предварительно обработанную, структурированную информацию.

"Мы поняли, что нам не нужно записывать идеальное изображение. Мы можем записывать только определенные характеристики, которые затем можем объединить для выполнения таких задач, как классификация", — отметил Феликс Хайде.

Важно Превратит смартфон в фотоаппарат: Xiaomi представила модульную камеру на магните (фото)

Затем команда разработала систему, способную идентифицировать объекты на изображениях, используя менее 1% вычислительной мощности, необходимой для традиционных методов, при этом метаповерхностная линза справлялась с 99,4% рабочей нагрузки.

Если традиционные нейронные сети применяют математические фильтры (ядра) для извлечения данных, требуя многочисленных вычислений даже для нескольких пикселей, то новая система естественным образом проводит сложную фильтрацию при прохождении света, позволяя нескольким большим фильтрам анализировать все изображение сразу. По мнению ученых, эта технология может произвести революцию в нескольких технологиях.

"Это, конечно, еще предстоит увидеть, но здесь мы продемонстрировали первый шаг. И это большой шаг вперед по сравнению со всеми другими существующими оптическими реализациями нейронных сетей", — заключил Арка Маджумдар.