В 200 раз быстрее: создана камера, которая распознает объекты со скоростью света

Ученые из Вашингтонского и Принстонского университетов разработали новый тип компактной камеры, предназначенной для компьютерного зрения. Об этом пишет Interestimg Engineering.

Прототип использует оптику для вычислений и снижает энергопотребление.

Вместо традиционного объектива, сделанного из стекла или пластика, оптика в этой камере состоит из 50 металинз — плоских, легких оптических компонентов, которые используют микроскопические наноструктуры для управления светом. Металинзы также функционируют как оптическая нейронная сеть, которая представляет собой компьютерную систему, являющуюся формой искусственного интеллекта, смоделированного по образцу человеческого мозга.

Ученые создали сеть внутри объектива камеры с помощью нанофотонного массива с зависимыми от угла откликами. В сочетании с легким электронным бэкэндом около 2K параметров реконфигурируемая нанофотонная нейронная сеть достигает точности 72,76% на CIFAR-10, превосходя AlexNet (72,64%) и продвигая оптические нейронные сети в эпоху глубокого обучения.

Следующие шаги включают дальнейшие итерации и развитие прототипа, чтобы он был более актуальным для автономной навигации в беспилотных транспортных средствах.

Исследователи также планируют работать с более сложными наборами данных и задачами, для решения которых требуется большая вычислительная мощность, такими как обнаружение объектов (определение местоположения определенных объектов на изображении), что является важной функцией для компьютерного зрения, согласно пресс-релизу исследователей.