Una càmera sense lents construïda especialment per als programes d'IA i de visió per ordinador

Un equip d'enginyers han desenvolupat una càmera "a través" d'un panell de vidre, un fotodetector i un programari realment intel·ligent. Les càmeres solien ser els dispositius amb lents per recordar viatges. Després, es van convertir en telèfons, tauletes, ordinadors portàtils i consoles de videojocs. Ara, sembla que les càmeres podrien arribar a ser tan discretes com un vidre.

Segons les noves investigacions, un fotodetector apantallat a la vora d'una finestra pot detectar les reflexions que reboten a l'interior de les senyals de llum de vidre que travessen un cable de fibra òptica. Amb un processament intel·ligent d'aquests petits trossos de llum detectada permet que el vidre funcioni com una lent de la càmera.
Les imatges resultants, una mica distorsionades i de menor resolució a les realitzades pels telèfons intel·ligents de primera generació, no competiran en cap moment amb càmeres convencionals per a la qualitat d'imatge. Però per als propòsits de molts programes de visió per computadora, un panell de finestra o un parabrisa de cotxe pot proporcionar tota la resolució que un algoritme de processament d'imatges o una xarxa neuronal necessiti.

Una bona quantitat d'imatges capturades per càmeres avui en dia mai són vistes per l'ull humà, només es veuen mitjançant algoritmes que processen les càmeres de seguretat o vídeos d'una planta d'una fàbrica o sensors d'imatge de vehicles autònoms, de manera que el nombre d'imatges mai vistes pels humans és cada vegada més gran.
Per tant, si les màquines aniran veient aquestes imatges més que els humans, llavors, per què no es pensa a redissenyar les càmeres exclusivament per a màquines?
En altres paraules, els algoritmes de visió per computadora no sempre necessiten les altes resolucions i la fidelitat de la imatge que exigeix ​​un ull humà. Pot ser que encara es pugui extreure molta informació a partir de les imatges de menor qualitat.

Aquesta tecnologia, per a la qual hi ha sol·licitada una patent, comença amb un vidre o plàstic. No es requereix res en especial per al propi mitjà visual, ja que s'utilitza un full de plexiglàs perquè és més fàcil de treballar i tallar.
Adjunten un fotodetector lliure (de 640 per 480 píxels que ofereix una resolució de 8 bits) a una vora de la làmina de plàstic que s'havia allisat i preparat per interaccionar amb el dispositiu d'imatges.
Durant les treballs es va mantenir el camp de visió simple per a aquesta implementació de prova de concepte. L'objecte que van establir davant del panell era una sèrie de 32 per 32 llums LED. Després, van mirar el senyal que arribava al fotodetector quan cada una de les 1.024 llums es va il·luminar individualment.
Així, qualsevol imatge arbitrària de la matriu LED seria, almenys en una primera aproximació, una combinació lineal dels senyals de cadascuna de les llums LED individuals que s'hagin il·luminat.
Per aquest projecte, que han desenvolupat algorismes de processament de senyals tradicionals que podrien reconstruir la imatge del senyal rebuda al fotodetector, van anomenar a aquest pas el "problema invers", perquè el seu algorisme estava prenent un senyal complicat i confús i el conduïa cap enrere per descobrir els objectes que podrien haver generat els fotons detectats al detector.
S'estava detectant una distribució [de fotons] a l'espai que correspon a un objecte concret. Això és exactament el que fa una lent.

Per això, aquestes finestres "càmeres" poden ser especialment adequades per a programes que es basen en la visió per computadora. La qualitat de la imatge i la informació resoluble poden ser prou bons per a la visió per computadora, però encara no (i potser mai) estaran preparats per reemplaçar la càmera tradicional basada en lents per a imatges que els humans veuen.
Aquest equip, està desenvolupant un algorisme d'aprenentatge automàtic per estudiar imatges més complexes -com ara números escrits a mà que es podrien detectar i resoldre en els dígits numèrics que representen.

Una de les primeres aplicacions d'aquesta tecnologia podria ser per la realitat virtual i les ulleres de realitat augmentades. El maquinari de visualització d'imatges i generació d'imatges d'unes ulleres ja és prou voluminós en aquests cascs. Llavors, què passa si una versió d'aquesta càmera sense lent de visió pot proporcionar informació prou bona per rastrejar el moviment dels ulls de l'usuari?
És irònic, per descomptat, que un avenç podria venir en forma d'una tecnologia que sofreix una reducció dràstica de la qualitat actual. Però, potser el salt més important és el canvi mental pensant en redissenyar una tecnologia que sigui "prou bona" ​​per a la IA i els sistemes de processament d'imatges. Perquè a simple vista, el que importa en el món de la IA, no és tant l'alta qualitat d'una única font de dades, sinó la proliferació de fonts de dades.

Font: IEEE Spectrum