Imágenes de un solo píxel

La obtención de imágenes de un solo píxel es una técnica de obtención de imágenes computacional para producir imágenes con resolución espacial utilizando un solo detector en lugar de una matriz de detectores (como en los sensores de cámara convencionales ). ^[2] Un dispositivo que implementa un esquema de obtención de imágenes de este tipo se denomina cámara de un solo píxel . Combinada con la detección comprimida , la cámara de un solo píxel puede recuperar imágenes a partir de menos mediciones que la cantidad de píxeles reconstruidos . ^[3]

La obtención de imágenes de un solo píxel se diferencia del escaneo raster en que se obtienen imágenes de múltiples partes de la escena al mismo tiempo, en un modo de campo amplio, utilizando una secuencia de patrones de máscara, ya sea en la etapa de iluminación o en la de detección. ^[4] A menudo se utiliza un modulador de luz espacial (como un dispositivo de microespejos digitales ) para este propósito.

Las cámaras de un solo píxel se desarrollaron para ser alternativas más simples, más pequeñas y más económicas a las cámaras digitales convencionales basadas en silicio , con la capacidad de obtener imágenes de un rango espectral más amplio . ^[3] Desde entonces, se ha adaptado y se ha demostrado que es adecuada para numerosas aplicaciones en microscopía , tomografía , holografía , imágenes ultrarrápidas , FLIM y teledetección . ^[4]

Los orígenes de la obtención de imágenes de un solo píxel se remontan al desarrollo de la fotografía dual ^[5] y la detección comprimida a mediados de la década de 2000. ^[6] El artículo seminal escrito por Duarte et al. ^[3] en 2008 en la Universidad Rice concretó las bases de la técnica de obtención de imágenes de un solo píxel. También presentó una comparación detallada de las diferentes modalidades de escaneo y obtención de imágenes que existían en ese momento. Estos desarrollos también fueron una de las primeras aplicaciones del dispositivo de microespejos digitales (DMD), desarrollado por Texas Instruments para su tecnología de proyección DLP , para la detección de luz estructurada.

Pronto, la técnica se extendió a la obtención de imágenes fantasma computacionales , imágenes de terahercios e imágenes 3D . Los sistemas basados ​​en detección estructurada a menudo se denominaban cámaras de un solo píxel, mientras que los basados ​​en iluminación estructurada a menudo se denominaban imágenes fantasma computacionales. Al utilizar láseres pulsados ​​como fuente de luz, se aplicaron imágenes de un solo píxel para mediciones de tiempo de vuelo utilizadas en aplicaciones de mapeo de profundidad LiDAR . Además del DMD, también se experimentaron diferentes esquemas de modulación de luz con cristales líquidos y matrices de LED . ^[4]

A principios de la década de 2010, la obtención de imágenes de un solo píxel se aprovechó en la microscopía de fluorescencia para obtener imágenes de muestras biológicas. ^[7] Junto con la técnica de recuento de fotones individuales correlacionados en el tiempo (TCSPC), también se ha explorado el uso de imágenes de un solo píxel para la microscopía de imágenes de tiempo de vida de fluorescencia compresiva (FLIM). ^[8] Desde finales de la década de 2010, las técnicas de aprendizaje automático , especialmente el aprendizaje profundo , se han utilizado cada vez más para optimizar las estrategias de iluminación, detección o reconstrucción de imágenes de un solo píxel. ^[4]

En el muestreo , la adquisición de datos digitales implica el muestreo uniforme de puntos discretos de una señal analógica a una tasa de Nyquist o superior . Por ejemplo, en una cámara digital, el muestreo se realiza con una matriz 2D de detectores pixelados en un sensor CCD o CMOS ( normalmente hay millones en las cámaras digitales de consumo). Este tipo de muestreo se puede representar mediante el vector con elementos . Un vector se puede expresar como los coeficientes de una expansión de base ortonormal :${\estilo de visualización N}$${\estilo de visualización N}$${\estilo de visualización x}$${\displaystyle x_{i},i=1,2,...,N}$$Estilo de visualización: ai$

${\displaystyle x=\sum _{i=1}^{N}{a_{i}\psi _{i}}}$

donde son los vectores base . O, más compactamente:${\displaystyle \psi _{i}}$${\displaystyle N\times 1}$

${\displaystyle x=\Psi a}$

donde es la matriz base formada por apilamiento . A menudo es posible encontrar una base en la que el vector de coeficientes sea escaso (con coeficientes distintos de cero) o r-compresible (los coeficientes ordenados decaen como una ley de potencia). Este es el principio detrás de los estándares de compresión como JPEG y JPEG-2000 , que explotan el hecho de que las imágenes naturales tienden a ser comprimibles en las bases DCT y wavelet . ^[3] La detección comprimida tiene como objetivo eludir el marco convencional de "muestrear y luego comprimir" al adquirir directamente una representación condensada con mediciones lineales. De manera similar al paso anterior, esto se puede representar matemáticamente como:${\estilo de visualización \Psi}$${\displaystyle N\times N}$${\displaystyle \psi _{i}}$${\displaystyle a}$${\displaystyle K<<N}$${\displaystyle M<N}$

${\displaystyle y=\Phi x=\Phi \Psi a}$

donde es un vector y es la matriz de medición de rango - . Esta llamada medición subdeterminada hace que el problema inverso sea un problema mal planteado , que en general es irresoluble. Sin embargo, la detección comprimida explota el hecho de que con el diseño adecuado de , la señal comprimible puede recuperarse de manera exacta o aproximada utilizando métodos computacionales. ^[3] Se ha demostrado ^[6] que la incoherencia entre las bases y (junto con la existencia de escasez en ) es suficiente para que dicho esquema funcione. Las opciones populares de son matrices aleatorias o subconjuntos aleatorios de vectores de base de bases de Fourier , Walsh-Hadamard o Noiselet . ^[3] También se ha demostrado que la optimización dada por:${\displaystyle y}$${\displaystyle M\times 1}$${\displaystyle \Phi }$${\displaystyle M}$${\displaystyle \Phi }$${\displaystyle x}$${\displaystyle \Phi }$${\displaystyle \Psi }$${\displaystyle \Psi }$${\displaystyle \Psi }$${\displaystyle {\mathcal {L}}_{1}}$

${\displaystyle {\hat {a}}={\text{arg min}}||\alpha '||_{1}\quad S.T.||y-\Phi \Psi \alpha '||_{2}<\epsilon }$

funciona mejor para recuperar la señal de las mediciones aleatorias que otros métodos comunes como la minimización de mínimos cuadrados . ^[3] Una mejora en el algoritmo de optimización, basada en la minimización de la variación total , es especialmente útil para reconstruir imágenes directamente en la base de píxeles. ^[9]${\displaystyle x}$${\displaystyle y}$${\displaystyle {\mathcal {L}}_{1}}$

La cámara de un solo píxel es una computadora óptica ^[3] que implementa la arquitectura de medición de detección comprimida descrita anteriormente. Funciona midiendo secuencialmente los productos internos entre la imagen y el conjunto de funciones de prueba 2-D , para calcular el vector de medición . En una configuración típica, consta de dos componentes principales: un modulador de luz espacial (SLM) y un detector de un solo píxel. La luz de una fuente de campo amplio se colima y se proyecta sobre la escena, y la luz reflejada/transmitida se enfoca en el detector con lentes. El SLM se utiliza para realizar las funciones de prueba , a menudo como máscaras de patrones binarios, y para introducirlas en la iluminación o en la ruta de detección. El detector integra y convierte la señal de luz en un voltaje de salida, que luego es digitalizado por un convertidor A/D y analizado por una computadora. ^[3]${\displaystyle y_{m}=\langle x,\phi _{m}\rangle }$${\displaystyle x}$${\displaystyle \{\phi _{m}\}}$${\displaystyle y}$${\displaystyle \{\phi _{m}\}}$

Las filas de una matriz de Walsh-Hadamard permutada aleatoriamente (para lograr incoherencia), reformadas en patrones cuadrados, se utilizan comúnmente como funciones de prueba binarias en imágenes de un solo píxel. Para obtener valores positivos y negativos (±1 en este caso), la intensidad de luz media se puede restar de cada medición, ^[3] ya que el SLM solo puede producir patrones binarios con condiciones 0 (apagado) y 1 (encendido). Una alternativa es dividir los elementos positivos y negativos en dos conjuntos, medir ambos con el conjunto negativo invertido (es decir, -1 reemplazado por +1) y restar las mediciones al final. Los valores entre 0 y 1 se pueden obtener mediante el dithering de los microespejos DMD durante el tiempo de integración del detector.

Entre los detectores de uso común se incluyen los tubos fotomultiplicadores , los fotodiodos de avalancha o los fotomultiplicadores híbridos (un sándwich de capas de etapas de amplificación de fotones). También se puede utilizar un espectrómetro para la obtención de imágenes multiespectrales, junto con una matriz de detectores, uno para cada canal espectral. Otra adición común es una placa de conteo de fotones individuales correlacionados en el tiempo (TCSPC) para procesar la salida del detector, que, acoplada a un láser pulsado, permite la medición de la vida útil y es útil en la obtención de imágenes biomédicas . ^[10]

La ventaja más importante del diseño de un solo píxel es su reducido tamaño, complejidad y coste del detector de fotones (una sola unidad). Esto permite el uso de detectores exóticos ^[3] capaces de realizar sistemas de detección rápida multiespectrales, de tiempo de vuelo, de conteo de fotones y otros. Esto hizo que la obtención de imágenes de un solo píxel fuera adecuada para diversos campos, desde la microscopía hasta la astronomía. ^[4]

La eficiencia cuántica de un fotodiodo también es mayor que la de los sensores de píxeles en una matriz CCD o CMOS típica. Junto con el hecho de que cada medición de un solo píxel recibe aproximadamente  10 veces más fotones que un sensor de píxeles promedio, esto ayuda a reducir significativamente la distorsión de la imagen causada por el ruido oscuro y el ruido de lectura. Otra ventaja importante es el factor de relleno de los SLM como un DMD, que puede alcanzar alrededor del 90% (en comparación con el de una matriz CCD/CMOS, que es solo del 50%). Además, la obtención de imágenes de un solo píxel hereda las ventajas teóricas que sustentan el marco de detección comprimido, como su universalidad (la misma matriz de medición funciona para muchas bases dispersantes ) y robustez (las mediciones tienen la misma prioridad y, por lo tanto, la pérdida de una medición no corrompe toda la reconstrucción). ^[3]${\displaystyle N/2}$${\displaystyle \Phi }$${\displaystyle \Psi }$

El principal inconveniente de la técnica de obtención de imágenes de un solo píxel es el equilibrio entre la velocidad de adquisición y la resolución espacial. La adquisición rápida requiere proyectar menos patrones (ya que cada uno de ellos se mide secuencialmente), lo que conduce a una menor resolución de la imagen reconstruida. ^[11] Se ha propuesto un método innovador de "fusión" de la imagen de un solo píxel de baja resolución con una imagen CCD/CMOS de alta resolución espacial (denominada " fusión de datos ") para mitigar este problema. ^{[12] También se están desarrollando métodos} de aprendizaje profundo para aprender el conjunto óptimo de patrones adecuados para obtener imágenes de una categoría particular de muestras para mejorar la velocidad y la fiabilidad de la técnica. ^[1]

A continuación se enumeran algunos de los campos de investigación que emplean y desarrollan cada vez más imágenes de un solo píxel: ^[2]

• Imágenes multiespectrales e hiperespectrales
• Espectroscopia de imágenes infrarrojas
• Óptica difusa y obtención de imágenes a través de medios de dispersión
• Microscopía de resolución temporal y de duración de vida
• Espectroscopia de fluorescencia
• Tomografía por difracción de rayos X
• Imágenes biomédicas
• Imágenes ultrarrápidas y a terahercios
• Imágenes por resonancia magnética
• Imágenes fotoacústicas
• Holografía e imágenes de fase
• Imágenes de largo alcance y teledetección
• Citometría y polarimetría
• Vídeo en tiempo real y posprocesado

• Detección comprimida
• Imágenes computacionales
• Luz estructurada
• Dispositivo de microespejos digitales
• Fotodetector
• Matriz de Hadamard

• Eldar, Yonina C.; Kutyniok, Gitta, eds. (2012). Detección comprimida: teoría y aplicaciones . Cambridge: Cambridge University Press. ISBN 978-1-107-00558-7.
• Stern, Adrian (2017). Imágenes ópticas compresivas . Boca Raton: CRC Press, Taylor & Francis. ISBN 978-1-4987-0806-7.

• Ghezzi, Alberto (24 de mayo de 2023). "Microscopía de fluorescencia multiespectral resuelta en el tiempo basada en imágenes computacionales". POLITesi . hdl :10589/203773.