Visión por computadora

Parte de una serie sobre
Inteligencia artificial
Objetivos principales Inteligencia artificial general Agente inteligente Superación personal recursiva Planificación Visión por computadora Juego en general Razonamiento de conocimiento Procesamiento del lenguaje natural Robótica Seguridad de la IA
Aproches Aprendizaje automático Simbólico Aprendizaje profundo Redes bayesianas Algoritmos evolutivos Sistemas inteligentes híbridos Integración de sistemas
Aplicaciones Bioinformática Falsificación profunda Ciencias de la tierra Finanzas IA generativa Arte Audio Música Gobierno Cuidado de la salud Industria Salud mental Traducción automática Militar Física Proyectos
Philosophy Artificial consciousness Chinese room Friendly AI Control problem/Takeover Ethics Existential risk Turing test Regulation
History Timeline Progress AI winter AI boom
Glossary Glossary
v t e

Las tareas de visión por computadora incluyen métodos para adquirir , procesar , analizar y comprender imágenes digitales , y la extracción de datos de alta dimensión del mundo real para producir información numérica o simbólica, por ejemplo, en forma de decisiones. ^{[1] [2] [3] [4]} La comprensión en este contexto significa la transformación de imágenes visuales (la entrada a la retina en el análogo humano) en descripciones del mundo que tienen sentido para los procesos de pensamiento y pueden provocar la acción apropiada. Esta comprensión de imágenes puede verse como el desenredo de la información simbólica de los datos de imágenes utilizando modelos construidos con la ayuda de la geometría, la física, las estadísticas y la teoría del aprendizaje.

La disciplina científica de la visión artificial se ocupa de la teoría que sustenta los sistemas artificiales que extraen información de las imágenes. Los datos de las imágenes pueden adoptar muchas formas, como secuencias de vídeo, vistas de varias cámaras, datos multidimensionales de un escáner 3D, nubes de puntos 3D de sensores LiDaR o dispositivos de escaneo médico. La disciplina tecnológica de la visión artificial busca aplicar sus teorías y modelos a la construcción de sistemas de visión artificial.

Los subdominios de la visión por computadora incluyen reconstrucción de escenas , detección de objetos , detección de eventos , reconocimiento de actividades , seguimiento de video , reconocimiento de objetos , estimación de pose 3D , aprendizaje, indexación, estimación de movimiento , servocontrol visual , modelado de escenas 3D y restauración de imágenes .

La adopción de la tecnología de visión artificial puede resultar una tarea ardua para las organizaciones, ya que no existe una solución única para ello. Muy pocas empresas ofrecen una plataforma o un sistema operativo unificado y distribuido donde las aplicaciones de visión artificial se puedan implementar y gestionar fácilmente.

La visión artificial es un campo interdisciplinario que se ocupa de cómo se puede hacer que las computadoras obtengan una comprensión de alto nivel a partir de imágenes o videos digitales . Desde la perspectiva de la ingeniería , busca automatizar tareas que el sistema visual humano puede hacer. ^{[5] [6] [7]} "La visión artificial se ocupa de la extracción, el análisis y la comprensión automáticos de información útil a partir de una sola imagen o una secuencia de imágenes. Implica el desarrollo de una base teórica y algorítmica para lograr una comprensión visual automática". ^[8] Como disciplina científica , la visión artificial se ocupa de la teoría detrás de los sistemas artificiales que extraen información de las imágenes. Los datos de la imagen pueden tomar muchas formas, como secuencias de video, vistas de múltiples cámaras o datos multidimensionales de un escáner médico . ^[9] Como disciplina tecnológica, la visión artificial busca aplicar sus teorías y modelos para la construcción de sistemas de visión artificial. La visión artificial se refiere a una disciplina de ingeniería de sistemas, especialmente en el contexto de la automatización de fábricas. En tiempos más recientes, los términos visión artificial y visión artificial han convergido en mayor grado. ^{[10] : 13}

A finales de los años 1960, la visión artificial comenzó a aplicarse en las universidades que eran pioneras en el campo de la inteligencia artificial . Su objetivo era imitar el sistema visual humano como un trampolín para dotar a los robots de un comportamiento inteligente. ^[11] En 1966, se creía que esto se podría lograr mediante un proyecto de verano de pregrado, ^[12] conectando una cámara a una computadora y haciendo que esta "describa lo que ve". ^{[13] [14]}

Lo que diferenciaba a la visión artificial del campo predominante en ese momento , el procesamiento de imágenes digitales, era el deseo de extraer la estructura tridimensional de las imágenes con el objetivo de lograr una comprensión completa de la escena. Los estudios realizados en la década de 1970 formaron las bases iniciales de muchos de los algoritmos de visión artificial que existen hoy en día, incluida la extracción de bordes de las imágenes, el etiquetado de líneas, el modelado no poliédrico y poliédrico , la representación de objetos como interconexiones de estructuras más pequeñas, el flujo óptico y la estimación del movimiento . ^[11]

La década siguiente vio estudios basados ​​en análisis matemáticos más rigurosos y aspectos cuantitativos de la visión por computadora. Estos incluyen el concepto de espacio de escala , la inferencia de forma a partir de varias señales como sombreado , textura y enfoque, y modelos de contorno conocidos como serpientes . Los investigadores también se dieron cuenta de que muchos de estos conceptos matemáticos podrían tratarse dentro del mismo marco de optimización que la regularización y los campos aleatorios de Markov . ^[15] En la década de 1990, algunos de los temas de investigación anteriores se volvieron más activos que otros. La investigación en reconstrucciones proyectivas en 3-D condujo a una mejor comprensión de la calibración de la cámara . Con el advenimiento de los métodos de optimización para la calibración de la cámara, se comprendió que muchas de las ideas ya se habían explorado en la teoría del ajuste de paquetes del campo de la fotogrametría . Esto condujo a métodos para reconstrucciones dispersas en 3-D de escenas a partir de múltiples imágenes . Se avanzó en el problema de correspondencia estéreo densa y otras técnicas estéreo de múltiples vistas. Al mismo tiempo, se utilizaron variaciones del corte de gráficos para resolver la segmentación de imágenes . Esta década también marcó la primera vez que se utilizaron técnicas de aprendizaje estadístico en la práctica para reconocer rostros en imágenes (ver Eigenface ). Hacia fines de la década de 1990, se produjo un cambio significativo con la mayor interacción entre los campos de los gráficos de computadora y la visión por computadora. Esto incluyó la representación basada en imágenes , la transformación de imágenes , la interpolación de vistas, la unión de imágenes panorámicas y la representación temprana de campos de luz . ^[11]

Trabajos recientes han visto el resurgimiento de métodos basados ​​en características utilizados junto con técnicas de aprendizaje automático y marcos de optimización complejos. ^{[16] [17]} El avance de las técnicas de aprendizaje profundo ha dado más vida al campo de la visión por computadora. La precisión de los algoritmos de aprendizaje profundo en varios conjuntos de datos de visión por computadora de referencia para tareas que van desde la clasificación, ^[18] la segmentación y el flujo óptico ha superado los métodos anteriores. ^{[ cita requerida ] [19]}

La física del estado sólido es otro campo que está estrechamente relacionado con la visión artificial. La mayoría de los sistemas de visión artificial se basan en sensores de imagen , que detectan la radiación electromagnética , que normalmente se presenta en forma de luz visible , infrarroja o ultravioleta . Los sensores están diseñados utilizando física cuántica . El proceso por el cual la luz interactúa con las superficies se explica utilizando la física. La física explica el comportamiento de la óptica, que es una parte fundamental de la mayoría de los sistemas de imágenes. Los sensores de imagen sofisticados incluso requieren mecánica cuántica para proporcionar una comprensión completa del proceso de formación de imágenes. ^[11] Además, varios problemas de medición en física se pueden abordar utilizando visión artificial, por ejemplo, el movimiento en fluidos.

La neurobiología ha influido enormemente en el desarrollo de algoritmos de visión artificial. Durante el último siglo, se ha estudiado ampliamente los ojos, las neuronas y las estructuras cerebrales dedicadas al procesamiento de estímulos visuales tanto en humanos como en varios animales. Esto ha llevado a una descripción burda pero enrevesada de cómo funcionan los sistemas de visión natural para resolver ciertas tareas relacionadas con la visión. Estos resultados han dado lugar a un subcampo dentro de la visión artificial en el que se diseñan sistemas artificiales para imitar el procesamiento y el comportamiento de los sistemas biológicos en diferentes niveles de complejidad. Además, algunos de los métodos basados ​​en el aprendizaje desarrollados dentro de la visión artificial ( por ejemplo , la red neuronal y el análisis y clasificación de imágenes y características basados ​​en el aprendizaje profundo ) tienen su origen en la neurobiología. El Neocognitrón , una red neuronal desarrollada en la década de 1970 por Kunihiko Fukushima , es un ejemplo temprano de visión artificial que se inspira directamente en la neurobiología, específicamente en la corteza visual primaria .

Algunas líneas de investigación en visión artificial están estrechamente relacionadas con el estudio de la visión biológica ; de hecho, muchas líneas de investigación en IA están estrechamente vinculadas con la investigación sobre la inteligencia humana y el uso del conocimiento almacenado para interpretar, integrar y utilizar la información visual. El campo de la visión biológica estudia y modela los procesos fisiológicos detrás de la percepción visual en humanos y otros animales. La visión artificial, por otro lado, desarrolla y describe los algoritmos implementados en el software y hardware detrás de los sistemas de visión artificial. Un intercambio interdisciplinario entre la visión biológica y la visión artificial ha demostrado ser fructífero para ambos campos. ^[21]

Otro campo relacionado con la visión artificial es el procesamiento de señales . Muchos métodos para procesar señales de una variable, típicamente señales temporales, pueden extenderse de manera natural al procesamiento de señales de dos variables o señales multivariables en la visión artificial. Sin embargo, debido a la naturaleza específica de las imágenes, existen muchos métodos desarrollados dentro de la visión artificial que no tienen contrapartida en el procesamiento de señales de una variable. Junto con la multidimensionalidad de la señal, esto define un subcampo en el procesamiento de señales como parte de la visión artificial.

La navegación robótica a veces se ocupa de la planificación o deliberación de rutas autónomas para que los sistemas robóticos naveguen por un entorno . ^[22] Se requiere una comprensión detallada de estos entornos para navegar por ellos. La información sobre el entorno podría ser proporcionada por un sistema de visión por computadora, que actúa como un sensor de visión y proporciona información de alto nivel sobre el entorno y el robot.

Además de los puntos de vista mencionados anteriormente sobre la visión artificial, muchos de los temas de investigación relacionados también se pueden estudiar desde un punto de vista puramente matemático. Por ejemplo, muchos métodos en visión artificial se basan en estadísticas , optimización o geometría . Finalmente, una parte importante del campo está dedicada al aspecto de implementación de la visión artificial; cómo los métodos existentes se pueden implementar en varias combinaciones de software y hardware, o cómo estos métodos se pueden modificar para ganar velocidad de procesamiento sin perder demasiado rendimiento. La visión artificial también se utiliza en el comercio electrónico de moda, la gestión de inventarios, la búsqueda de patentes, el mobiliario y la industria de la belleza. ^[23]

Los campos más relacionados con la visión artificial son el procesamiento de imágenes , el análisis de imágenes y la visión artificial . Existe una superposición significativa en la gama de técnicas y aplicaciones que cubren estos campos. Esto implica que las técnicas básicas que se utilizan y desarrollan en estos campos son similares, algo que puede interpretarse como que solo hay un campo con diferentes nombres. Por otro lado, parece ser necesario que los grupos de investigación, las revistas científicas, los congresos y las empresas se presenten o se comercialicen como pertenecientes específicamente a uno de estos campos y, por lo tanto, se han presentado diversas caracterizaciones que distinguen cada uno de los campos de los demás. En el procesamiento de imágenes, la entrada es una imagen y la salida también es una imagen, mientras que en la visión artificial, se toma una imagen o un vídeo como entrada y la salida podría ser una imagen mejorada, una comprensión del contenido de una imagen o incluso el comportamiento de un sistema informático basado en dicha comprensión.

Los gráficos por computadora producen datos de imágenes a partir de modelos 3D, y la visión por computadora a menudo produce modelos 3D a partir de datos de imágenes. ^[24] También existe una tendencia hacia una combinación de las dos disciplinas, por ejemplo , como se explora en la realidad aumentada .

Las siguientes caracterizaciones parecen relevantes pero no deben tomarse como universalmente aceptadas:

• El procesamiento y análisis de imágenes tienden a centrarse en imágenes 2D, en cómo transformar una imagen en otra, por ejemplo , mediante operaciones de píxeles como la mejora del contraste, operaciones locales como la extracción de bordes o la eliminación de ruido, o transformaciones geométricas como la rotación de la imagen. Esta caracterización implica que el procesamiento y análisis de imágenes no requiere suposiciones ni produce interpretaciones sobre el contenido de la imagen.
• La visión artificial incluye el análisis 3D a partir de imágenes 2D. Esto analiza la escena 3D proyectada en una o varias imágenes, por ejemplo , cómo reconstruir la estructura u otra información sobre la escena 3D a partir de una o varias imágenes. La visión artificial a menudo se basa en suposiciones más o menos complejas sobre la escena representada en una imagen.
• La visión artificial es el proceso de aplicar una variedad de tecnologías y métodos para proporcionar inspección automática basada en imágenes, control de procesos y guía de robots ^[25] en aplicaciones industriales. ^[21] La visión artificial tiende a centrarse en aplicaciones, principalmente en fabricación, por ejemplo , robots basados ​​en visión y sistemas para inspección, medición o selección basados ​​en visión (como selección de contenedores ^[26] ). Esto implica que las tecnologías de sensores de imagen y la teoría de control a menudo se integran con el procesamiento de datos de imagen para controlar un robot y que el procesamiento en tiempo real se enfatiza por medio de implementaciones eficientes en hardware y software. También implica que las condiciones externas como la iluminación pueden ser y a menudo son más controladas en la visión artificial que en la visión por computadora general, lo que puede permitir el uso de diferentes algoritmos.
• También existe un campo llamado imágenes , que se centra principalmente en el proceso de producción de imágenes, pero que a veces también se ocupa del procesamiento y análisis de imágenes. Por ejemplo, las imágenes médicas incluyen un trabajo sustancial sobre el análisis de datos de imágenes en aplicaciones médicas. El progreso en las redes neuronales convolucionales (CNN) ha mejorado la detección precisa de enfermedades en imágenes médicas, particularmente en cardiología, patología, dermatología y radiología. ^[27]
• Finalmente, el reconocimiento de patrones es un campo que utiliza diversos métodos para extraer información de señales en general, principalmente basados ​​en enfoques estadísticos y redes neuronales artificiales . ^[28] Una parte importante de este campo se dedica a aplicar estos métodos a datos de imágenes.

La fotogrametría también se superpone con la visión por computadora, por ejemplo, estereofotogrametría vs. visión estéreo por computadora .

Las aplicaciones van desde tareas como los sistemas de visión artificial industrial que, por ejemplo, inspeccionan botellas que pasan a toda velocidad en una línea de producción, hasta la investigación sobre inteligencia artificial y computadoras o robots que pueden comprender el mundo que los rodea. Los campos de la visión artificial y la visión artificial tienen una superposición significativa. La visión artificial cubre la tecnología básica del análisis automatizado de imágenes que se utiliza en muchos campos. La visión artificial generalmente se refiere a un proceso de combinación del análisis automatizado de imágenes con otros métodos y tecnologías para proporcionar inspección automatizada y guía de robots en aplicaciones industriales. En muchas aplicaciones de visión artificial, las computadoras están preprogramadas para resolver una tarea particular, pero los métodos basados ​​en el aprendizaje ahora son cada vez más comunes. Los ejemplos de aplicaciones de la visión artificial incluyen sistemas para:

• Inspección automática, por ejemplo , en aplicaciones de fabricación;
• Ayudar a los humanos en tareas de identificación, por ejemplo, un sistema de identificación de especies ; ^[29]
• Control de procesos, por ejemplo , un robot industrial ;
• Detección de eventos , por ejemplo , para vigilancia visual o conteo de personas , por ejemplo, en la industria de la restauración ;
• Interacción, por ejemplo , como entrada a un dispositivo para la interacción entre una computadora y un humano ;
• Monitoreo de cultivos agrícolas, por ejemplo, se ha desarrollado un modelo de transformadores de visión de código abierto ^{[30] para ayudar a los agricultores a detectar automáticamente} enfermedades de la fresa con una precisión del 98,4%. ^[31]
• Modelado de objetos o entornos, por ejemplo , análisis de imágenes médicas o modelado topográfico;
• Navegación, por ejemplo , mediante un vehículo autónomo o un robot móvil ;
• Organizar información, por ejemplo , para indexar bases de datos de imágenes y secuencias de imágenes.
• Seguimiento de superficies o planos en coordenadas 3D para permitir experiencias de Realidad Aumentada.

Uno de los campos de aplicación más destacados es la visión artificial médica , o procesamiento de imágenes médicas, que se caracteriza por la extracción de información de los datos de imágenes para diagnosticar a un paciente . Un ejemplo de ello es la detección de tumores , arterioesclerosis u otros cambios malignos, y una variedad de patologías dentales; las mediciones de las dimensiones de los órganos, el flujo sanguíneo, etc. son otro ejemplo. También apoya la investigación médica al proporcionar nueva información: por ejemplo , sobre la estructura del cerebro o la calidad de los tratamientos médicos. Las aplicaciones de la visión artificial en el área médica también incluyen la mejora de las imágenes interpretadas por humanos —imágenes ultrasónicas o imágenes de rayos X, por ejemplo— para reducir la influencia del ruido.

Una segunda área de aplicación de la visión artificial es la industria, a veces llamada visión artificial , donde se extrae información con el fin de respaldar un proceso de producción. Un ejemplo es el control de calidad, donde los detalles o productos finales se inspeccionan automáticamente para encontrar defectos. Uno de los campos más frecuentes para dicha inspección es la industria de las obleas , en la que se mide e inspecciona cada una de ellas en busca de imprecisiones o defectos para evitar que un chip de computadora llegue al mercado de manera inutilizable. Otro ejemplo es la medición de la posición y orientación de los detalles que debe recoger un brazo robótico. La visión artificial también se utiliza mucho en los procesos agrícolas para eliminar los alimentos no deseados de los materiales a granel, un proceso llamado clasificación óptica . ^[32]

Las aplicaciones militares son probablemente una de las áreas más grandes de la visión artificial ^{[ cita requerida ]} . Los ejemplos obvios son la detección de soldados o vehículos enemigos y la guía de misiles . Los sistemas más avanzados para la guía de misiles envían el misil a un área en lugar de a un objetivo específico, y la selección del objetivo se realiza cuando el misil alcanza el área en función de los datos de imagen adquiridos localmente. Los conceptos militares modernos, como "conocimiento del campo de batalla", implican que varios sensores, incluidos los sensores de imagen, proporcionan un rico conjunto de información sobre una escena de combate que se puede utilizar para respaldar decisiones estratégicas. En este caso, se utiliza el procesamiento automático de los datos para reducir la complejidad y fusionar la información de múltiples sensores para aumentar la confiabilidad.

Una de las áreas de aplicación más nuevas son los vehículos autónomos, que incluyen sumergibles , vehículos terrestres (pequeños robots con ruedas, automóviles o camiones), vehículos aéreos y vehículos aéreos no tripulados ( UAV ). El nivel de autonomía varía desde vehículos completamente autónomos (no tripulados) hasta vehículos en los que los sistemas basados ​​en visión por computadora respaldan a un conductor o piloto en diversas situaciones. Los vehículos completamente autónomos generalmente usan visión por computadora para la navegación, por ejemplo, para saber dónde están o mapear su entorno ( SLAM ), para detectar obstáculos. También se puede utilizar para detectar ciertos eventos específicos de la tarea, por ejemplo , un UAV que busca incendios forestales. Ejemplos de sistemas de apoyo son los sistemas de advertencia de obstáculos en automóviles, cámaras y sensores LiDAR en vehículos y sistemas para el aterrizaje autónomo de aeronaves. Varios fabricantes de automóviles han demostrado sistemas para la conducción autónoma de automóviles . Hay amplios ejemplos de vehículos militares autónomos que van desde misiles avanzados hasta UAV para misiones de reconocimiento o guía de misiles. La exploración espacial ya se está realizando con vehículos autónomos que utilizan visión por computadora, por ejemplo , el Curiosity de la NASA y el rover Yutu-2 de la CNSA .

Materiales como el caucho y el silicio se están utilizando para crear sensores que permiten aplicaciones como la detección de microondulaciones y la calibración de manos robóticas. El caucho se puede utilizar para crear un molde que se puede colocar sobre un dedo, dentro de este molde habría múltiples medidores de tensión. El molde del dedo y los sensores podrían entonces colocarse sobre una pequeña lámina de caucho que contenga una serie de clavijas de caucho. Un usuario puede entonces usar el molde del dedo y trazar una superficie. Una computadora puede entonces leer los datos de los medidores de tensión y medir si una o más de las clavijas están siendo empujadas hacia arriba. Si una clavija está siendo empujada hacia arriba, entonces la computadora puede reconocer esto como una imperfección en la superficie. Este tipo de tecnología es útil para recibir datos precisos sobre imperfecciones en una superficie muy grande. ^[33] Otra variación de este sensor de molde de dedo son los sensores que contienen una cámara suspendida en silicio. El silicio forma una cúpula alrededor del exterior de la cámara e incrustados en el silicio hay marcadores de puntos que están espaciados de manera uniforme. Estas cámaras pueden luego colocarse en dispositivos como manos robóticas para permitir que la computadora reciba datos táctiles de alta precisión. ^[34]

Otras áreas de aplicación incluyen:

• Apoyo a la creación de efectos visuales para cine y radiodifusión, por ejemplo , seguimiento de cámara (match moving).
• Vigilancia .
• Detección de somnolencia del conductor ^{[35] [36] [37]}
• Seguimiento y recuento de organismos en las ciencias biológicas ^[38]

Cada una de las áreas de aplicación descritas anteriormente emplea una variedad de tareas de visión artificial; problemas de medición o problemas de procesamiento más o menos bien definidos, que pueden resolverse utilizando una variedad de métodos. A continuación se presentan algunos ejemplos de tareas típicas de visión artificial.

Las tareas de visión artificial incluyen métodos para adquirir , procesar , analizar y comprender imágenes digitales, y la extracción de datos de alta dimensión del mundo real para producir información numérica o simbólica, por ejemplo , en forma de decisiones. ^{[1] [2] [3] [4]} La comprensión en este contexto significa la transformación de imágenes visuales (la entrada de la retina) en descripciones del mundo que pueden interactuar con otros procesos de pensamiento y provocar la acción apropiada. Esta comprensión de imágenes puede verse como el desenredo de la información simbólica de los datos de imágenes utilizando modelos construidos con la ayuda de la geometría, la física, la estadística y la teoría del aprendizaje. ^[39]

El problema clásico en la visión artificial, el procesamiento de imágenes y la visión por computadora es el de determinar si los datos de la imagen contienen algún objeto, característica o actividad específica. En la literatura se describen diferentes variedades de problemas de reconocimiento. ^[40]

• Reconocimiento de objetos (también llamado clasificación de objetos ): se pueden reconocer uno o varios objetos o clases de objetos predeterminados o aprendidos, generalmente junto con sus posiciones 2D en la imagen o poses 3D en la escena. Blippar, Google Goggles y LikeThat ofrecen programas independientes que ilustran esta funcionalidad.
• Identificación  : se reconoce una instancia individual de un objeto. Algunos ejemplos incluyen la identificación del rostro o la huella dactilar de una persona específica, la identificación de dígitos escritos a mano o la identificación de un vehículo específico.
• Detección  : los datos de la imagen se escanean en busca de objetos específicos junto con sus ubicaciones. Algunos ejemplos incluyen la detección de un obstáculo en el campo de visión del automóvil y posibles células o tejidos anormales en imágenes médicas o la detección de un vehículo en un sistema de peaje automático. La detección basada en cálculos relativamente simples y rápidos se utiliza a veces para encontrar regiones más pequeñas de datos de imagen interesantes que se pueden analizar más a fondo mediante técnicas que requieren un mayor esfuerzo computacional para producir una interpretación correcta.

En la actualidad, los mejores algoritmos para estas tareas se basan en redes neuronales convolucionales . Una ilustración de sus capacidades la da el ImageNet Large Scale Visual Recognition Challenge ; se trata de un punto de referencia en la clasificación y detección de objetos, con millones de imágenes y 1000 clases de objetos utilizados en la competición. ^[41] El rendimiento de las redes neuronales convolucionales en las pruebas de ImageNet es ahora cercano al de los humanos. ^[41] Los mejores algoritmos todavía tienen dificultades con objetos pequeños o delgados, como una pequeña hormiga en el tallo de una flor o una persona que sostiene una pluma en la mano. También tienen problemas con imágenes que han sido distorsionadas con filtros (un fenómeno cada vez más común con las cámaras digitales modernas). Por el contrario, ese tipo de imágenes rara vez preocupan a los humanos. Los humanos, sin embargo, tienden a tener problemas con otras cuestiones. Por ejemplo, no son buenos clasificando objetos en clases de grano fino, como la raza particular de perro o especie de ave, mientras que las redes neuronales convolucionales manejan esto con facilidad. ^{[ cita requerida ]}

Existen varias tareas especializadas basadas en el reconocimiento, tales como:

• Recuperación de imágenes basada en contenido  : búsqueda de todas las imágenes de un conjunto más amplio de imágenes que tienen un contenido específico. El contenido se puede especificar de diferentes maneras, por ejemplo, en términos de similitud con una imagen de destino (dame todas las imágenes similares a la imagen X) utilizando técnicas de búsqueda de imágenes inversas , o en términos de criterios de búsqueda de alto nivel proporcionados como entrada de texto (dame todas las imágenes que contengan muchas casas, se hayan tomado durante el invierno y no tengan automóviles).

• Estimación de la posición  : estimación de la posición u orientación de un objeto específico en relación con la cámara. Un ejemplo de aplicación de esta técnica sería ayudar a un brazo robótico a recuperar objetos de una cinta transportadora en una línea de montaje o a recoger piezas de un contenedor.
• Reconocimiento óptico de caracteres (OCR): identificación de caracteres en imágenes de texto impreso o escrito a mano, generalmente con el objetivo de codificar el texto en un formato más fácil de editar o indexar ( por ejemplo, ASCII ). Una tarea relacionada es la lectura de códigos 2D, como códigos de matriz de datos y códigos QR .
• Reconocimiento facial  : una tecnología que permite la comparación de rostros en imágenes digitales o fotogramas de vídeo con una base de datos de rostros, que ahora se utiliza ampliamente para el bloqueo facial de teléfonos móviles, el cierre inteligente de puertas, etc. ^[42]
• Reconocimiento de emociones  : un subconjunto del reconocimiento facial, el reconocimiento de emociones se refiere al proceso de clasificación de las emociones humanas. Sin embargo, los psicólogos advierten que las emociones internas no se pueden detectar de manera confiable a partir de los rostros. ^[43]
• Tecnología de reconocimiento de formas (SRT) en sistemas de conteo de personas que diferencian a los seres humanos (patrones de cabeza y hombros) de los objetos.
• Reconocimiento de actividad humana : se ocupa de reconocer la actividad a partir de una serie de fotogramas de vídeo, por ejemplo, si la persona está recogiendo un objeto o caminando.

Existen varias tareas relacionadas con la estimación del movimiento, en las que se procesa una secuencia de imágenes para generar una estimación de la velocidad en cada punto de la imagen o de la escena 3D o incluso de la cámara que genera las imágenes. Algunos ejemplos de estas tareas son:

• Egomotion  : determinación del movimiento rígido 3D (rotación y traslación) de la cámara a partir de una secuencia de imágenes producida por la cámara.
• Seguimiento  : seguimiento de los movimientos de un conjunto (normalmente) más pequeño de puntos de interés u objetos ( por ejemplo , vehículos, objetos, seres humanos u otros organismos ^[38] ) en la secuencia de imágenes. Esto tiene amplias aplicaciones industriales, ya que la mayoría de las máquinas de alto rendimiento se pueden monitorear de esta manera.
• Flujo óptico  : para determinar, para cada punto de la imagen, cómo se mueve ese punto en relación con el plano de la imagen, es decir , su movimiento aparente. Este movimiento es el resultado tanto de cómo se mueve el punto 3D correspondiente en la escena como de cómo se mueve la cámara en relación con la escena.

Dada una o (normalmente) más imágenes de una escena o un vídeo, la reconstrucción de la escena tiene como objetivo calcular un modelo 3D de la escena. En el caso más simple, el modelo puede ser un conjunto de puntos 3D. Los métodos más sofisticados producen un modelo de superficie 3D completo. La aparición de imágenes 3D que no requieren movimiento ni escaneo, y los algoritmos de procesamiento relacionados, están permitiendo avances rápidos en este campo. La detección 3D basada en cuadrículas se puede utilizar para adquirir imágenes 3D desde múltiples ángulos. Ahora hay algoritmos disponibles para unir múltiples imágenes 3D en nubes de puntos y modelos 3D. ^[24]

La restauración de la imagen entra en escena cuando la imagen original se degrada o daña debido a algunos factores externos como la posición incorrecta de la lente, interferencia de transmisión, poca iluminación o desenfoques de movimiento, etc., lo que se conoce como ruido. Cuando las imágenes se degradan o dañan, la información que se extrae de ellas también se daña. Por lo tanto, necesitamos recuperar o restaurar la imagen como se pretendía. El objetivo de la restauración de la imagen es la eliminación del ruido (ruido del sensor, desenfoque de movimiento, etc.) de las imágenes. El enfoque más simple posible para la eliminación del ruido son varios tipos de filtros, como filtros de paso bajo o filtros medianos. Los métodos más sofisticados asumen un modelo de cómo se ven las estructuras de la imagen local para distinguirlas del ruido. Al analizar primero los datos de la imagen en términos de las estructuras de la imagen local, como líneas o bordes, y luego controlar el filtrado en función de la información local del paso de análisis, generalmente se obtiene un mejor nivel de eliminación de ruido en comparación con los enfoques más simples.

Un ejemplo en este campo es la pintura .

La organización de un sistema de visión artificial depende en gran medida de la aplicación. Algunos sistemas son aplicaciones independientes que resuelven un problema específico de medición o detección, mientras que otros constituyen un subsistema de un diseño más amplio que, por ejemplo, también contiene subsistemas para el control de actuadores mecánicos, planificación, bases de datos de información, interfaces hombre-máquina, etc. La implementación específica de un sistema de visión artificial también depende de si su funcionalidad está preespecificada o si alguna parte de ella puede aprenderse o modificarse durante la operación. Muchas funciones son exclusivas de la aplicación. Sin embargo, existen funciones típicas que se encuentran en muchos sistemas de visión artificial.

• Adquisición de imágenes – Una imagen digital es producida por uno o varios sensores de imagen , que, además de varios tipos de cámaras sensibles a la luz, incluyen sensores de rango , dispositivos de tomografía, radar, cámaras ultrasónicas, etc. Dependiendo del tipo de sensor, los datos de imagen resultantes son una imagen 2D ordinaria, un volumen 3D o una secuencia de imágenes. Los valores de los píxeles corresponden típicamente a la intensidad de la luz en una o varias bandas espectrales (imágenes grises o imágenes en color) pero también pueden estar relacionados con varias medidas físicas, como la profundidad, la absorción o reflectancia de ondas sónicas o electromagnéticas, o la resonancia magnética . ^[32]
• Preprocesamiento : antes de que se pueda aplicar un método de visión artificial a los datos de imágenes para extraer información específica, suele ser necesario procesar los datos para garantizar que cumplan con ciertas suposiciones implícitas en el método. Algunos ejemplos son:
  • Remuestreo para garantizar que el sistema de coordenadas de la imagen sea correcto.
  • Reducción de ruido para garantizar que el ruido del sensor no introduzca información falsa.
  • Mejora del contraste para garantizar que se pueda detectar información relevante.
  • Representación espacial a escala para mejorar las estructuras de imágenes a escalas localmente apropiadas.
• Extracción de características : se extraen características de imágenes en varios niveles de complejidad de los datos de imagen. ^[32] Algunos ejemplos típicos de dichas características son:
  • Líneas, bordes y crestas .
  • Puntos de interés localizados , como esquinas , manchas o puntos.

Las características más complejas pueden estar relacionadas con la textura, la forma o el movimiento.

• Detección / segmentación : en algún momento del procesamiento, se toma una decisión sobre qué puntos o regiones de la imagen son relevantes para el procesamiento posterior. ^[32] Algunos ejemplos son:
  • Selección de un conjunto específico de puntos de interés.
  • Segmentación de una o varias regiones de imagen que contienen un objeto de interés específico.
  • Segmentación de la imagen en una arquitectura de escena anidada que comprende primer plano, grupos de objetos, objetos individuales o partes de objetos salientes ^[44] (también denominada jerarquía de escena de taxón espacial), ^[45] mientras que la saliencia visual a menudo se implementa como atención espacial y temporal .
  • Segmentación o cosegmentación de uno o varios vídeos en una serie de máscaras de primer plano por cuadro manteniendo su continuidad semántica temporal. ^{[46] [47]}
• Procesamiento de alto nivel : en este paso, la entrada suele ser un pequeño conjunto de datos, por ejemplo, un conjunto de puntos o una región de imagen, que se supone que contiene un objeto específico. ^[32] El procesamiento restante se ocupa, por ejemplo, de lo siguiente:
  • Verificación de que los datos satisfacen supuestos específicos de la aplicación y basados ​​en el modelo.
  • Estimación de parámetros específicos de la aplicación, como la posición o el tamaño del objeto.
  • Reconocimiento de imágenes : clasificar un objeto detectado en diferentes categorías.
  • Registro de imágenes : comparación y combinación de dos vistas diferentes del mismo objeto.
• Toma de decisiones Tomar la decisión final requerida para la aplicación, ^[32] por ejemplo:
  • Aprobado o reprobado en aplicaciones de inspección automática.
  • Coincidencia/no coincidencia en aplicaciones de reconocimiento.
  • Bandera para mayor revisión humana en aplicaciones médicas, militares, de seguridad y de reconocimiento.

Los sistemas de comprensión de imágenes (IUS) incluyen tres niveles de abstracción, a saber: el nivel bajo incluye elementos primitivos de la imagen, como bordes, elementos de textura o regiones; el nivel intermedio incluye límites, superficies y volúmenes; y el nivel alto incluye objetos, escenas o eventos. Muchos de estos requisitos son temas que requieren más investigación.

Los requisitos de representación en el diseño de IUS para estos niveles son: representación de conceptos prototípicos, organización de conceptos, conocimiento espacial, conocimiento temporal, escalamiento y descripción por comparación y diferenciación.

Mientras que la inferencia se refiere al proceso de derivar hechos nuevos, no representados explícitamente, a partir de hechos conocidos actualmente, el control se refiere al proceso que selecciona cuál de las muchas técnicas de inferencia, búsqueda y comparación debe aplicarse en una etapa particular del procesamiento. Los requisitos de inferencia y control para la SIU son: búsqueda y activación de hipótesis, comparación y prueba de hipótesis, generación y uso de expectativas, cambio y foco de atención, certeza y fuerza de creencia, inferencia y satisfacción de objetivos. ^[48]

Existen muchos tipos de sistemas de visión artificial, pero todos ellos contienen estos elementos básicos: una fuente de alimentación, al menos un dispositivo de adquisición de imágenes (cámara, CCD, etc.), un procesador y cables de control y comunicación o algún tipo de mecanismo de interconexión inalámbrica. Además, un sistema de visión práctico contiene software, así como una pantalla para monitorizar el sistema. Los sistemas de visión para espacios interiores, como la mayoría de los industriales, contienen un sistema de iluminación y pueden ubicarse en un entorno controlado. Además, un sistema completo incluye muchos accesorios, como soportes para cámaras, cables y conectores.

La mayoría de los sistemas de visión artificial utilizan cámaras de luz visible que visualizan pasivamente una escena a velocidades de cuadro de 60 cuadros por segundo como máximo (normalmente mucho más lento).

Algunos sistemas de visión artificial utilizan hardware de adquisición de imágenes con iluminación activa o algo distinto a la luz visible o ambos, como escáneres 3D de luz estructurada , cámaras termográficas , generadores de imágenes hiperespectrales , imágenes de radar , escáneres lidar , imágenes de resonancia magnética , sonar de barrido lateral , sonar de apertura sintética , etc. Dicho hardware captura "imágenes" que luego se procesan a menudo utilizando los mismos algoritmos de visión artificial utilizados para procesar imágenes de luz visible.

Mientras que los sistemas tradicionales de transmisión y video para consumidores operan a una velocidad de 30 cuadros por segundo, los avances en el procesamiento de señales digitales y el hardware de gráficos para consumidores han hecho posible la adquisición, procesamiento y visualización de imágenes a alta velocidad para sistemas en tiempo real en el orden de cientos a miles de cuadros por segundo. Para aplicaciones en robótica, los sistemas de video rápidos en tiempo real son de vital importancia y a menudo pueden simplificar el procesamiento necesario para ciertos algoritmos. Cuando se combina con un proyector de alta velocidad, la adquisición rápida de imágenes permite realizar mediciones 3D y seguimiento de características. ^[49]

Los sistemas de visión egocéntrica se componen de una cámara portátil que toma fotografías automáticamente desde una perspectiva en primera persona.

A partir de 2016, las unidades de procesamiento de visión están surgiendo como una nueva clase de procesadores para complementar las CPU y las unidades de procesamiento de gráficos (GPU) en esta función. ^[50]

• Esquema de la visión por computadora
• Lista de tecnologías emergentes
• Esquema de la inteligencia artificial

• James E. Dobson (2023). El nacimiento de la visión artificial. University of Minnesota Press. ISBN 978-1-5179-1421-9.
• David Marr (1982). Visión. WH Freeman and Company. ISBN 978-0-7167-1284-8.
• Azriel Rosenfeld; Avinash Kak (1982). Procesamiento digital de imágenes . Academic Press. ISBN 978-0-12-597301-4.
• Barghout, Lauren; Lawrence W. Lee (2003). Sistema de procesamiento de información perceptiva . Solicitud de patente de EE. UU. 10/618,543. ISBN 978-0-262-08159-7.
• Berthold KP Horn (1986). Visión robótica . Prensa del MIT. ISBN 978-0-262-08159-7.
• Michael C. Fairhurst (1988). Visión artificial para sistemas robóticos . Prentice Hall. ISBN 978-0-13-166919-2.
• Olivier Faugeras (1993). Visión artificial tridimensional: un punto de vista geométrico . MIT Press. ISBN 978-0-262-06158-2.
• Tony Lindeberg (1994). Teoría del espacio de escala en la visión artificial. Springer. ISBN 978-0-7923-9418-1.
• James L. Crowley; Henrik I. Christensen, eds. (1995). La visión como proceso . Springer-Verlag. ISBN 978-3-540-58143-7.
• Gösta H. Granlund; Hans Knutsson (1995). Procesamiento de señales para visión por computadora . Editorial académica Kluwer. ISBN 978-0-7923-9530-0.
• Reinhard Klette; Karsten Schluens; Andreas Koschan (1998). Visión por computadora: datos tridimensionales a partir de imágenes. Springer, Singapur. ISBN 978-981-3083-71-4.
• Emanuele Trucco; Alejandro Verri (1998). Técnicas introductorias a la visión por computadora 3-D. Prentice Hall. ISBN 978-0-13-261108-4.
• Bernd Jähne (2002). Procesamiento de imágenes digitales . Springer. ISBN 978-3-540-67754-3.
• Richard Hartley y Andrew Zisserman (2003). Geometría de vista múltiple en visión artificial . Cambridge University Press. ISBN 978-0-521-54051-3.
• Gérard Medioni; Sing Bing Kang (2004). Temas emergentes en visión artificial . Prentice Hall. ISBN 978-0-13-101366-7.
• R. Fisher; K. Dawson-Howe; A. Fitzgibbon; C. Robertson; E. Trucco (2005). Diccionario de visión artificial y procesamiento de imágenes . John Wiley. ISBN 978-0-470-01526-1.
• Nikos Paragios y Yunmei Chen y Olivier Faugeras (2005). Manual de modelos matemáticos en visión artificial. Springer. ISBN 978-0-387-26371-7.
• Wilhelm Burger; Mark J. Burge (2007). Procesamiento de imágenes digitales: un enfoque algorítmico con Java. Springer . ISBN 978-1-84628-379-6Archivado desde el original el 17 de mayo de 2014. Consultado el 13 de junio de 2007 .
• Pedram Azad; Tilo Gockel; Rüdiger Dillmann (2008). Visión por computadora: principios y práctica. Elektor International Media BV. ISBN 978-0-905705-71-2.
• Richard Szeliski (2010). Visión artificial: algoritmos y aplicaciones. Springer-Verlag. ISBN 978-1848829343.
• JR Parker (2011). Algoritmos para procesamiento de imágenes y visión artificial (2.ª ed.). Wiley. ISBN 978-0470643853.
• Richard J. Radke (2013). Visión artificial para efectos visuales . Cambridge University Press. ISBN 978-0-521-76687-6.
• Nixon, Mark; Aguado, Alberto (2019). Extracción de características y procesamiento de imágenes para visión artificial (4.ª ed.). Academic Press. ISBN 978-0128149768.

• Lista de conferencias sobre visión artificial de la USC Iris
• Artículos sobre visión por computadora en la web: una lista completa de artículos de las conferencias sobre visión por computadora más relevantes.
• Computer Vision Online Archivado el 30 de noviembre de 2011 en Wayback Machine : noticias, código fuente, conjuntos de datos y ofertas de trabajo relacionadas con la visión artificial
• CVonline – Compendio de visión artificial de Bob Fisher.
• Asociación Británica de Visión Artificial: apoya la investigación sobre visión artificial en el Reino Unido a través de las conferencias BMVC y MIUA , Annals of the BMVA (revista de código abierto), BMVA Summer School y reuniones de un día
• Contenedor de visión artificial, Joe Hoeller GitHub: contenedor de código abierto ampliamente adoptado para aplicaciones de visión artificial aceleradas por GPU. Lo utilizan investigadores, universidades, empresas privadas y el gobierno de los EE. UU.