Esquema del reconocimiento de objetos

Reconocimiento de objetos : tecnología en el campo de la visión artificial para encontrar e identificar objetos en una imagen o secuencia de vídeo. Los seres humanos reconocen una multitud de objetos en imágenes con poco esfuerzo, a pesar de que la imagen de los objetos puede variar un poco en diferentes puntos de vista, en muchos tamaños y escalas diferentes o incluso cuando se trasladan o giran. Los objetos pueden reconocerse incluso cuando están parcialmente obstruidos a la vista. Esta tarea sigue siendo un desafío para los sistemas de visión artificial. A lo largo de varias décadas se han implementado muchos enfoques para la tarea.

• Detección de bordes
• Boceto primigenio
• Marr, Mohan y Nevatia ^[1]
• Bajo
• Olivier Faugeras

• Cilindros generalizados ( Thomas Binford )
• Geones ( Irving Biederman )
• Dickinson, Forsyth y Ponce

• Utilice imágenes de ejemplo (llamadas plantillas o ejemplares) de los objetos para realizar el reconocimiento.
• Los objetos se ven diferentes en distintas condiciones:
  • Cambios en la iluminación o el color.
  • Cambios en la dirección de visualización
  • Cambios de tamaño/forma
• Es poco probable que un único ejemplar dé buenos resultados, pero es imposible representar todas las apariencias de un objeto.

• Utiliza técnicas de detección de bordes, como la detección de bordes Canny , para encontrar bordes.
• Los cambios en la iluminación y el color generalmente no tienen mucho efecto en los bordes de la imagen.
• Estrategia:
  1. Detectar bordes en la plantilla y la imagen
  2. Comparar imágenes de bordes para encontrar la plantilla
  3. Se debe considerar el rango de posibles posiciones de la plantilla.
• Medidas:
  • Bueno: cuenta la cantidad de bordes superpuestos. No es resistente a los cambios de forma.
  • Mejor: cuente la cantidad de píxeles del borde de la plantilla con cierta distancia de un borde en la imagen de búsqueda
  • Mejor: determinar la distribución de probabilidad de la distancia al borde más cercano en la imagen de búsqueda (si la plantilla está en la posición correcta). Estimar la probabilidad de que cada posición de plantilla genere una imagen

• Estrategia:
  • Considere todas las posiciones como un conjunto (una celda en el espacio de posiciones)
  • Determinar el límite inferior de la puntuación en la mejor posición en la celda
  • Si el límite es demasiado grande, pode la celda
  • Si el límite no es demasiado grande, divida la celda en subceldas y pruebe cada subcelda de forma recursiva
  • El proceso se detiene cuando la célula es “suficientemente pequeña”
• A diferencia de la búsqueda de múltiples resoluciones, esta técnica garantiza encontrar todas las coincidencias que cumplan con el criterio (suponiendo que el límite inferior sea preciso).
• Encontrar el límite:
  • Para encontrar el límite inferior de la mejor puntuación, observe la puntuación de la posición de la plantilla representada por el centro de la celda.
  • Restar el cambio máximo de la posición “central” para cualquier otra posición en la celda (ocurre en las esquinas de la celda)
• Surgen complejidades a la hora de determinar límites en la distancia ^{[ cita requerida ]}

• Los bordes son (en su mayoría) resistentes a los cambios de iluminación, sin embargo, pierden mucha información.
• Debe calcular la distancia del píxel como una función tanto de la posición del píxel como de la intensidad del píxel.
• También se puede aplicar al color.

• Otra forma de ser robusto a los cambios de iluminación sin perder tanta información es comparar gradientes de imágenes.
• La coincidencia se realiza como la coincidencia de imágenes en escala de grises.
• Alternativa simple: utilizar correlación (normalizada)

• Evita correspondencias de puntos explícitas
• Relaciones entre diferentes puntos de imagen codificados implícitamente en las respuestas del campo receptivo
• Swain y Ballard (1991), ^[2] Schiele y Crowley (2000), ^[3] Linde y Lindeberg (2004, 2012) ^{[4] [5]}

• Un enfoque para buscar de manera eficiente en la base de datos una imagen específica es utilizar vectores propios de las plantillas (llamados caras propias ).
• Las bases de modelos son una colección de modelos geométricos de los objetos que deben reconocerse.

• Se utiliza una búsqueda para encontrar coincidencias factibles entre las características del objeto y las características de la imagen .
• La restricción principal es que una única posición del objeto debe dar cuenta de todas las coincidencias posibles.
• métodos que extraen características de los objetos a reconocer y de las imágenes a buscar.
  • parches de superficie
  • esquinas
  • bordes lineales

• Un método para buscar coincidencias factibles es buscar a través de un árbol.
• Cada nodo del árbol representa un conjunto de coincidencias.
  • El nodo raíz representa un conjunto vacío
  • Cada otro nodo es la unión de las coincidencias del nodo padre y una coincidencia adicional.
  • El comodín se utiliza para funciones que no coinciden
• Los nodos se “podan” cuando el conjunto de coincidencias no es viable.
  • Un nodo podado no tiene hijos
• Históricamente significativo y todavía utilizado, pero con menos frecuencia.

• Idea general:
  • Planteamos la hipótesis de una correspondencia entre una colección de características de imagen y una colección de características de objeto.
  • Luego use esto para generar una hipótesis sobre la proyección desde el marco de coordenadas del objeto al marco de la imagen.
  • Utilice esta hipótesis de proyección para generar una representación del objeto. Este paso se conoce habitualmente como retroproyección.
  • Compare la representación con la imagen y, si las dos son suficientemente similares, acepte la hipótesis.
• Obtención de hipótesis:
  • Hay una variedad de formas diferentes de generar hipótesis.
  • Cuando se conocen los parámetros intrínsecos de la cámara, la hipótesis equivale a una posición y orientación hipotética – pose – del objeto.
  • Utilizar restricciones geométricas
  • Construir una correspondencia entre pequeños conjuntos de características de objetos y cada subconjunto de puntos de imagen de tamaño correcto. (Estas son las hipótesis)
• Tres enfoques básicos:
  • Obtención de hipótesis por consistencia de posturas
  • Obtención de hipótesis mediante agrupamiento de poses
  • Obtención de hipótesis mediante el uso de invariantes
• Búsqueda de gastos que también es redundante, pero que se puede mejorar mediante aleatorización y/o agrupación
  • Aleatorización
    • Examinar pequeños conjuntos de características de la imagen hasta que la probabilidad de que falte un objeto sea mínima
    • Para cada conjunto de características de la imagen, se deben considerar todos los posibles conjuntos coincidentes de características del modelo.
    • Fórmula:

      (1 – W ^c ) ^k = Z

      • W = la fracción de puntos de la imagen que son “buenos” (w ~ m/n)
      • c = el número de correspondencias necesarias
      • k = el número de ensayos
      • Z = la probabilidad de que cada ensayo utilice una (o más) correspondencias incorrectas
  • Agrupamiento
    • Si podemos determinar grupos de puntos que probablemente provengan del mismo objeto, podemos reducir el número de hipótesis que deben examinarse.

• También llamado Alineación, ya que el objeto se alinea con la imagen.
• Las correspondencias entre las características de la imagen y las características del modelo no son independientes – Restricciones geométricas
• Un pequeño número de correspondencias da como resultado la posición del objeto; las demás deben ser coherentes con esta
• Idea general:
  • Si planteamos la hipótesis de una coincidencia entre un grupo suficientemente grande de características de imagen y un grupo suficientemente grande de características de objeto, entonces podemos recuperar los parámetros de cámara faltantes a partir de esta hipótesis (y así representar el resto del objeto).
• Estrategia:
  • Generar hipótesis utilizando un pequeño número de correspondencias (por ejemplo, triples de puntos para reconocimiento 3D)
  • Proyectar otras características del modelo en la imagen ( retroproyecto ) y verificar correspondencias adicionales
• Utilice el menor número de correspondencias necesarias para lograr poses de objetos discretos

• Idea general:
  • Cada objeto conduce a muchos conjuntos correctos de correspondencias, cada uno de los cuales tiene (aproximadamente) la misma pose.
  • Votación sobre la pose. Utilizar una matriz de acumuladores que represente el espacio de pose para cada objeto
  • Esto es esencialmente una transformada de Hough.
• Estrategia:
  • Para cada objeto, configure una matriz de acumuladores que represente el espacio de pose: cada elemento de la matriz de acumuladores corresponde a un “cubo” en el espacio de pose.
  • Luego tome cada grupo de cuadros de imagen y plantee la hipótesis de una correspondencia entre él y cada grupo de cuadros de cada objeto.
  • Para cada una de estas correspondencias, determine los parámetros de pose y haga una entrada en la matriz del acumulador para el objeto actual en el valor de pose.
  • Si hay una gran cantidad de votos en la matriz de acumuladores de cualquier objeto, esto puede interpretarse como evidencia de la presencia de ese objeto en esa posición.
  • La evidencia se puede comprobar mediante un método de verificación.
• Tenga en cuenta que este método utiliza conjuntos de correspondencias, en lugar de correspondencias individuales.
  • La implementación es más fácil, ya que cada conjunto produce una pequeña cantidad de posibles poses de objetos.
• Mejora
  • La resistencia al ruido de este método se puede mejorar al no contar los votos de los objetos en posiciones en las que el voto es obviamente poco confiable.

  § Por ejemplo, en los casos en que, si el objeto estuviera en esa pose, el grupo de marcos de objetos sería invisible.

  • Estas mejoras son suficientes para obtener sistemas que funcionen.

• Hay propiedades geométricas que son invariables a las transformaciones de la cámara.
• Se desarrolla más fácilmente para imágenes de objetos planos, pero también se puede aplicar a otros casos.

• Un algoritmo que utiliza invariantes geométricos para votar por hipótesis de objetos.
• Similar a la agrupación de poses, sin embargo, en lugar de votar por pose, ahora votamos por geometría.
• Una técnica desarrollada originalmente para hacer coincidir características geométricas (vistas afines no calibradas de modelos planos) con una base de datos de dichas características.
• Ampliamente utilizado para comparación de patrones, CAD/CAM e imágenes médicas.
• Es difícil elegir el tamaño de los cubos.
• Es difícil saber con certeza qué significa “suficiente”. Por lo tanto, puede existir cierto peligro de que la tabla se obstruya.

• Los puntos clave de los objetos se extraen primero de un conjunto de imágenes de referencia y se almacenan en una base de datos.
• Un objeto se reconoce en una nueva imagen comparando individualmente cada característica de la nueva imagen con esta base de datos y encontrando características coincidentes candidatas según la distancia euclidiana de sus vectores de características.
• Lowe (2004) ^{[6] [7]}

• Un detector y descriptor de imágenes robusto
• La versión estándar es varias veces más rápida que SIFT y sus autores afirman que es más robusta frente a diferentes transformaciones de imágenes que SIFT.
• Basado en sumas de respuestas wavelet de Haar 2D aproximadas y uso eficiente de imágenes integrales.
• Bay y otros (2008) ^[8]

Los algoritmos genéticos pueden funcionar sin conocimiento previo de un conjunto de datos determinado y pueden desarrollar procedimientos de reconocimiento sin intervención humana. Un proyecto reciente logró una precisión del 100 por ciento en los conjuntos de datos de referencia de imágenes de motocicletas, rostros, aviones y automóviles de Caltech y una precisión del 99,4 por ciento en los conjuntos de datos de imágenes de especies de peces. ^{[9] [10]}

• Reconocimiento y reconstrucción de objetos 3D ^[11]
• Reconocimiento de objetos de inspiración biológica
• Redes neuronales artificiales y aprendizaje profundo, especialmente redes neuronales convolucionales
• Contexto ^{[12] [13]}
• Modelos de objetos 3D explícitos e implícitos
• Indexación rápida ^[14]
• Representaciones de escenas globales ^[12]
• Histogramas de gradiente
• Gramáticas estocásticas ^[15]
• Aprendizaje por transferencia intraclase
• Categorización de objetos a partir de la búsqueda de imágenes
• Reflectancia ^[16]
• Forma a partir del sombreado ^[17]
• Coincidencia de plantillas
• Textura ^[18]
• Modelos de temas ^[13]
• Aprendizaje no supervisado
• Detección basada en ventanas
• Modelo de pieza deformable
• Distribución de Bingham ^[19]

Los métodos de reconocimiento de objetos tienen las siguientes aplicaciones:

• Reconocimiento de actividad ^[20]
• Anotación automática de imágenes ^{[21] [22]}
• Reconocimiento automático de objetivos
• Android Eyes: reconocimiento de objetos ^[23]
• Diagnóstico asistido por ordenador ^[24]
• Panoramas de imágenes ^[25]
• Marca de agua en la imagen ^[26]
• Localización global de robots ^[27]
• Detección de rostros ^[28]
• Reconocimiento óptico de caracteres ^[29]
• Control de calidad de fabricación ^[30]
• Recuperación de imágenes basada en contenido ^[31]
• Conteo y monitoreo de objetos ^[32]
• Sistemas de estacionamiento automatizados ^[33]
• Posicionamiento visual y seguimiento ^[34]
• Estabilización de vídeo ^[35]
• Detección de peatones
• Asistencia de velocidad inteligente (en el coche y otros vehículos)

• Daniilides y Eklundh, Edelman.
• Roth, Peter M. y Winter, Martin (2008). "MÉTODOS BASADOS EN LA APARIENCIA PARA EL RECONOCIMIENTO DE OBJETOS" (PDF) . Informe técnico . ICG-TR-01/08. Archivado desde el original (PDF) el 2015-09-21 . Consultado el 2016-02-26 .

• Histograma de gradientes orientados
• Red neuronal convolucional
• OpenCV
• Transformación de características invariante a escala (SIFT)
• Detección de objetos
• Artículo de Scholarpedia sobre la transformación de características invariantes de escala y métodos de reconocimiento de objetos relacionados
• NAVEGAR
• Coincidencia de plantillas
• Función de canal integral

Liza

• Lista de temas de visión artificial
• Lista de tecnologías emergentes
• Esquema de la inteligencia artificial

• Elgammal, Ahmed "CS 534: Reconocimiento basado en modelos 3D de visión artificial", Departamento de Ciencias de la Computación, Universidad Rutgers;
• Hartley, Richard y Zisserman, Andrew "Geometría de vista múltiple en visión por computadora", Cambridge Press, 2000, ISBN 0-521-62304-9 . 
• Roth, Peter M. y Winter, Martin "Estudio de métodos basados ​​en la apariencia para el reconocimiento de objetos", Informe técnico ICG-TR-01/08, Instituto de Gráficos y Visión por Computadora, Universidad Tecnológica de Graz, Austria; 15 de enero de 2008.
• Collins, Robert "Conferencia 31: Reconocimiento de objetos: teclas SIFT", CSE486, Penn State
• IPRG Archivado el 28 de diciembre de 2020 en Wayback Machine Procesamiento de imágenes - Grupo de investigación abierto en línea
• Christian Szegedy Archivado el 6 de septiembre de 2015 en Wayback Machine , Alexander Toshev Archivado el 4 de octubre de 2015 en Wayback Machine y Dumitru Erhan. Redes neuronales profundas para la detección de objetos. Avances en sistemas de procesamiento de información neuronal 26 Archivado el 5 de septiembre de 2020 en Wayback Machine , 2013. página 2553–2561.