Mapa autoorganizativo

Un mapa autoorganizado ( SOM ) o mapa de características autoorganizado ( SOFM ) es una técnica de aprendizaje automático no supervisado que se utiliza para producir una representación de baja dimensión (normalmente bidimensional) de un conjunto de datos de mayor dimensión, conservando al mismo tiempo la estructura topológica de los datos. Por ejemplo, un conjunto de datos con variables medidas en observaciones podría representarse como grupos de observaciones con valores similares para las variables. Estos grupos podrían visualizarse luego como un "mapa" bidimensional de modo que las observaciones en los grupos proximales tengan valores más similares que las observaciones en los grupos distales. Esto puede hacer que los datos de alta dimensión sean más fáciles de visualizar y analizar.${\displaystyle p}$${\displaystyle n}$

Un SOM es un tipo de red neuronal artificial pero se entrena utilizando aprendizaje competitivo en lugar del aprendizaje de corrección de errores (por ejemplo, retropropagación con descenso de gradiente ) utilizado por otras redes neuronales artificiales. El SOM fue introducido por el profesor finlandés Teuvo Kohonen en la década de 1980 y, por lo tanto, a veces se lo llama mapa de Kohonen o red de Kohonen . ^{[1] [2]} El mapa o red de Kohonen es una abstracción computacionalmente conveniente que se basa en modelos biológicos de sistemas neuronales de la década de 1970 ^[3] y modelos de morfogénesis que datan de Alan Turing en la década de 1950. ^[4] Los SOM crean representaciones internas que recuerdan al homúnculo cortical ^{[ cita requerida ]} , una representación distorsionada del cuerpo humano , basada en un "mapa" neurológico de las áreas y proporciones del cerebro humano dedicado al procesamiento de funciones sensoriales , para diferentes partes del cuerpo.

Los mapas autoorganizados, como la mayoría de las redes neuronales artificiales, funcionan en dos modos: entrenamiento y mapeo. En primer lugar, el entrenamiento utiliza un conjunto de datos de entrada (el "espacio de entrada") para generar una representación de menor dimensión de los datos de entrada (el "espacio del mapa"). En segundo lugar, el mapeo clasifica datos de entrada adicionales utilizando el mapa generado.

En la mayoría de los casos, el objetivo del entrenamiento es representar un espacio de entrada con p dimensiones como un espacio de mapa con dos dimensiones. Específicamente, se dice que un espacio de entrada con p variables tiene p dimensiones. Un espacio de mapa consta de componentes llamados "nodos" o "neuronas", que se organizan como una cuadrícula hexagonal o rectangular con dos dimensiones. ^[5] El número de nodos y su disposición se especifican de antemano en función de los objetivos más amplios del análisis y la exploración de los datos .

Cada nodo en el espacio del mapa está asociado con un vector de "peso", que es la posición del nodo en el espacio de entrada. Mientras que los nodos en el espacio del mapa permanecen fijos, el entrenamiento consiste en mover los vectores de peso hacia los datos de entrada (reduciendo una métrica de distancia como la distancia euclidiana ) sin estropear la topología inducida a partir del espacio del mapa. Después del entrenamiento, el mapa se puede utilizar para clasificar observaciones adicionales para el espacio de entrada al encontrar el nodo con el vector de peso más cercano (métrica de distancia más pequeña) al vector del espacio de entrada.

El objetivo del aprendizaje en el mapa autoorganizado es hacer que las distintas partes de la red respondan de manera similar a determinados patrones de entrada. Esto está motivado en parte por la forma en que se procesa la información visual, auditiva u otra información sensorial en distintas partes de la corteza cerebral del cerebro humano . ^[6]

Los pesos de las neuronas se inicializan ya sea con valores aleatorios pequeños o se toman muestras de manera uniforme del subespacio abarcado por los dos vectores propios de componentes principales más grandes . Con la última alternativa, el aprendizaje es mucho más rápido porque los pesos iniciales ya dan una buena aproximación de los pesos de SOM. ^[7]

La red debe recibir una gran cantidad de vectores de ejemplo que representen, lo más fielmente posible, los tipos de vectores esperados durante el mapeo. Los ejemplos se administran normalmente varias veces como iteraciones.

El entrenamiento utiliza aprendizaje competitivo . Cuando se introduce un ejemplo de entrenamiento en la red, se calcula su distancia euclidiana a todos los vectores de peso. La neurona cuyo vector de peso es más similar a la entrada se denomina unidad de mejor coincidencia (BMU). Los pesos de la BMU y las neuronas cercanas a ella en la cuadrícula SOM se ajustan hacia el vector de entrada. La magnitud del cambio disminuye con el tiempo y con la distancia de la cuadrícula a la BMU. La fórmula de actualización para una neurona v con un vector de peso W _v (s) es

${\displaystyle W_{v}(s+1)=W_{v}(s)+\theta (u,v,s)\cdot \alpha (s)\cdot (D(t)-W_{v}(s))}$,

donde s es el índice de paso, t es un índice en la muestra de entrenamiento, u es el índice de la BMU para el vector de entrada D ( t ), α ( s ) es un coeficiente de aprendizaje decreciente monótonamente ; θ ( u , v , s ) es la función de vecindad que da la distancia entre la neurona u y la neurona v en el paso s . ^[8] Dependiendo de las implementaciones, t puede escanear el conjunto de datos de entrenamiento sistemáticamente ( t es 0, 1, 2... T -1, luego repetir, T siendo el tamaño de la muestra de entrenamiento), extraerse aleatoriamente del conjunto de datos ( muestreo bootstrap ), o implementar algún otro método de muestreo (como jackknifing ).

La función de vecindad θ ( u , v , s ) (también llamada función de interacción lateral ) depende de la distancia de la cuadrícula entre la BMU (neurona u ) y la neurona v . En la forma más simple, es 1 para todas las neuronas lo suficientemente cercanas a la BMU y 0 para las demás, pero las funciones gaussiana y de sombrero mexicano ^[9] también son opciones comunes. Independientemente de la forma funcional, la función de vecindad se encoge con el tiempo. ^[6] Al principio, cuando el vecindario es amplio, la autoorganización tiene lugar a escala global. Cuando el vecindario se ha encogido a solo un par de neuronas, los pesos convergen a estimaciones locales. En algunas implementaciones, el coeficiente de aprendizaje α y la función de vecindad θ disminuyen de manera constante al aumentar s , en otras (en particular aquellas en las que t escanea el conjunto de datos de entrenamiento) disminuyen de manera escalonada, una vez cada T pasos.

Este proceso se repite para cada vector de entrada durante una cantidad (normalmente grande) de ciclos λ . La red termina asociando nodos de salida con grupos o patrones en el conjunto de datos de entrada. Si se pueden nombrar estos patrones, los nombres se pueden adjuntar a los nodos asociados en la red entrenada.

Durante el mapeo, habrá una única neurona ganadora : la neurona cuyo vector de peso se encuentre más cerca del vector de entrada. Esto se puede determinar simplemente calculando la distancia euclidiana entre el vector de entrada y el vector de peso.

Si bien en este artículo se ha hecho hincapié en la representación de los datos de entrada como vectores, cualquier tipo de objeto que pueda representarse digitalmente, que tenga asociada una medida de distancia apropiada y en el que sean posibles las operaciones necesarias para el entrenamiento, puede utilizarse para construir un mapa autoorganizativo. Esto incluye matrices, funciones continuas o incluso otros mapas autoorganizativos.

1. Aleatorizar los vectores de peso de los nodos en un mapa
2. Para${\displaystyle s=0,1,2,...,\lambda }$
   1. Elija aleatoriamente un vector de entrada${\displaystyle {D}(t)}$
   2. Busque el nodo en el mapa más cercano al vector de entrada. Este nodo es la unidad de mejor coincidencia (BMU). Denotelo por${\displaystyle u}$
   3. Para cada nodo , actualice su vector acercándolo al vector de entrada:${\displaystyle v}$$${\displaystyle W_{v}(s+1)=W_{v}(s)+\theta (u,v,s)\cdot \alpha (s)\cdot (D(t)-W_{v}(s))}$$

Los nombres de las variables significan lo siguiente, con vectores en negrita,

• ${\displaystyle s}$es la iteración actual
• ${\displaystyle \lambda }$es el límite de iteración
• ${\displaystyle t}$es el índice del vector de datos de entrada de destino en el conjunto de datos de entrada${\displaystyle \mathbf {D} }$
• ${\displaystyle {D}(t)}$es un vector de datos de entrada de destino
• ${\displaystyle v}$es el índice del nodo en el mapa
• ${\displaystyle \mathbf {W} _{v}}$es el vector de peso actual del nodo${\displaystyle v}$
• ${\displaystyle u}$es el índice de la mejor unidad coincidente (BMU) en el mapa
• ${\displaystyle \theta (u,v,s)}$es la función de vecindad,
• ${\displaystyle \alpha (s)}$es el cronograma de tasa de aprendizaje.

Las opciones de diseño clave son la forma del SOM, la función de vecindad y el programa de tasa de aprendizaje. La idea de la función de vecindad es hacer que la BMU se actualice más, sus vecinos inmediatos se actualicen un poco menos, y así sucesivamente. La idea del programa de tasa de aprendizaje es hacer que las actualizaciones del mapa sean grandes al principio y dejen de actualizarse gradualmente.

Por ejemplo, si queremos aprender un SOM usando una cuadrícula cuadrada, podemos indexarlo usando where both . La función de vecindad puede hacer que la BMU se actualice por completo, los vecinos más cercanos se actualicen a la mitad y sus vecinos se actualicen nuevamente a la mitad, etc. Y podemos usar un programa de tasa de aprendizaje lineal simple .${\displaystyle (i,j)}$${\displaystyle i,j\in 1:N}$$${\displaystyle \theta ((i,j),(i',j'),s)={\frac {1}{2^{|i-i'|+|j-j'|}}}={\begin{cases}1&{\text{if }}i=i',j=j'\\1/2&{\text{if }}|i-i'|+|j-j'|=1\\1/4&{\text{if }}|i-i'|+|j-j'|=2\\\cdots &\cdots \end{cases}}}$$${\displaystyle \alpha (s)=1-s/\lambda }$

Obsérvese en particular que la tasa de actualización no depende de dónde se encuentra el punto en el espacio euclidiano, sino solo de dónde se encuentra en el propio SOM. Por ejemplo, los puntos están cerca en el SOM, por lo que siempre se actualizarán de manera similar, incluso cuando estén muy separados en el espacio euclidiano. Por el contrario, incluso si los puntos terminan superponiéndose entre sí (por ejemplo, si el SOM parece una toalla doblada), no se actualizan de manera similar.${\displaystyle (1,1),(1,2)}$${\displaystyle (1,1),(1,100)}$

1. Aleatorizar los vectores de peso de los nodos del mapa
2. Recorrer cada vector de entrada en el conjunto de datos de entrada
   1. Recorre cada nodo del mapa
      1. Utilice la fórmula de la distancia euclidiana para encontrar la similitud entre el vector de entrada y el vector de peso del nodo del mapa
      2. Realizar un seguimiento del nodo que produce la distancia más pequeña (este nodo es la unidad de mejor coincidencia, BMU)
   2. Actualice los nodos en el vecindario de la BMU (incluida la propia BMU) acercándolos al vector de entrada
      1. ${\displaystyle W_{v}(s+1)=W_{v}(s)+\theta (u,v,s)\cdot \alpha (s)\cdot (D(t)-W_{v}(s))}$
3. Aumente y repita desde el paso 2 mientras${\displaystyle s}$${\displaystyle s<\lambda }$

La selección de pesos iniciales como buenas aproximaciones de los pesos finales es un problema bien conocido para todos los métodos iterativos de redes neuronales artificiales, incluidos los mapas autoorganizados. Kohonen propuso originalmente la iniciación aleatoria de pesos. ^[10] (Este enfoque se refleja en los algoritmos descritos anteriormente). Más recientemente, la inicialización de componentes principales, en la que los pesos iniciales del mapa se eligen del espacio de los primeros componentes principales, se ha vuelto popular debido a la reproducibilidad exacta de los resultados. ^[11]

Sin embargo, una comparación cuidadosa de la inicialización aleatoria con la inicialización de componentes principales para un mapa unidimensional reveló que las ventajas de la inicialización de componentes principales no son universales. El mejor método de inicialización depende de la geometría del conjunto de datos específico. La inicialización de componentes principales era preferible (para un mapa unidimensional) cuando la curva principal que aproximaba el conjunto de datos podía proyectarse de manera univalente y lineal sobre el primer componente principal (conjuntos cuasilineales). Sin embargo, para conjuntos de datos no lineales, la iniciación aleatoria tuvo un mejor desempeño. ^[12]

Hay dos maneras de interpretar un SOM. Debido a que en la fase de entrenamiento los pesos de todo el vecindario se mueven en la misma dirección, los elementos similares tienden a excitar a las neuronas adyacentes. Por lo tanto, el SOM forma un mapa semántico donde las muestras similares se mapean juntas y las diferentes separadas. Esto se puede visualizar mediante una matriz U (distancia euclidiana entre vectores de peso de células vecinas) del SOM. ^{[14] [15] [16]}

La otra forma es pensar en los pesos neuronales como indicadores del espacio de entrada. Forman una aproximación discreta de la distribución de las muestras de entrenamiento. Más neuronas apuntan a regiones con alta concentración de muestras de entrenamiento y menos a aquellas donde las muestras son escasas.

El SOM puede considerarse una generalización no lineal del análisis de componentes principales (PCA). ^[17] Se ha demostrado, utilizando datos geofísicos tanto artificiales como reales, que el SOM tiene muchas ventajas ^{[18] [19] sobre los métodos} de extracción de características convencionales , como las funciones ortogonales empíricas (EOF) o el PCA.

Originalmente, SOM no fue formulado como una solución a un problema de optimización. Sin embargo, ha habido varios intentos de modificar la definición de SOM y formular un problema de optimización que dé resultados similares. ^[20] Por ejemplo, los mapas elásticos utilizan la metáfora mecánica de la elasticidad para aproximarse a las variedades principales : ^[21] la analogía es una membrana y una placa elásticas.

• Priorización y selección de proyectos ^[22]
• Análisis de facies sísmicas para la exploración de petróleo y gas ^[23]
• Análisis de modos de fallo y efectos ^[24]
• Encontrar datos representativos en grandes conjuntos de datos
  • especies representativas de comunidades ecológicas ^[25]
  • Días representativos de los modelos de sistemas energéticos ^[26]

• El mapa topográfico generativo (GTM) es una alternativa potencial a los SOM. En el sentido de que un GTM requiere explícitamente un mapeo suave y continuo desde el espacio de entrada al espacio del mapa, preserva la topología. Sin embargo, en un sentido práctico, esta medida de preservación topológica es insuficiente. ^[27]
• El mapa autoorganizado creciente (GSOM, por sus siglas en inglés) es una variante creciente del mapa autoorganizado. El GSOM se desarrolló para abordar la cuestión de identificar un tamaño de mapa adecuado en el SOM. Comienza con una cantidad mínima de nodos (normalmente cuatro) y hace crecer nuevos nodos en el límite según una heurística. Al utilizar un valor llamado factor de propagación , el analista de datos tiene la capacidad de controlar el crecimiento del GSOM. ^[28]
• El enfoque del mapa conforme utiliza el mapeo conforme para interpolar cada muestra de entrenamiento entre los nodos de la cuadrícula en una superficie continua. Con este enfoque es posible realizar un mapeo suave uno a uno. ^{[29] [30]}
• La red de mapas autoorganizados adaptativos en el tiempo (TASOM) es una extensión del SOM básico. El TASOM emplea tasas de aprendizaje adaptativas y funciones de vecindad. También incluye un parámetro de escala para hacer que la red sea invariable al escalamiento, la traslación y la rotación del espacio de entrada. El TASOM y sus variantes se han utilizado en varias aplicaciones, incluidas la agrupación adaptativa, la umbralización multinivel, la aproximación del espacio de entrada y el modelado de contorno activo. ^[31] Además, se ha propuesto un TASOM de árbol binario o BTASOM, que se asemeja a un árbol natural binario que tiene nodos compuestos por redes TASOM, donde el número de sus niveles y el número de sus nodos son adaptativos con su entorno. ^[32]
• El enfoque del mapa elástico toma prestada de la interpolación spline la idea de minimización de la energía elástica . En el aprendizaje, minimiza la suma de la energía de flexión y estiramiento cuadrática con el error de aproximación de mínimos cuadrados . ^[33]
• El mapa orientado y escalable (OS-Map) generaliza la función de vecindad y la selección del ganador. ^[34] La función de vecindad gaussiana homogénea se reemplaza con la exponencial matricial. De esta manera, se puede especificar la orientación en el espacio del mapa o en el espacio de datos. SOM tiene una escala fija (=1), de modo que los mapas "describen óptimamente el dominio de observación". Pero ¿qué sucede con un mapa que cubre el dominio dos veces o en n pliegues? Esto implica el concepto de escala. El OS-Map considera la escala como una descripción estadística de cuántos nodos de mejor coincidencia tiene una entrada en el mapa.

• Aprendizaje profundo
• Mapa autoorganizado híbrido de Kohonen
• Aprendiendo cuantificación vectorial
• Máquina de estado líquido
• Neocognitrón
• Gas neural
• Codificación dispersa
• Memoria distribuida dispersa
• Análisis de datos topológicos

• Kohonen, Teuvo (enero de 2013). "Fundamentos del mapa autoorganizado". Redes neuronales . 37 : 52–65. doi :10.1016/j.neunet.2012.09.018. PMID  23067803. S2CID  17289060.
• Kohonen, Teuvo (2001). Mapas autoorganizados: con 22 tablas . Springer Series in Information Sciences (3.ª ed.). Berlín Heidelberg: Springer. ISBN 978-3-540-67921-9.
• Kohonen, Teuvo (1988). "Autoorganización y memoria asociativa". Springer Series in Information Sciences . 8 . doi :10.1007/978-3-662-00784-6. ISBN 978-3-540-18314-3. ISSN  0720-678X.
• Kaski, Samuel, Jari Kangas y Teuvo Kohonen. "Bibliografía de artículos sobre mapas autoorganizados (SOM): 1981-1997". Neural computing surveys 1.3&4 (1998): 1-176.
• Oja, Merja, Samuel Kaski y Teuvo Kohonen. "Bibliografía de artículos sobre mapas autoorganizados (SOM): apéndice 1998-2001". Encuestas de computación neuronal 3.1 (2003): 1-156.

• Medios relacionados con Mapas autoorganizados en Wikimedia Commons