Red neuronal recurrente

Las redes neuronales recurrentes ( RNN ) son una clase de red neuronal artificial que se utiliza comúnmente para el procesamiento secuencial de datos. A diferencia de las redes neuronales de propagación hacia adelante , que procesan los datos en una sola pasada, las RNN procesan los datos en múltiples pasos de tiempo, lo que las hace muy adecuadas para el modelado y procesamiento de texto, voz y series temporales . ^[1]

El componente básico de las RNN es la unidad recurrente . Esta unidad mantiene un estado oculto, esencialmente una forma de memoria, que se actualiza en cada paso de tiempo en función de la entrada actual y el estado oculto anterior. Este bucle de retroalimentación permite que la red aprenda de las entradas anteriores e incorpore ese conocimiento en su procesamiento actual.

Las primeras RNN sufrieron el problema del gradiente de desaparición , lo que limitaba su capacidad para aprender dependencias de largo alcance. Esto se resolvió con la variante de memoria a corto plazo (LSTM) en 1997, convirtiéndose así en la arquitectura estándar para las RNN.

Las RNN se han aplicado a tareas como el reconocimiento de escritura a mano conectada y no segmentada , ^[2] reconocimiento de voz , ^{[3] [4]} procesamiento del lenguaje natural y traducción automática neuronal . ^{[5] [6]}

Un origen de las RNN fue la neurociencia. La palabra "recurrente" se utiliza para describir estructuras similares a bucles en anatomía. En 1901, Cajal observó "semicírculos recurrentes" en la corteza cerebelosa formados por fibras paralelas , células de Purkinje y células granulares . ^{[7] [8]} En 1933, Lorente de Nó descubrió "conexiones recurrentes y recíprocas" mediante el método de Golgi y propuso que los bucles excitatorios explican ciertos aspectos del reflejo vestíbulo-ocular . ^{[9] [10]} Durante la década de 1940, varias personas propusieron la existencia de retroalimentación en el cerebro, lo que contrastaba con la comprensión previa del sistema neuronal como una estructura puramente de retroalimentación. Hebb consideró el "circuito reverberante" como una explicación de la memoria a corto plazo. ^[11] El artículo de McCulloch y Pitts (1943), que propuso el modelo de neuronas McCulloch-Pitts , consideró redes que contienen ciclos. La actividad actual de tales redes puede verse afectada por la actividad indefinidamente lejana en el pasado. ^[12] Ambos estaban interesados ​​en los bucles cerrados como posibles explicaciones para, por ejemplo, la epilepsia y la causalgia . ^{[13] [14]} La inhibición recurrente se propuso en 1946 como un mecanismo de retroalimentación negativa en el control motor. Los bucles de retroalimentación neuronal fueron un tema común de discusión en las conferencias Macy . ^[15] Consulte ^[16] para una revisión extensa de los modelos de redes neuronales recurrentes en neurociencia.

En 1960, Frank Rosenblatt publicó "perceptrones de acoplamiento cruzado de bucle cerrado", que son redes de perceptrones de 3 capas cuya capa intermedia contiene conexiones recurrentes que cambian según una regla de aprendizaje hebbiana . ^{[18] : 73–75} Más tarde, en Principles of Neurodynamics (1961), describió redes de perceptrones "de acoplamiento cruzado de bucle cerrado" y "de acoplamiento posterior", e hizo estudios teóricos y experimentales para el aprendizaje hebbiano en estas redes, ^{[17] : Capítulo 19, 21} y señaló que una red de perceptrones completamente acoplada de forma cruzada es equivalente a una red de retroalimentación infinitamente profunda. ^{[17] : Sección 19.11}

Redes similares fueron publicadas por Kaoru Nakano en 1971 ^{[19] [20]} , Shun'ichi Amari en 1972, ^[21] y William A. Little  [de] en 1974, ^[22] quien fue reconocido por Hopfield en su artículo de 1982.

Otro origen de las RNN fue la mecánica estadística . El modelo de Ising fue desarrollado por Wilhelm Lenz ^[23] y Ernst Ising ^[24] en la década de 1920 ^[25] como un modelo mecánico estadístico simple de imanes en equilibrio. Glauber en 1963 estudió el modelo de Ising evolucionando en el tiempo, como un proceso hacia el equilibrio ( dinámica de Glauber ), añadiendo el componente del tiempo. ^[26]

El modelo de Sherrington-Kirkpatrick de vidrio de espín, publicado en 1975, ^[27] es la red de Hopfield con inicialización aleatoria. Sherrington y Kirkpatrick descubrieron que es muy probable que la función de energía del modelo SK tenga muchos mínimos locales. En el artículo de 1982, Hopfield aplicó esta teoría recientemente desarrollada para estudiar la red de Hopfield con funciones de activación binarias. ^[28] En un artículo de 1984, la extendió a funciones de activación continua. ^[29] Se convirtió en un modelo estándar para el estudio de redes neuronales a través de la mecánica estadística. ^{[30] [31]}

Las redes RNN modernas se basan principalmente en dos arquitecturas: LSTM y BRNN. ^[32]

En el resurgimiento de las redes neuronales en la década de 1980, se volvieron a estudiar las redes recurrentes, a las que a veces se denominaba "redes iteradas". ^[33] Dos de los primeros trabajos influyentes fueron la red Jordan (1986) y la red Elman (1990), que aplicaron las redes neuronales recurrentes para estudiar la psicología cognitiva . En 1993, un sistema compresor de la historia neuronal resolvió una tarea de "aprendizaje muy profundo" que requería más de 1000 capas sucesivas en una red neuronal recurrente desplegada en el tiempo. ^[34]

Las redes de memoria a corto plazo (LSTM) fueron inventadas por Hochreiter y Schmidhuber en 1995 y establecieron récords de precisión en múltiples dominios de aplicación. ^{[35] [36]} Se convirtió en la opción predeterminada para la arquitectura RNN.

Las redes neuronales recurrentes bidireccionales (BRNN) utilizan dos RNN que procesan la misma entrada en direcciones opuestas. ^[37] Estos dos a menudo se combinan, dando lugar a la arquitectura LSTM bidireccional.

Alrededor de 2006, el LSTM bidireccional comenzó a revolucionar el reconocimiento de voz , superando a los modelos tradicionales en ciertas aplicaciones de voz. ^{[38] [39]} También mejoraron el reconocimiento de voz de vocabulario amplio ^{[3] [4]} y la síntesis de texto a voz ^[40] y se utilizaron en la búsqueda por voz de Google y el dictado en dispositivos Android . ^[41] Batieron récords en traducción automática mejorada , ^[42] modelado de lenguaje ^[43] y procesamiento de lenguaje multilingüe. ^[44] Además, el LSTM combinado con redes neuronales convolucionales (CNN) mejoró el subtitulado automático de imágenes . ^[45]

La idea de la transducción de secuencias mediante codificador-decodificador se desarrolló a principios de la década de 2010. Los artículos que se citan con más frecuencia como los creadores que produjeron seq2seq son dos artículos de 2014. ^{[46] [47]} Una arquitectura seq2seq emplea dos RNN, normalmente LSTM, un "codificador" y un "decodificador", para la transducción de secuencias, como la traducción automática. Se convirtieron en tecnología de punta en la traducción automática y fueron fundamentales en el desarrollo del mecanismo de atención y Transformer .

Un modelo basado en RNN se puede dividir en dos partes: configuración y arquitectura. Se pueden combinar varias RNN en un flujo de datos, y el flujo de datos en sí es la configuración. Cada RNN puede tener cualquier arquitectura, incluidas LSTM, GRU, etc.

Las RNN vienen en muchas variantes. En términos abstractos, una RNN es una función de tipo , donde${\displaystyle f_{\theta }}$${\displaystyle (x_{t},h_{t})\mapsto (y_{t},h_{t+1})}$

• ${\displaystyle x_{t}}$: vector de entrada;
• ${\displaystyle h_{t}}$:vector oculto;
• ${\displaystyle y_{t}}$: vector de salida;
• ${\displaystyle \theta }$:parámetros de red neuronal.

En otras palabras, es una red neuronal que convierte una entrada en una salida , y el vector oculto cumple la función de "memoria", un registro parcial de todos los pares de entrada-salida anteriores. En cada paso, transforma la entrada en una salida y modifica su "memoria" para que pueda realizar mejor el procesamiento futuro.${\displaystyle x_{t}}$${\displaystyle y_{t}}$${\displaystyle h_{t}}$

La ilustración de la derecha puede resultar engañosa para muchos, ya que las topologías de redes neuronales prácticas suelen organizarse en "capas" y el dibujo da esa apariencia. Sin embargo, lo que parecen capas son, de hecho, diferentes pasos en el tiempo, "desplegados" para producir la apariencia de capas .

Una RNN apilada , o RNN profunda , está compuesta por múltiples RNN apiladas una sobre otra. De manera abstracta, está estructurada de la siguiente manera

1. La capa 1 tiene vectores , parámetros y mapas ocultos .${\displaystyle h_{1,t}}$${\displaystyle \theta _{1}}$${\displaystyle f_{\theta _{1}}:(x_{0,t},h_{1,t})\mapsto (x_{1,t},h_{1,t+1})}$
2. La capa 2 tiene vectores , parámetros y mapas ocultos .${\displaystyle h_{2,t}}$${\displaystyle \theta _{2}}$${\displaystyle f_{\theta _{2}}:(x_{1,t},h_{2,t})\mapsto (x_{2,t},h_{2,t+1})}$
3. ...
4. La capa tiene vectores , parámetros y mapas ocultos .${\displaystyle n}$${\displaystyle h_{n,t}}$${\displaystyle \theta _{n}}$${\displaystyle f_{\theta _{n}}:(x_{n-1,t},h_{n,t})\mapsto (x_{n,t},h_{n,t+1})}$

Cada capa funciona como una red neuronal convolucional independiente y la secuencia de salida de cada capa se utiliza como secuencia de entrada para la capa superior. No existe un límite conceptual para la profundidad de las redes neuronales convolucionales apiladas.

Una RNN bidireccional (biRNN) está compuesta por dos RNN, una que procesa la secuencia de entrada en una dirección y otra en la dirección opuesta. De manera abstracta, está estructurada de la siguiente manera:

• Los procesos RNN directos en una dirección:$${\displaystyle f_{\theta }(x_{0},h_{0})=(y_{0},h_{1}),f_{\theta }(x_{1},h_{1})=(y_{1},h_{2}),\dots }$$
• Los procesos RNN inversos en la dirección opuesta:$${\displaystyle f'_{\theta '}(x_{N},h_{N}')=(y'_{N},h_{N-1}'),f'_{\theta '}(x_{N-1},h_{N-1}')=(y'_{N-1},h_{N-2}'),\dots }$$

Luego, las dos secuencias de salida se concatenan para obtener la salida total: .${\displaystyle ((y_{0},y_{0}'),(y_{1},y_{1}'),\dots ,(y_{N},y_{N}'))}$

La RNN bidireccional permite que el modelo procese un token tanto en el contexto de lo que vino antes como de lo que vino después. Al apilar múltiples RNN bidireccionales juntas, el modelo puede procesar un token de manera cada vez más contextual. El modelo ELMo (2018) ^{[48] es un} LSTM bidireccional apilado que toma el nivel de caracteres como entradas y produce incrustaciones a nivel de palabra.

Se pueden ejecutar dos RNN de adelante hacia atrás en una configuración de codificador-decodificador . El RNN codificador procesa una secuencia de entrada en una secuencia de vectores ocultos, y el RNN decodificador procesa la secuencia de vectores ocultos en una secuencia de salida, con un mecanismo de atención opcional. Esto se utilizó para construir traductores automáticos neuronales de última generación durante el período 2014-2017. Este fue un paso decisivo hacia el desarrollo de Transformers . ^[49]

Una RNN puede procesar datos con más de una dimensión. PixelRNN procesa datos bidimensionales, con muchas direcciones posibles. ^[50] Por ejemplo, la dirección fila por fila procesa una cuadrícula de vectores en el siguiente orden: La diagonal BiLSTM utiliza dos LSTM para procesar la misma cuadrícula. Una la procesa desde la esquina superior izquierda hasta la esquina inferior derecha, de modo que procesa dependiendo de su estado oculto y el estado de la celda en la parte superior e izquierda: y . La otra la procesa desde la esquina superior derecha hasta la esquina inferior izquierda.${\displaystyle n\times n}$${\displaystyle x_{i,j}}$$${\displaystyle x_{1,1},x_{1,2},\dots ,x_{1,n},x_{2,1},x_{2,2},\dots ,x_{2,n},\dots ,x_{n,n}}$$${\displaystyle x_{i,j}}$${\displaystyle h_{i-1,j},c_{i-1,j}}$${\displaystyle h_{i,j-1},c_{i,j-1}}$

Las redes neuronales completamente recurrentes (FRNN) conectan las salidas de todas las neuronas con las entradas de todas las neuronas. En otras palabras, es una red completamente conectada . Esta es la topología de red neuronal más general, porque todas las demás topologías se pueden representar estableciendo algunos pesos de conexión en cero para simular la falta de conexiones entre esas neuronas.

La red de Hopfield es una red neuronal recurrente en la que todas las conexiones entre las capas tienen el mismo tamaño. Requiere entradas estacionarias y, por lo tanto, no es una red neuronal recurrente general, ya que no procesa secuencias de patrones. Sin embargo, garantiza que convergerá. Si las conexiones se entrenan mediante aprendizaje hebbiano , la red de Hopfield puede funcionar como una memoria robusta direccionable por contenido , resistente a la alteración de la conexión.

Una red Elman es una red de tres capas (dispuestas horizontalmente como x , y y z en la ilustración) con la adición de un conjunto de unidades de contexto ( u en la ilustración). La capa intermedia (oculta) está conectada a estas unidades de contexto fijas con un peso de uno. ^[51] En cada paso de tiempo, la entrada se alimenta hacia adelante y se aplica una regla de aprendizaje . Las conexiones posteriores fijas guardan una copia de los valores anteriores de las unidades ocultas en las unidades de contexto (ya que se propagan por las conexiones antes de que se aplique la regla de aprendizaje). Por lo tanto, la red puede mantener una especie de estado, lo que le permite realizar tareas como la predicción de secuencias que están más allá del poder de un perceptrón multicapa estándar .

Las redes de Jordan son similares a las redes de Elman. Las unidades de contexto se alimentan desde la capa de salida en lugar de la capa oculta. Las unidades de contexto en una red de Jordan también se denominan capa de estado. Tienen una conexión recurrente con ellas mismas. ^[51]

Las redes de Elman y Jordan también se conocen como "redes recurrentes simples" (SRN).

Red Elman ^[52]

${\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}h_{t-1}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\end{aligned}}}$

Red jordana ^[53]

${\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}s_{t}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\\s_{t}&=\sigma _{s}(W_{s,s}s_{t-1}+W_{s,y}y_{t-1}+b_{s})\end{aligned}}}$

Variables y funciones

• ${\displaystyle x_{t}}$: vector de entrada
• ${\displaystyle h_{t}}$: vector de capa oculta
• ${\displaystyle s_{t}}$: vector "estado",
• ${\displaystyle y_{t}}$: vector de salida
• ${\displaystyle W}$, y : matrices de parámetros y vectores${\displaystyle U}$${\displaystyle b}$
• ${\displaystyle \sigma }$: Funciones de activación

La memoria a corto plazo larga (LSTM) es la arquitectura RNN más utilizada. Fue diseñada para resolver el problema del gradiente de desaparición . La LSTM normalmente se complementa con puertas recurrentes llamadas "puertas de olvido". ^[54] La LSTM evita que los errores retropropagados desaparezcan o exploten. ^[55] En cambio, los errores pueden fluir hacia atrás a través de un número ilimitado de capas virtuales desplegadas en el espacio. Es decir, la LSTM puede aprender tareas que requieren recuerdos de eventos que sucedieron miles o incluso millones de pasos de tiempo discretos antes. Se pueden desarrollar topologías similares a la LSTM específicas para el problema. ^[56] La LSTM funciona incluso con grandes retrasos entre eventos significativos y puede manejar señales que mezclan componentes de baja y alta frecuencia.

Muchas aplicaciones utilizan pilas de LSTM, ^[57] por lo que se denomina "LSTM profundo". LSTM puede aprender a reconocer lenguajes sensibles al contexto a diferencia de los modelos anteriores basados ​​en modelos ocultos de Markov (HMM) y conceptos similares. ^[58]

Las unidades recurrentes con compuerta (GRU), introducidas en 2014, se diseñaron como una simplificación de LSTM. Se utilizan en su forma completa y en varias variantes simplificadas. ^{[59] [60]} Tienen menos parámetros que LSTM, ya que carecen de una compuerta de salida. ^[61]

Se encontró que su desempeño en el modelado de música polifónica y el modelado de señales de voz era similar al de la memoria a corto plazo. ^[62] No parece haber una diferencia particular en el desempeño entre LSTM y GRU. ^{[62] [63]}

Introducida por Bart Kosko, ^[64] una red de memoria asociativa bidireccional (BAM) es una variante de una red de Hopfield que almacena datos asociativos como un vector. La bidireccionalidad proviene del paso de información a través de una matriz y su transposición . Normalmente, se prefiere la codificación bipolar a la codificación binaria de los pares asociativos. Recientemente, los modelos BAM estocásticos que utilizan el método de Markov fueron optimizados para aumentar la estabilidad de la red y la relevancia para aplicaciones del mundo real. ^[65]

Una red BAM tiene dos capas, cualquiera de las cuales puede utilizarse como entrada para recordar una asociación y producir una salida en la otra capa. ^[66]

Las redes de estado de eco (ESN) tienen una capa oculta aleatoria escasamente conectada. Los pesos de las neuronas de salida son la única parte de la red que puede cambiar (entrenarse). Las ESN son buenas para reproducir ciertas series temporales . ^[67] Una variante para las neuronas que disparan se conoce como máquina de estado líquido . ^[68]

Una red neuronal recursiva ^[69] se crea aplicando el mismo conjunto de pesos de forma recursiva sobre una estructura similar a un gráfico diferenciable al recorrer la estructura en orden topológico . Estas redes también suelen entrenarse mediante el modo inverso de diferenciación automática . ^{[70] [71]} Pueden procesar representaciones distribuidas de la estructura, como términos lógicos . Un caso especial de redes neuronales recursivas es la RNN cuya estructura corresponde a una cadena lineal. Las redes neuronales recursivas se han aplicado al procesamiento del lenguaje natural . ^[72] La red tensorial neuronal recursiva utiliza una función de composición basada en tensores para todos los nodos del árbol. ^[73]

Las máquinas de Turing neuronales (MTN) son un método para extender redes neuronales recurrentes acoplándolas a recursos de memoria externos con los que interactúan. El sistema combinado es análogo a una máquina de Turing o una arquitectura de Von Neumann, pero es diferenciable de extremo a extremo, lo que permite entrenarlo de manera eficiente con descenso de gradiente . ^[74]

Las computadoras neuronales diferenciables (DNC) son una extensión de las máquinas de Turing neuronales, que permiten el uso de cantidades difusas de cada dirección de memoria y un registro de cronología. ^[75]

Los autómatas de red neuronal pushdown (NNPDA) son similares a los NTM, pero las cintas se reemplazan por pilas analógicas que son diferenciables y entrenadas. De esta manera, son similares en complejidad a los reconocedores de gramáticas libres de contexto (CFG). ^[76]

Las redes neuronales recurrentes son completas de Turing y pueden ejecutar programas arbitrarios para procesar secuencias arbitrarias de entradas. ^[77]

Una RNN se puede entrenar para que sea un modelo generativo condicional de secuencias, también conocido como autorregresión .

En concreto, consideremos el problema de la traducción automática, es decir, dada una secuencia de palabras en inglés, el modelo debe producir una secuencia de palabras en francés. Se debe resolver mediante un modelo seq2seq .${\displaystyle (x_{1},x_{2},\dots ,x_{n})}$${\displaystyle (y_{1},\dots ,y_{m})}$

Ahora bien, durante el entrenamiento, la mitad codificadora del modelo primero ingeriría , luego la mitad decodificadora comenzaría a generar una secuencia . El problema es que si el modelo comete un error al principio, digamos en , entonces es probable que los tokens subsiguientes también sean errores. Esto hace que sea ineficiente para el modelo obtener una señal de aprendizaje, ya que el modelo aprendería principalmente a cambiar hacia , pero no hacia los otros.${\displaystyle (x_{1},x_{2},\dots ,x_{n})}$${\displaystyle ({\hat {y}}_{1},{\hat {y}}_{2},\dots ,{\hat {y}}_{l})}$${\displaystyle {\hat {y}}_{2}}$${\displaystyle {\hat {y}}_{2}}$${\displaystyle y_{2}}$

La fuerza del profesor hace que el decodificador utilice la secuencia de salida correcta para generar la siguiente entrada en la secuencia. Por ejemplo, vería para generar .${\displaystyle (y_{1},\dots ,y_{k})}$${\displaystyle {\hat {y}}_{k+1}}$

El descenso de gradiente es un algoritmo de optimización iterativo de primer orden para hallar el mínimo de una función. En redes neuronales, se puede utilizar para minimizar el término de error modificando cada peso en proporción a la derivada del error con respecto a ese peso, siempre que las funciones de activación no lineales sean diferenciables .

El método estándar para entrenar RNN por descenso de gradiente es el algoritmo de " retropropagación a través del tiempo " (BPTT), que es un caso especial del algoritmo general de retropropagación . Una variante en línea más costosa computacionalmente se llama "aprendizaje recurrente en tiempo real" o RTRL, ^{[78] [79]} que es una instancia de diferenciación automática en el modo de acumulación hacia adelante con vectores tangentes apilados. A diferencia de BPTT, este algoritmo es local en el tiempo pero no local en el espacio.

En este contexto, local en el espacio significa que el vector de peso de una unidad se puede actualizar utilizando únicamente la información almacenada en las unidades conectadas y en la propia unidad, de modo que la complejidad de actualización de una sola unidad es lineal en la dimensionalidad del vector de peso. Local en el tiempo significa que las actualizaciones se llevan a cabo de manera continua (en línea) y dependen únicamente del paso de tiempo más reciente en lugar de múltiples pasos de tiempo dentro de un horizonte de tiempo determinado como en BPTT. Las redes neuronales biológicas parecen ser locales con respecto tanto al tiempo como al espacio. ^{[80] [81]}

Para calcular recursivamente las derivadas parciales, RTRL tiene una complejidad temporal de O(número de pesos ocultos x número de pesos) por paso de tiempo para calcular las matrices jacobianas , mientras que BPTT solo toma O(número de pesos) por paso de tiempo, a costa de almacenar todas las activaciones hacia adelante dentro del horizonte de tiempo dado. ^[82] Existe un híbrido en línea entre BPTT y RTRL con complejidad intermedia, ^{[83] [84]} junto con variantes para tiempo continuo. ^[85]

Un problema importante con el descenso de gradiente para las arquitecturas RNN estándar es que los gradientes de error se desvanecen exponencialmente rápido con el tamaño del desfase temporal entre eventos importantes. ^{[55] [86]} LSTM combinado con un método de aprendizaje híbrido BPTT/RTRL intenta superar estos problemas. ^[36] Este problema también se resuelve en la red neuronal recurrente independiente (IndRNN) ^[87] al reducir el contexto de una neurona a su propio estado pasado y la información entre neuronas se puede explorar en las siguientes capas. Las memorias de diferentes rangos, incluida la memoria a largo plazo, se pueden aprender sin el problema de la desaparición y explosión del gradiente.

El algoritmo en línea denominado retropropagación recursiva causal (CRBP), implementa y combina los paradigmas BPTT y RTRL para redes localmente recurrentes. ^[88] Funciona con las redes localmente recurrentes más generales. El algoritmo CRBP puede minimizar el término de error global. Este hecho mejora la estabilidad del algoritmo, proporcionando una visión unificada de las técnicas de cálculo de gradiente para redes recurrentes con retroalimentación local.

Un enfoque para el cálculo de información de gradiente en RNN con arquitecturas arbitrarias se basa en la derivación diagramática de gráficos de flujo de señales. ^[89] Utiliza el algoritmo por lotes BPTT, basado en el teorema de Lee para cálculos de sensibilidad de red. ^[90] Fue propuesto por Wan y Beaufays, mientras que su versión rápida en línea fue propuesta por Campolucci, Uncini y Piazza. ^[90]

La clasificación temporal conexionista (CTC) ^[91] es una función de pérdida especializada para entrenar RNN para problemas de modelado de secuencias donde el tiempo es variable. ^[92]

El entrenamiento de los pesos en una red neuronal se puede modelar como un problema de optimización global no lineal . Se puede formar una función objetivo para evaluar la aptitud o el error de un vector de peso particular de la siguiente manera: primero, se establecen los pesos en la red de acuerdo con el vector de peso. A continuación, se evalúa la red en relación con la secuencia de entrenamiento. Normalmente, se utiliza la diferencia de la suma de los cuadrados entre las predicciones y los valores objetivo especificados en la secuencia de entrenamiento para representar el error del vector de peso actual. A continuación, se pueden utilizar técnicas de optimización global arbitrarias para minimizar esta función objetivo.

El método de optimización global más común para el entrenamiento de RNN son los algoritmos genéticos , especialmente en redes no estructuradas. ^{[93] [94] [95]}

Inicialmente, el algoritmo genético se codifica con los pesos de la red neuronal de una manera predefinida, donde un gen en el cromosoma representa un vínculo de peso. La red completa se representa como un solo cromosoma. La función de aptitud se evalúa de la siguiente manera:

• A cada peso codificado en el cromosoma se le asigna el respectivo enlace de peso de la red.
• El conjunto de entrenamiento se presenta a la red que propaga las señales de entrada hacia adelante.
• El error cuadrático medio se devuelve a la función de aptitud.
• Esta función impulsa el proceso de selección genética.

La población está formada por muchos cromosomas, por lo que se desarrollan muchas redes neuronales diferentes hasta que se satisface un criterio de parada. Un esquema de parada común es:

• Cuando la red neuronal ha aprendido un cierto porcentaje de los datos de entrenamiento o
• Cuando se satisface el valor mínimo del error cuadrático medio o
• Cuando se alcanza el número máximo de generaciones de entrenamiento.

La función de aptitud evalúa el criterio de parada a medida que recibe el error cuadrático medio recíproco de cada red durante el entrenamiento. Por lo tanto, el objetivo del algoritmo genético es maximizar la función de aptitud, reduciendo el error cuadrático medio.

Se pueden utilizar otras técnicas de optimización globales (y/o evolutivas) para buscar un buen conjunto de pesos, como el recocido simulado o la optimización por enjambre de partículas .

La red neuronal recurrente independiente (IndRNN) ^[87] aborda los problemas de desaparición y explosión de gradientes en la red neuronal completamente conectada tradicional. Cada neurona en una capa solo recibe su propio estado pasado como información de contexto (en lugar de una conectividad completa con todas las demás neuronas en esta capa) y, por lo tanto, las neuronas son independientes de la historia de las demás. La retropropagación de gradientes se puede regular para evitar la desaparición y explosión de gradientes con el fin de mantener la memoria a largo o corto plazo. La información entre neuronas se explora en las siguientes capas. La IndRNN se puede entrenar de forma robusta con funciones no lineales no saturadas como ReLU. Las redes profundas se pueden entrenar utilizando conexiones de salto.

El compresor de historial neuronal es una pila no supervisada de RNN. ^[96] En el nivel de entrada, aprende a predecir su próxima entrada a partir de las entradas anteriores. Solo las entradas impredecibles de algunas RNN en la jerarquía se convierten en entradas para la RNN de nivel superior siguiente, que, por lo tanto, recalcula su estado interno solo en raras ocasiones. De este modo, cada RNN de nivel superior estudia una representación comprimida de la información en la RNN inferior. Esto se hace de modo que la secuencia de entrada se pueda reconstruir con precisión a partir de la representación en el nivel más alto.

El sistema minimiza eficazmente la longitud de la descripción o el logaritmo negativo de la probabilidad de los datos. ^[97] Dada una gran cantidad de predictibilidad aprendible en la secuencia de datos entrantes, la RNN de nivel más alto puede usar el aprendizaje supervisado para clasificar fácilmente incluso secuencias profundas con intervalos largos entre eventos importantes.

Es posible destilar la jerarquía de las RNN en dos: el chunker "consciente" (nivel superior) y el automatizador "subconsciente" (nivel inferior). ^[96] Una vez que el chunker ha aprendido a predecir y comprimir entradas que son impredecibles para el automatizador, entonces se puede obligar al automatizador en la siguiente fase de aprendizaje a predecir o imitar a través de unidades adicionales las unidades ocultas del chunker que cambia más lentamente. Esto hace que sea fácil para el automatizador aprender recuerdos apropiados, que rara vez cambian a lo largo de intervalos largos. A su vez, esto ayuda al automatizador a hacer que muchas de sus entradas alguna vez impredecibles sean predecibles, de modo que el chunker puede centrarse en los eventos impredecibles restantes. ^[96]

En 1992, un modelo generativo superó parcialmente el problema del gradiente evanescente ^[55] de la diferenciación automática o retropropagación en redes neuronales. En 1993, un sistema de este tipo resolvió una tarea de "aprendizaje muy profundo" que requería más de 1000 capas subsiguientes en una RNN desplegada en el tiempo. ^[34]

Las RNN de segundo orden utilizan pesos de orden superior en lugar de los pesos estándar, y los estados pueden ser un producto. Esto permite una asignación directa a una máquina de estados finitos tanto en el entrenamiento, la estabilidad y la representación. ^{[98] [99]} La memoria de corto plazo a largo plazo es un ejemplo de esto, pero no tiene asignaciones formales de este tipo ni prueba de estabilidad.${\displaystyle w{}_{ijk}}$${\displaystyle w{}_{ij}}$

Las redes neuronales recurrentes jerárquicas (HRNN) conectan sus neuronas de diversas maneras para descomponer el comportamiento jerárquico en subprogramas útiles. ^{[96] [100]} Estas estructuras jerárquicas de cognición están presentes en las teorías de la memoria presentadas por el filósofo Henri Bergson , cuyas visiones filosóficas han inspirado modelos jerárquicos. ^[101]

Las redes neuronales recurrentes jerárquicas son útiles para la previsión , ya que ayudan a predecir los componentes de inflación desagregados del índice de precios al consumidor (IPC). El modelo HRNN aprovecha la información de los niveles superiores de la jerarquía del IPC para mejorar las predicciones de nivel inferior. La evaluación de un conjunto sustancial de datos del índice IPC-U de EE. UU. demuestra el rendimiento superior del modelo HRNN en comparación con varios métodos de predicción de inflación establecidos. ^[102]

En general, una red de perceptrones multicapa recurrente (red RMLP) consta de subredes en cascada, cada una de las cuales contiene múltiples capas de nodos. Cada subred es de retroalimentación, excepto la última capa, que puede tener conexiones de retroalimentación. Cada una de estas subredes está conectada únicamente mediante conexiones de retroalimentación. ^[103]

Una red neuronal recurrente de múltiples escalas de tiempo (MTRNN) es un modelo computacional basado en neuronas que puede simular la jerarquía funcional del cerebro a través de la autoorganización dependiendo de la conexión espacial entre neuronas y de distintos tipos de actividades neuronales, cada una con distintas propiedades temporales. ^{[104] [105]} Con actividades neuronales tan variadas, las secuencias continuas de cualquier conjunto de comportamientos se segmentan en primitivas reutilizables, que a su vez se integran de manera flexible en diversos comportamientos secuenciales. La aprobación biológica de este tipo de jerarquía fue discutida en la teoría de predicción de la memoria de la función cerebral por Hawkins en su libro Sobre la inteligencia . ^{[ cita requerida ]} Tal jerarquía también concuerda con las teorías de la memoria postuladas por el filósofo Henri Bergson , que se han incorporado a un modelo MTRNN. ^{[101] [106]}

Greg Snider de HP Labs describe un sistema de computación cortical con nanodispositivos memristivos. ^[107] Los memristores (resistencias de memoria) se implementan mediante materiales de película delgada en los que la resistencia se sintoniza eléctricamente a través del transporte de iones o vacantes de oxígeno dentro de la película. El proyecto SyNAPSE de DARPA ha financiado IBM Research y HP Labs, en colaboración con el Departamento de Sistemas Cognitivos y Neuronales (CNS) de la Universidad de Boston, para desarrollar arquitecturas neuromórficas que puedan basarse en sistemas memristivos. Las redes memristivas son un tipo particular de red neuronal física que tiene propiedades muy similares a las redes (Little-)Hopfield, ya que tienen dinámica continua, una capacidad de memoria limitada y relajación natural a través de la minimización de una función que es asintótica al modelo de Ising . En este sentido, la dinámica de un circuito memristivo tiene la ventaja en comparación con una red Resistor-Capacitor de tener un comportamiento no lineal más interesante. Desde este punto de vista, la ingeniería de redes memristivas analógicas da cuenta de un tipo peculiar de ingeniería neuromórfica en la que el comportamiento del dispositivo depende del cableado o la topología del circuito. La evolución de estas redes se puede estudiar analíticamente utilizando variaciones de la ecuación de Caravelli–Traversa– Di Ventra . ^[108]

Una red neuronal recurrente de tiempo continuo (CTRNN) utiliza un sistema de ecuaciones diferenciales ordinarias para modelar los efectos de las entradas entrantes sobre una neurona. Por lo general, se analizan mediante la teoría de sistemas dinámicos . Muchos modelos de RNN en neurociencia son de tiempo continuo. ^[16]

Para una neurona en la red con activación , la tasa de cambio de activación viene dada por:${\displaystyle i}$${\displaystyle y_{i}}$

${\displaystyle \tau _{i}{\dot {y}}_{i}=-y_{i}+\sum _{j=1}^{n}w_{ji}\sigma (y_{j}-\Theta _{j})+I_{i}(t)}$

Dónde:

• ${\displaystyle \tau _{i}}$ : Constante de tiempo del nodo postsináptico
• ${\displaystyle y_{i}}$ :Activación del nodo postsináptico
• ${\displaystyle {\dot {y}}_{i}}$ :Tasa de cambio de activación del nodo postsináptico
• ${\displaystyle w{}_{ji}}$ : Peso de la conexión del nodo presináptico al postsináptico
• ${\displaystyle \sigma (x)}$ : Sigmoide de x p . ej .${\displaystyle \sigma (x)=1/(1+e^{-x})}$
• ${\displaystyle y_{j}}$ :Activación del nodo presináptico
• ${\displaystyle \Theta _{j}}$ : Sesgo del nodo presináptico
• ${\displaystyle I_{i}(t)}$ : Entrada (si la hay) al nodo

Las CTRNN se han aplicado a la robótica evolutiva , donde se han utilizado para abordar la visión, ^[109] la cooperación, ^[110] y el comportamiento cognitivo mínimo. ^[111]

Obsérvese que, según el teorema de muestreo de Shannon , las redes neuronales recurrentes de tiempo discreto pueden considerarse redes neuronales recurrentes de tiempo continuo donde las ecuaciones diferenciales se han transformado en ecuaciones diferenciales equivalentes . ^[112] Se puede pensar que esta transformación ocurre después de que las funciones de activación del nodo postsináptico se hayan filtrado con un paso bajo, pero antes del muestreo.${\displaystyle y_{i}(t)}$

En realidad, se trata de redes neuronales recursivas con una estructura particular: la de una cadena lineal. Mientras que las redes neuronales recursivas operan sobre cualquier estructura jerárquica, combinando representaciones secundarias en representaciones primarias, las redes neuronales recurrentes operan sobre la progresión lineal del tiempo, combinando el paso de tiempo anterior y una representación oculta en la representación del paso de tiempo actual.

Desde una perspectiva de series temporales, las RNN pueden aparecer como versiones no lineales de filtros de respuesta al impulso finito y respuesta al impulso infinito y también como un modelo exógeno autorregresivo no lineal (NARX). ^[113] RNN tiene respuesta al impulso infinita mientras que las redes neuronales convolucionales tienen respuesta al impulso finito . Ambas clases de redes exhiben un comportamiento dinámico temporal . ^[114] Una red recurrente de impulso finito es un gráfico acíclico dirigido que se puede desenrollar y reemplazar con una red neuronal estrictamente de avance, mientras que una red recurrente de impulso infinito es un gráfico cíclico dirigido que no se puede desenrollar.

El efecto del aprendizaje basado en la memoria para el reconocimiento de secuencias también se puede implementar mediante un modelo más biológico que utiliza el mecanismo de silenciamiento exhibido en neuronas con una actividad de picos de frecuencia relativamente alta. ^[115]

Se pueden agregar estados almacenados adicionales y el almacenamiento bajo control directo de la red a redes de impulso infinito y de impulso finito . Otra red o gráfico también puede reemplazar el almacenamiento si incorpora retrasos de tiempo o tiene bucles de retroalimentación. Dichos estados controlados se conocen como estados controlados o memoria controlada y son parte de redes de memoria a corto plazo a largo plazo (LSTM) y unidades recurrentes controladas . Esto también se llama red neuronal de retroalimentación (FNN).

Las bibliotecas modernas proporcionan implementaciones optimizadas en tiempo de ejecución de la funcionalidad anterior o permiten acelerar el bucle lento mediante la compilación justo a tiempo .

• Apache Singa
• Caffe : creado por el Centro de aprendizaje y visión de Berkeley (BVLC). Es compatible con CPU y GPU. Está desarrollado en C++ y tiene contenedores de Python y MATLAB .
• Chainer : completamente en Python, soporte de producción para CPU, GPU, entrenamiento distribuido.
• Deeplearning4j : aprendizaje profundo en Java y Scala en Spark con múltiples GPU habilitados .
• Flux : incluye interfaces para RNN, incluidos GRU y LSTM, escritas en Julia .
• Keras : API de alto nivel que proporciona un contenedor para muchas otras bibliotecas de aprendizaje profundo.
• Kit de herramientas cognitivas de Microsoft
• MXNet : un marco de aprendizaje profundo de código abierto utilizado para entrenar e implementar redes neuronales profundas.
• PyTorch : tensores y redes neuronales dinámicas en Python con aceleración de GPU.
• TensorFlow : biblioteca similar a Theano con licencia Apache 2.0 con soporte para CPU, GPU y TPU patentada de Google , ^[116] móvil
• Theano : una biblioteca de aprendizaje profundo para Python con una API en gran medida compatible con la biblioteca NumPy .
• Torch : un marco de computación científica con soporte para algoritmos de aprendizaje automático, escrito en C y Lua .

Las aplicaciones de las redes neuronales recurrentes incluyen:

• Traducción automática ^[42]
• Control de robots ^[117]
• Predicción de series temporales ^{[118] [119] [120]}
• Reconocimiento de voz ^{[121] [39] [122]}
• Síntesis de voz ^[123]
• Interfaces cerebro-computadora ^[124]
• Detección de anomalías en series temporales ^[125]
• Modelo de texto a vídeo ^[126]
• Aprendizaje del ritmo ^[127]
• Composición musical ^[128]
• Aprendizaje de gramática ^{[129] [58] [130]}
• Reconocimiento de escritura a mano ^{[131] [132]}
• Reconocimiento de la acción humana ^[133]
• Detección de homología de proteínas ^[134]
• Predicción de la localización subcelular de proteínas ^[135]
• Varias tareas de predicción en el área de gestión de procesos de negocio ^[136]
• Predicción en las vías de atención médica ^[137]
• Predicciones de disrupciones de plasma de fusión en reactores (código de red neuronal recurrente de fusión (FRNN)) ^[138]

• Mandic, Danilo P.; Chambers, Jonathon A. (2001). Redes neuronales recurrentes para predicción: algoritmos de aprendizaje, arquitecturas y estabilidad . Wiley. ISBN 978-0-471-49517-8.
• Grossberg, Stephen (22 de febrero de 2013). "Redes neuronales recurrentes". Scholarpedia . 8 (2): 1888. Bibcode :2013SchpJ...8.1888G. doi : 10.4249/scholarpedia.1888 . ISSN  1941-6016.
• Redes neuronales recurrentes. Lista de artículos sobre redes neuronales recurrentes del grupo de Jürgen Schmidhuber en el Instituto Dalle Molle para la Investigación en Inteligencia Artificial .