Red neuronal (aprendizaje automático)

En el aprendizaje automático , una red neuronal (también red neuronal artificial o red neuronal , abreviada ANN o NN ) es un modelo inspirado en la estructura y función de las redes neuronales biológicas en los cerebros animales . ^{[1] [2]}

Una ANN consta de unidades o nodos conectados llamados neuronas artificiales , que modelan vagamente las neuronas del cerebro. Estas están conectadas por bordes , que modelan las sinapsis del cerebro. Cada neurona artificial recibe señales de las neuronas conectadas, luego las procesa y envía una señal a otras neuronas conectadas. La "señal" es un número real , y la salida de cada neurona se calcula mediante una función no lineal de la suma de sus entradas, llamada función de activación . La fuerza de la señal en cada conexión está determinada por un peso , que se ajusta durante el proceso de aprendizaje.

Por lo general, las neuronas se agrupan en capas. Las diferentes capas pueden realizar diferentes transformaciones en sus entradas. Las señales viajan desde la primera capa (la capa de entrada ) hasta la última capa (la capa de salida ), posiblemente pasando por múltiples capas intermedias ( capas ocultas ). Una red se denomina típicamente red neuronal profunda si tiene al menos dos capas ocultas. ^[3]

Las redes neuronales artificiales se utilizan para diversas tareas, como el modelado predictivo , el control adaptativo y la resolución de problemas en el ámbito de la inteligencia artificial . Pueden aprender de la experiencia y extraer conclusiones de un conjunto de información complejo y aparentemente no relacionado.

Las redes neuronales se entrenan típicamente a través de la minimización de riesgos empíricos . Este método se basa en la idea de optimizar los parámetros de la red para minimizar la diferencia, o riesgo empírico, entre el resultado previsto y los valores objetivo reales en un conjunto de datos determinado. ^[4] Los métodos basados ​​en gradientes, como la retropropagación, se utilizan generalmente para estimar los parámetros de la red. ^[4] Durante la fase de entrenamiento, las ANN aprenden de los datos de entrenamiento etiquetados actualizando iterativamente sus parámetros para minimizar una función de pérdida definida . ^[5] Este método permite que la red se generalice a datos no vistos.

Las redes neuronales profundas actuales se basan en trabajos tempranos en estadística hace más de 200 años. El tipo más simple de red neuronal de propagación hacia adelante (FNN) es una red lineal, que consta de una sola capa de nodos de salida con funciones de activación lineal; las entradas se alimentan directamente a las salidas a través de una serie de pesos. La suma de los productos de los pesos y las entradas se calcula en cada nodo. Los errores cuadráticos medios entre estas salidas calculadas y los valores objetivo dados se minimizan creando un ajuste a los pesos. Esta técnica se conoce desde hace más de dos siglos como el método de mínimos cuadrados o regresión lineal . Se utilizó como un medio para encontrar un buen ajuste lineal aproximado a un conjunto de puntos por Legendre (1805) y Gauss (1795) para la predicción del movimiento planetario. ^{[7] [8] [9] [10] [11]}

Históricamente, las computadoras digitales, como el modelo de von Neumann, funcionan mediante la ejecución de instrucciones explícitas con acceso a la memoria por parte de varios procesadores. Algunas redes neuronales, por otro lado, se originaron a partir de esfuerzos por modelar el procesamiento de información en sistemas biológicos a través del marco del conexionismo . A diferencia del modelo de von Neumann, la computación conexionista no separa la memoria del procesamiento.

Warren McCulloch y Walter Pitts ^[12] (1943) consideraron un modelo computacional sin aprendizaje para redes neuronales. ^[13] Este modelo allanó el camino para que la investigación se dividiera en dos enfoques. Un enfoque se centró en los procesos biológicos, mientras que el otro se centró en la aplicación de redes neuronales a la inteligencia artificial .

A finales de la década de 1940, DO Hebb ^[14] propuso una hipótesis de aprendizaje basada en el mecanismo de plasticidad neuronal que se conoció como aprendizaje hebbiano . Se utilizó en muchas redes neuronales tempranas, como el perceptrón de Rosenblatt y la red de Hopfield . Farley y Clark ^[15] (1954) utilizaron máquinas computacionales para simular una red hebbiana. Otras máquinas computacionales de redes neuronales fueron creadas por Rochester , Holland, Habit y Duda (1956). ^[16]

En 1958, el psicólogo Frank Rosenblatt describió el perceptrón, una de las primeras redes neuronales artificiales implementadas, ^{[17] [18] [19] [20] financiada por la} Oficina de Investigación Naval de los Estados Unidos . ^[21] RD Joseph (1960) ^[22] menciona un dispositivo similar al perceptrón aún anterior de Farley y Clark: ^[10] "Farley y Clark del Laboratorio Lincoln del MIT en realidad precedieron a Rosenblatt en el desarrollo de un dispositivo similar al perceptrón". Sin embargo, "abandonaron el tema". El perceptrón generó entusiasmo público por la investigación en redes neuronales artificiales, lo que provocó que el gobierno de los EE. UU. aumentara drásticamente la financiación. Esto contribuyó a la "Edad de Oro de la IA" impulsada por las afirmaciones optimistas realizadas por los científicos informáticos con respecto a la capacidad de los perceptrones para emular la inteligencia humana. ^[23]

Los primeros perceptrones no tenían unidades ocultas adaptativas. Sin embargo, Joseph (1960) ^[22] también analizó perceptrones multicapa con una capa oculta adaptativa. Rosenblatt (1962) ^{[24] : sección 16} citó y adoptó estas ideas, y también reconoció el trabajo de HD Block y BW Knight. Desafortunadamente, estos primeros esfuerzos no condujeron a un algoritmo de aprendizaje funcional para unidades ocultas, es decir, aprendizaje profundo .

En los años 1960 y 1970 se llevaron a cabo investigaciones fundamentales sobre las ANN. El primer algoritmo de aprendizaje profundo funcional fue el método de grupo de manejo de datos , un método para entrenar redes neuronales arbitrariamente profundas, publicado por Alexey Ivakhnenko y Lapa en Ucrania (1965). Lo consideraron como una forma de regresión polinómica, ^[25] o una generalización del perceptrón de Rosenblatt. ^[26] Un artículo de 1971 describió una red profunda con ocho capas entrenadas por este método, ^[27] que se basa en el entrenamiento capa por capa a través del análisis de regresión. Las unidades ocultas superfluas se podan utilizando un conjunto de validación separado. Dado que las funciones de activación de los nodos son polinomios de Kolmogorov-Gabor, estas también fueron las primeras redes profundas con unidades multiplicativas o "puertas". ^[10]

El primer perceptrón multicapa de aprendizaje profundo entrenado por descenso de gradiente estocástico ^[28] fue publicado en 1967 por Shun'ichi Amari . ^[29] En experimentos informáticos realizados por el estudiante de Amari, Saito, un MLP de cinco capas con dos capas modificables aprendió representaciones internas para clasificar clases de patrones no linealmente separables. ^{[10] Los desarrollos posteriores en hardware y ajustes de hiperparámetros han hecho que} el descenso de gradiente estocástico de extremo a extremo sea la técnica de entrenamiento actualmente dominante.

En 1969, Kunihiko Fukushima introdujo la función de activación ReLU (unidad lineal rectificada) . ^{[10] [30] [31]} El rectificador se ha convertido en la función de activación más popular para el aprendizaje profundo. ^[32]

Sin embargo, la investigación se estancó en los Estados Unidos tras el trabajo de Minsky y Papert (1969), ^[33] quienes enfatizaron que los perceptrones básicos eran incapaces de procesar el circuito exclusivo-o. Esta idea era irrelevante para las redes profundas de Ivakhnenko (1965) y Amari (1967).

Las arquitecturas de aprendizaje profundo para redes neuronales convolucionales (CNN) con capas convolucionales y capas de submuestreo y replicación de peso comenzaron con el Neocognitron introducido por Kunihiko Fukushima en 1979, aunque no entrenado por retropropagación. ^{[34] [35] [36]}

La retropropagación es una aplicación eficiente de la regla de la cadena derivada por Gottfried Wilhelm Leibniz en 1673 ^[37] a redes de nodos diferenciables. La terminología "errores de retropropagación" fue introducida en 1962 por Rosenblatt, ^[24] pero no sabía cómo implementarla, aunque Henry J. Kelley tuvo un precursor continuo de la retropropagación en 1960 en el contexto de la teoría de control . ^[38] En 1970, Seppo Linnainmaa publicó la forma moderna de retropropagación en su tesis de maestría (1970). ^{[39] [40] [10]} GM Ostrovski et al. Lo republicó en 1971. ^{[41] [42]} Paul Werbos aplicó la retropropagación a las redes neuronales en 1982 ^{[43] [44]} (su tesis doctoral de 1974, reimpresa en un libro de 1994, ^[45] aún no describía el algoritmo ^[42] ). En 1986, David E. Rumelhart et al. popularizaron la retropropagación pero no citaron el trabajo original. ^[46]

La arquitectura de red neuronal convolucional (CNN) de Kunihiko Fukushima de 1979 ^[34] también introdujo el agrupamiento máximo , ^[47] un procedimiento de submuestreo popular para las CNN. Las CNN se han convertido en una herramienta esencial para la visión por computadora .

La red neuronal con retardo temporal (TDNN) fue introducida en 1987 por Alex Waibel para aplicar la CNN al reconocimiento de fonemas. Utilizaba convoluciones, reparto de peso y retropropagación. ^{[48] [49]} En 1988, Wei Zhang aplicó una CNN entrenada por retropropagación al reconocimiento de alfabetos. ^[50] En 1989, Yann LeCun et al. crearon una CNN llamada LeNet para reconocer códigos postales escritos a mano en el correo. El entrenamiento requería 3 días. ^[51] En 1990, Wei Zhang implementó una CNN en hardware de computación óptica . ^[52] En 1991, se aplicó una CNN a la segmentación de objetos de imágenes médicas ^[53] y a la detección de cáncer de mama en mamografías. ^[54] LeNet -5 (1998), una CNN de 7 niveles de Yann LeCun et al., que clasifica dígitos, fue aplicada por varios bancos para reconocer números escritos a mano en cheques digitalizados en imágenes de 32×32 píxeles. ^[55]

A partir de 1988, ^{[56] [57]} el uso de redes neuronales transformó el campo de la predicción de la estructura de proteínas , en particular cuando las primeras redes en cascada se entrenaron en perfiles (matrices) producidos por múltiples alineaciones de secuencias . ^[58]

Un origen de las RNN fue la mecánica estadística . En 1972, Shun'ichi Amari propuso modificar los pesos de un modelo de Ising mediante la regla de aprendizaje de Hebb como un modelo de memoria asociativa, agregando el componente de aprendizaje. ^[59] Esto fue popularizado como la red de Hopfield por John Hopfield (1982). ^[60] Otro origen de las RNN fue la neurociencia. La palabra "recurrente" se utiliza para describir estructuras similares a bucles en anatomía. En 1901, Cajal observó "semicírculos recurrentes" en la corteza cerebelosa . ^[61] Hebb consideró el "circuito reverberante" como una explicación para la memoria a corto plazo. ^[62] El artículo de McCulloch y Pitts (1943) consideró redes neuronales que contienen ciclos y señaló que la actividad actual de dichas redes puede verse afectada por la actividad indefinidamente lejana en el pasado. ^[12]

Dos de los primeros trabajos influyentes fueron la red de Jordan (1986) y la red de Elman (1990), que aplicaron RNN para estudiar la psicología cognitiva .

En la década de 1980, la retropropagación no funcionaba bien para las redes neuronales profundas. Para superar este problema, en 1991, Jürgen Schmidhuber propuso el "fragmentador de secuencias neuronales" o "compresor de historia neuronal" ^{[63] [64]} que introdujo los conceptos importantes de preentrenamiento autosupervisado (la "P" en ChatGPT ) y destilación de conocimiento neuronal . ^[10] En 1993, un sistema compresor de historia neuronal resolvió una tarea de "aprendizaje muy profundo" que requería más de 1000 capas subsiguientes en una red neuronal desplegada en el tiempo. ^[65]

En 1991, la tesis de diploma de Sepp Hochreiter ^[66] identificó y analizó el problema del gradiente evanescente ^{[66] [67] y propuso conexiones} residuales recurrentes para resolverlo. Él y Schmidhuber introdujeron la memoria de corto plazo larga (LSTM), que estableció récords de precisión en múltiples dominios de aplicación. ^{[68] [69]} Esta todavía no era la versión moderna de LSTM, que requería la puerta de olvido, que se introdujo en 1999. ^[70] Se convirtió en la opción predeterminada para la arquitectura RNN.

Durante 1985-1995, inspirados por la mecánica estadística, Terry Sejnowski , Peter Dayan , Geoffrey Hinton , etc. desarrollaron varias arquitecturas y métodos , entre ellos la máquina de Boltzmann , ^[71] la máquina de Boltzmann restringida , ^[72] la máquina de Helmholtz , ^[73] y el algoritmo de vigilia-sueño . ^[74] Estos fueron diseñados para el aprendizaje no supervisado de modelos generativos profundos.

Entre 2009 y 2012, las ANN comenzaron a ganar premios en concursos de reconocimiento de imágenes, acercándose al desempeño a nivel humano en varias tareas, inicialmente en reconocimiento de patrones y reconocimiento de escritura a mano . ^{[75] [76]} En 2011, una CNN llamada DanNet ^{[77] [78]} por Dan Ciresan, Ueli Meier, Jonathan Masci, Luca Maria Gambardella y Jürgen Schmidhuber logró por primera vez un desempeño sobrehumano en un concurso de reconocimiento de patrones visuales, superando los métodos tradicionales por un factor de 3. ^[36] Luego ganó más concursos. ^{[79] [80]} También mostraron cómo la agrupación máxima de CNN en la GPU mejoró el rendimiento significativamente. ^[81]

En octubre de 2012, AlexNet de Alex Krizhevsky , Ilya Sutskever y Geoffrey Hinton ^{[82] ganó la} competencia a gran escala de ImageNet por un margen significativo frente a los métodos de aprendizaje automático superficial. Otras mejoras incrementales incluyeron la red VGG-16 de Karen Simonyan y Andrew Zisserman ^{[83] y} la Inceptionv3 de Google . ^[84]

En 2012, Ng y Dean crearon una red que aprendió a reconocer conceptos de nivel superior, como gatos, solo al observar imágenes sin etiquetas. ^[85] El preentrenamiento no supervisado y el mayor poder de cómputo de las GPU y la computación distribuida permitieron el uso de redes más grandes, particularmente en problemas de reconocimiento visual y de imágenes, lo que se conoció como "aprendizaje profundo". ^[5]

La función de base radial y las redes wavelet se introdujeron en 2013. Se ha demostrado que ofrecen las mejores propiedades de aproximación y se han aplicado en aplicaciones de identificación y clasificación de sistemas no lineales . ^[86]

La red generativa antagónica (GAN) ( Ian Goodfellow et al., 2014) ^[87] se convirtió en el estado del arte en modelado generativo durante el período 2014-2018. El principio GAN fue publicado originalmente en 1991 por Jürgen Schmidhuber, quien lo llamó "curiosidad artificial": dos redes neuronales compiten entre sí en forma de un juego de suma cero , donde la ganancia de una red es la pérdida de la otra. ^{[88] [89]} La primera red es un modelo generativo que modela una distribución de probabilidad sobre patrones de salida. La segunda red aprende por descenso de gradiente para predecir las reacciones del entorno a estos patrones. La excelente calidad de imagen se logra con StyleGAN (2018) de Nvidia ^[90] basado en el GAN ​​progresivo de Tero Karras et al. ^[91] Aquí, el generador GAN crece de pequeña a gran escala de manera piramidal. La generación de imágenes por GAN alcanzó un éxito popular y provocó discusiones sobre deepfakes . ^[92] Los modelos de difusión (2015) ^[93] eclipsaron a las GAN en el modelado generativo desde entonces, con sistemas como DALL·E 2 (2022) y Stable Diffusion (2022).

En 2014, el estado del arte era el entrenamiento de "redes neuronales muy profundas" con 20 a 30 capas. ^[94] Apilar demasiadas capas condujo a una reducción pronunciada en la precisión del entrenamiento , ^[95] conocido como el problema de "degradación". ^[96] En 2015, se desarrollaron dos técnicas para entrenar redes muy profundas: la red de carreteras se publicó en mayo de 2015, ^[97] y la red neuronal residual (ResNet) en diciembre de 2015. ^{[98] [99]} ResNet se comporta como una red de carreteras con compuerta abierta.

Durante la década de 2010, se desarrolló el modelo seq2seq y se agregaron mecanismos de atención. Condujo a la arquitectura Transformer moderna en 2017 en Attention Is All You Need . ^[100] Requiere un tiempo de cálculo que es cuadrático en el tamaño de la ventana de contexto. El controlador de peso rápido de Jürgen Schmidhuber (1992) ^[101] escala linealmente y luego se demostró que era equivalente al Transformer lineal no normalizado. ^{[102] [103] [10]} Los Transformers se han convertido cada vez más en el modelo de elección para el procesamiento del lenguaje natural . ^[104] Muchos modelos de lenguaje grandes modernos como ChatGPT , GPT-4 y BERT utilizan esta arquitectura.

This section may be confusing or unclear to readers. Please help clarify the section. There might be a discussion about this on the talk page. (April 2017) (Learn how and when to remove this message)

Las ANN comenzaron como un intento de explotar la arquitectura del cerebro humano para realizar tareas con las que los algoritmos convencionales tenían poco éxito. Pronto se reorientaron hacia la mejora de los resultados empíricos, abandonando los intentos de permanecer fieles a sus precursores biológicos. Las ANN tienen la capacidad de aprender y modelar no linealidades y relaciones complejas. Esto se logra mediante la conexión de neuronas en varios patrones, lo que permite que la salida de algunas neuronas se convierta en la entrada de otras. La red forma un gráfico dirigido y ponderado . ^[105]

Una red neuronal artificial consta de neuronas simuladas. Cada neurona está conectada a otros nodos a través de enlaces , como una conexión biológica axón-sinapsis-dendrita. Todos los nodos conectados por enlaces toman algunos datos y los utilizan para realizar operaciones y tareas específicas con los datos. Cada enlace tiene un peso, que determina la fuerza de la influencia de un nodo sobre otro, ^[106] lo que permite que los pesos elijan la señal entre neuronas.

Las ANN están compuestas por neuronas artificiales que conceptualmente se derivan de neuronas biológicas . Cada neurona artificial tiene entradas y produce una única salida que puede enviarse a múltiples otras neuronas. ^[107] Las entradas pueden ser los valores característicos de una muestra de datos externos, como imágenes o documentos, o pueden ser las salidas de otras neuronas. Las salidas de las neuronas de salida finales de la red neuronal realizan la tarea, como reconocer un objeto en una imagen. ^{[ cita requerida ]}

Para encontrar la salida de la neurona tomamos la suma ponderada de todas las entradas, ponderada por los pesos de las conexiones de las entradas a la neurona. A esta suma le añadimos un término de sesgo . ^[108] Esta suma ponderada a veces se denomina activación . Esta suma ponderada se pasa luego a través de una función de activación (normalmente no lineal) para producir la salida. Las entradas iniciales son datos externos, como imágenes y documentos. Las salidas finales realizan la tarea, como reconocer un objeto en una imagen. ^[109]

Las neuronas se organizan típicamente en múltiples capas, especialmente en el aprendizaje profundo . Las neuronas de una capa se conectan solo a las neuronas de las capas inmediatamente anteriores e inmediatamente posteriores. La capa que recibe datos externos es la capa de entrada . La capa que produce el resultado final es la capa de salida . Entre ellas hay cero o más capas ocultas . También se utilizan redes de una sola capa y sin capas. Entre dos capas, son posibles múltiples patrones de conexión. Pueden estar "completamente conectados", con cada neurona en una capa conectándose a cada neurona en la siguiente capa. Pueden ser agrupadas , donde un grupo de neuronas en una capa se conecta a una sola neurona en la siguiente capa, reduciendo así el número de neuronas en esa capa. ^[110] Las neuronas con solo tales conexiones forman un gráfico acíclico dirigido y se conocen como redes de propagación hacia adelante . ^[111] Alternativamente, las redes que permiten conexiones entre neuronas en la misma capa o en capas anteriores se conocen como redes recurrentes . ^[112]

Un hiperparámetro es un parámetro constante cuyo valor se establece antes de que comience el proceso de aprendizaje. Los valores de los parámetros se derivan mediante el aprendizaje. Algunos ejemplos de hiperparámetros son la tasa de aprendizaje , la cantidad de capas ocultas y el tamaño del lote. ^{[ cita requerida ]} Los valores de algunos hiperparámetros pueden depender de los de otros hiperparámetros. Por ejemplo, el tamaño de algunas capas puede depender de la cantidad total de capas. ^{[ cita requerida ]}

This section includes a list of references, related reading, or external links, but its sources remain unclear because it lacks inline citations. Please help improve this section by introducing more precise citations. (August 2019) (Learn how and when to remove this message)

El aprendizaje es la adaptación de la red para manejar mejor una tarea considerando observaciones de muestra. El aprendizaje implica ajustar los pesos (y los umbrales opcionales) de la red para mejorar la precisión del resultado. Esto se hace minimizando los errores observados. El aprendizaje es completo cuando examinar observaciones adicionales no reduce de manera útil la tasa de error. Incluso después del aprendizaje, la tasa de error normalmente no llega a 0. Si después del aprendizaje, la tasa de error es demasiado alta, la red normalmente debe rediseñarse. En la práctica, esto se hace definiendo una función de costo que se evalúa periódicamente durante el aprendizaje. Mientras su salida continúe disminuyendo, el aprendizaje continúa. El costo se define con frecuencia como una estadística cuyo valor solo se puede aproximar. Las salidas son en realidad números, por lo que cuando el error es bajo, la diferencia entre la salida (casi con certeza un gato) y la respuesta correcta (cat) es pequeña. El aprendizaje intenta reducir el total de las diferencias entre las observaciones. La mayoría de los modelos de aprendizaje pueden verse como una aplicación directa de la teoría de optimización y la estimación estadística . ^{[105] [113]}

La tasa de aprendizaje define el tamaño de los pasos correctivos que el modelo toma para ajustar los errores en cada observación. ^[114] Una tasa de aprendizaje alta acorta el tiempo de entrenamiento, pero con una precisión final menor, mientras que una tasa de aprendizaje menor toma más tiempo, pero con el potencial de una mayor precisión. Las optimizaciones como Quickprop están dirigidas principalmente a acelerar la minimización de errores, mientras que otras mejoras intentan principalmente aumentar la confiabilidad. Para evitar la oscilación dentro de la red, como los pesos de conexión alternados, y para mejorar la tasa de convergencia, los refinamientos utilizan una tasa de aprendizaje adaptativa que aumenta o disminuye según corresponda. ^[115] El concepto de momento permite ponderar el equilibrio entre el gradiente y el cambio anterior de tal manera que el ajuste del peso dependa en algún grado del cambio anterior. Un momento cercano a 0 enfatiza el gradiente, mientras que un valor cercano a 1 enfatiza el último cambio. ^{[ cita requerida ]}

Si bien es posible definir una función de costo ad hoc , con frecuencia la elección está determinada por las propiedades deseables de la función (como la convexidad ) o porque surge del modelo (por ejemplo, en un modelo probabilístico, la probabilidad posterior del modelo se puede utilizar como un costo inverso). ^{[ cita requerida ]}

La retropropagación es un método utilizado para ajustar los pesos de conexión para compensar cada error encontrado durante el aprendizaje. La cantidad de error se divide efectivamente entre las conexiones. Técnicamente, la retropropagación calcula el gradiente (la derivada) de la función de costo asociada con un estado dado con respecto a los pesos. Las actualizaciones de peso se pueden realizar mediante descenso de gradiente estocástico u otros métodos, como máquinas de aprendizaje extremo , ^[116] redes "sin prop", ^[117] entrenamiento sin retroceso, ^[118] redes "sin peso", ^{[119] [120]} y redes neuronales no conexionistas . ^{[ cita requerida ]}

This section includes a list of references, related reading, or external links, but its sources remain unclear because it lacks inline citations. Please help improve this section by introducing more precise citations. (August 2019) (Learn how and when to remove this message)

El aprendizaje automático se divide comúnmente en tres paradigmas de aprendizaje principales: aprendizaje supervisado , ^[121] aprendizaje no supervisado ^[122] y aprendizaje de refuerzo . ^[123] Cada uno corresponde a una tarea de aprendizaje particular.

El aprendizaje supervisado utiliza un conjunto de entradas pareadas y salidas deseadas. La tarea de aprendizaje es producir la salida deseada para cada entrada. En este caso, la función de costo está relacionada con la eliminación de deducciones incorrectas. ^[124] Un costo comúnmente utilizado es el error cuadrático medio , que intenta minimizar el error cuadrático medio entre la salida de la red y la salida deseada. Las tareas adecuadas para el aprendizaje supervisado son el reconocimiento de patrones (también conocido como clasificación) y la regresión (también conocida como aproximación de funciones). El aprendizaje supervisado también es aplicable a datos secuenciales (por ejemplo, para reconocimiento de escritura a mano, habla y gestos ). Esto puede considerarse como aprendizaje con un "maestro", en forma de una función que proporciona retroalimentación continua sobre la calidad de las soluciones obtenidas hasta el momento.

En el aprendizaje no supervisado , los datos de entrada se proporcionan junto con la función de costo, alguna función de los datos y la salida de la red. La función de costo depende de la tarea (el dominio del modelo) y de cualquier suposición a priori (las propiedades implícitas del modelo, sus parámetros y las variables observadas). Como ejemplo trivial, considere el modelo donde es una constante y el costo . Minimizar este costo produce un valor de que es igual a la media de los datos. La función de costo puede ser mucho más complicada. Su forma depende de la aplicación: por ejemplo, en la compresión podría estar relacionada con la información mutua entre y , mientras que en el modelado estadístico, podría estar relacionada con la probabilidad posterior del modelo dados los datos (nótese que en ambos ejemplos, esas cantidades se maximizarían en lugar de minimizarse). Las tareas que caen dentro del paradigma del aprendizaje no supervisado son, en general, problemas de estimación ; las aplicaciones incluyen la agrupación en clústeres , la estimación de distribuciones estadísticas , la compresión y el filtrado .${\displaystyle \textstyle x}$${\displaystyle \textstyle f(x)=a}$${\displaystyle \textstyle a}$${\displaystyle \textstyle C=E[(x-f(x))^{2}]}$${\displaystyle \textstyle a}$${\displaystyle \textstyle x}$${\displaystyle \textstyle f(x)}$

En aplicaciones como los videojuegos, un actor realiza una serie de acciones, recibiendo una respuesta generalmente impredecible del entorno después de cada una. El objetivo es ganar el juego, es decir, generar las respuestas más positivas (de menor coste). En el aprendizaje por refuerzo , el objetivo es ponderar la red (idear una política) para realizar acciones que minimicen el coste a largo plazo (acumulativo esperado). En cada punto del tiempo, el agente realiza una acción y el entorno genera una observación y un coste instantáneo , de acuerdo con algunas reglas (normalmente desconocidas). Las reglas y el coste a largo plazo normalmente solo se pueden estimar. En cualquier coyuntura, el agente decide si explorar nuevas acciones para descubrir sus costes o explotar el aprendizaje previo para proceder más rápidamente.

Formalmente, el entorno se modela como un proceso de decisión de Markov (MDP) con estados y acciones . Como no se conocen las transiciones de estado, se utilizan en su lugar distribuciones de probabilidad: la distribución de costo instantáneo , la distribución de observación y la distribución de transición , mientras que una política se define como la distribución condicional sobre acciones dadas las observaciones. En conjunto, las dos definen una cadena de Markov (CM). El objetivo es descubrir la CM de menor costo.${\displaystyle \textstyle {s_{1},...,s_{n}}\in S}$${\displaystyle \textstyle {a_{1},...,a_{m}}\in A}$${\displaystyle \textstyle P(c_{t}|s_{t})}$${\displaystyle \textstyle P(x_{t}|s_{t})}$${\displaystyle \textstyle P(s_{t+1}|s_{t},a_{t})}$

Las ANN sirven como componente de aprendizaje en tales aplicaciones. ^{[125] [126]} La programación dinámica acoplada con ANN (dando programación neurodinámica ) ^[127] se ha aplicado a problemas tales como los relacionados con el enrutamiento de vehículos , ^[128] videojuegos, gestión de recursos naturales ^{[129] [130]} y medicina ^[131] debido a la capacidad de las ANN de mitigar pérdidas de precisión incluso cuando se reduce la densidad de la cuadrícula de discretización para aproximar numéricamente la solución de problemas de control. Las tareas que caen dentro del paradigma del aprendizaje de refuerzo son problemas de control, juegos y otras tareas de toma de decisiones secuenciales.

El autoaprendizaje en redes neuronales se introdujo en 1982 junto con una red neuronal capaz de autoaprender llamada matriz adaptativa de barras cruzadas (CAA). ^[132] Es un sistema con una sola entrada, la situación s, y una sola salida, la acción (o comportamiento) a. No tiene ni entrada de consejo externo ni entrada de refuerzo externo del entorno. El CAA calcula, en forma de barras cruzadas, tanto las decisiones sobre acciones como las emociones (sentimientos) sobre las situaciones encontradas. El sistema está impulsado por la interacción entre la cognición y la emoción. ^[133] Dada la matriz de memoria, W =||w(a,s)||, el algoritmo de autoaprendizaje de barras cruzadas en cada iteración realiza el siguiente cálculo:

En la situación s realizar la acción a; Recibir situaciones de consecuencia; Calcular la emoción de estar en la situación de consecuencia v(s'); Actualizar la memoria de la barra transversal w'(a,s) = w(a,s) + v(s').

El valor retropropagado (reforzamiento secundario) es la emoción hacia la situación de consecuencia. El CAA existe en dos entornos, uno es el entorno conductual donde se comporta, y el otro es el entorno genético, de donde inicialmente y sólo una vez recibe emociones iniciales acerca de las situaciones que se van a encontrar en el entorno conductual. Habiendo recibido el vector genómico (vector de especie) del entorno genético, el CAA aprenderá una conducta de búsqueda de objetivos, en el entorno conductual que contiene situaciones tanto deseables como indeseables. ^[134]

La neuroevolución puede crear topologías y ponderaciones de redes neuronales mediante computación evolutiva . Es competitiva con los sofisticados enfoques de descenso de gradientes. ^{[135] [136]} Una ventaja de la neuroevolución es que puede ser menos propensa a quedar atrapada en "callejones sin salida". ^[137]

Las redes neuronales estocásticas que se originan a partir de los modelos de Sherrington-Kirkpatrick son un tipo de red neuronal artificial construida mediante la introducción de variaciones aleatorias en la red, ya sea dándole a las neuronas artificiales de la red funciones de transferencia estocásticas ^{[ cita requerida ]} o dándoles pesos estocásticos. Esto las convierte en herramientas útiles para problemas de optimización , ya que las fluctuaciones aleatorias ayudan a la red a escapar de los mínimos locales . ^[138] Las redes neuronales estocásticas entrenadas utilizando un enfoque bayesiano se conocen como redes neuronales bayesianas . ^[139]

En un marco bayesiano , se elige una distribución sobre el conjunto de modelos permitidos para minimizar el costo. Los métodos evolutivos , ^[140] programación de expresión genética , ^[141] recocido simulado , ^[142] expectativa-maximización , métodos no paramétricos y optimización de enjambre de partículas ^[143] son ​​otros algoritmos de aprendizaje. La recursión convergente es un algoritmo de aprendizaje para redes neuronales de controlador de articulación del modelo cerebeloso (CMAC). ^{[144] [145]}

This section includes a list of references, related reading, or external links, but its sources remain unclear because it lacks inline citations. Please help improve this section by introducing more precise citations. (August 2019) (Learn how and when to remove this message)

Existen dos modos de aprendizaje: estocástico y por lotes. En el aprendizaje estocástico, cada entrada crea un ajuste de peso. En el aprendizaje por lotes, los pesos se ajustan en función de un lote de entradas, acumulando errores a lo largo del lote. El aprendizaje estocástico introduce "ruido" en el proceso, utilizando el gradiente local calculado a partir de un punto de datos; esto reduce la posibilidad de que la red se quede atascada en mínimos locales. Sin embargo, el aprendizaje por lotes generalmente produce un descenso más rápido y más estable a un mínimo local, ya que cada actualización se realiza en la dirección del error promedio del lote. Un compromiso común es utilizar "minilotes", lotes pequeños con muestras en cada lote seleccionadas estocásticamente de todo el conjunto de datos.

Las ANN han evolucionado hasta convertirse en una amplia familia de técnicas que han hecho avanzar el estado del arte en múltiples dominios. Los tipos más simples tienen uno o más componentes estáticos, que incluyen número de unidades, número de capas, pesos de unidad y topología . Los tipos dinámicos permiten que uno o más de estos evolucionen mediante el aprendizaje. Este último es mucho más complicado, pero puede acortar los períodos de aprendizaje y producir mejores resultados. Algunos tipos permiten/requieren que el aprendizaje sea "supervisado" por el operador, mientras que otros funcionan de forma independiente. Algunos tipos funcionan puramente en hardware, mientras que otros son puramente software y se ejecutan en computadoras de propósito general.

Algunos de los principales avances incluyen:

• Redes neuronales convolucionales que han demostrado ser particularmente exitosas en el procesamiento de datos visuales y otros datos bidimensionales; ^{[146] [147]} donde la memoria a corto plazo evita el problema del gradiente de desaparición ^[148] y puede manejar señales que tienen una mezcla de componentes de baja y alta frecuencia que ayudan al reconocimiento de voz de vocabulario amplio, ^{[149] [150]} síntesis de texto a voz, ^{[151] [152] [153]} y cabezas parlantes fotorrealistas; ^[154]
• Redes competitivas como las redes generativas adversarias en las que múltiples redes (de estructura variable) compiten entre sí en tareas como ganar un juego ^[155] o engañar al oponente sobre la autenticidad de una entrada. ^[87]

El uso de redes neuronales artificiales requiere una comprensión de sus características.

• Elección del modelo: Depende de la representación de los datos y de la aplicación. Los parámetros del modelo incluyen el número, el tipo y la conectividad de las capas de red, así como el tamaño de cada una de ellas y el tipo de conexión (completa, agrupación, etc.). Los modelos demasiado complejos aprenden lentamente.
• Algoritmo de aprendizaje : existen numerosas compensaciones entre los algoritmos de aprendizaje. Casi cualquier algoritmo funcionará bien con los hiperparámetros correctos ^[156] para el entrenamiento en un conjunto de datos en particular. Sin embargo, la selección y el ajuste de un algoritmo para el entrenamiento en datos no vistos requiere una experimentación significativa.
• Robustez : si el modelo, la función de costo y el algoritmo de aprendizaje se seleccionan adecuadamente, la ANN resultante puede volverse robusta.

La búsqueda de arquitectura neuronal (NAS) utiliza el aprendizaje automático para automatizar el diseño de ANN. Varios enfoques de NAS han diseñado redes que se comparan bien con los sistemas diseñados a mano. El algoritmo de búsqueda básico es proponer un modelo candidato, evaluarlo contra un conjunto de datos y usar los resultados como retroalimentación para enseñarle a la red NAS. ^[157] Los sistemas disponibles incluyen AutoML y AutoKeras. ^[158] La biblioteca scikit-learn proporciona funciones para ayudar con la construcción de una red profunda desde cero. Luego podemos implementar una red profunda con TensorFlow o Keras .

Los hiperparámetros también deben definirse como parte del diseño (no se aprenden), y rigen cuestiones como cuántas neuronas hay en cada capa, tasa de aprendizaje, paso, zancada, profundidad, campo receptivo y relleno (para CNN), etc. ^[159]

def  tren ( X ,  y ,  n_oculto ,  tasa_de_aprendizaje ,  n_iter ): m ,  n_entrada  =  X . forma # 1. inicialización aleatoria de pesos y sesgos w1  =  np . random . randn ( n_entrada ,  n_oculto ) b1  =  np . ceros (( 1 ,  n_oculto )) w2  =  np . aleatorio . randn ( n_oculto ,  1 ) b2  =  np . ceros (( 1 ,  1 )) # 2. En cada iteración, alimente todas las capas con los últimos pesos y sesgos. para  i  en  el rango ( n_iter  +  1 ): z2  =  np . punto ( X ,  w1 )  +  b1 a2  =  sigmoide ( z2 ) z3  =  np . punto ( a2 ,  w2 )  +  b2 a3  =  z3 dz3  =  a3  -  y dw2  =  np . punto ( a2 . T ,  dz3 ) db2  =  np . suma ( dz3 ,  eje = 0 ,  keepdims = True ) dz2  =  np . punto ( dz3 ,  w2 . T )  *  derivada_sigmoidea ( z2 ) dw1  =  np . punto ( X . T ,  dz2 ) db1  =  np . suma ( dz2 ,  eje = 0 ) # 3. Actualizar pesos y sesgos con gradientes w1  -=  tasa de aprendizaje  *  dw1  /  m w2  -=  tasa de aprendizaje  *  dw2  /  m b1  -=  tasa de aprendizaje  *  db1  /  m b2  -=  tasa de aprendizaje  *  db2  /  m si  i  %  1000  ==  0 : imprimir ( "Época" ,  i ,  " pérdida: " , np.media  ( np.cuadrado ( dz3 ) ) ) modelo  =  { "w1" :  w1 ,  "b1" :  b1 ,  "w2" :  w2 ,  "b2" :  b2 }  modelo de retorno

^{[ cita requerida ]}

Debido a su capacidad para reproducir y modelar procesos no lineales, las redes neuronales artificiales han encontrado aplicaciones en muchas disciplinas, entre ellas:

• Aproximación de funciones , ^[160] o análisis de regresión , ^[161] (incluida la predicción de series de tiempo , la aproximación de aptitud , ^[162] y el modelado)
• Procesamiento de datos ^[163] (incluido filtrado, agrupamiento, separación ciega de fuentes , ^[164] y compresión)
• Identificación de sistemas no lineales ^[86] y control (incluido el control del vehículo, la predicción de trayectorias, ^[165] el control adaptativo , el control de procesos y la gestión de recursos naturales )
• Reconocimiento de patrones (incluidos sistemas de radar, identificación de rostros , clasificación de señales, ^[166] detección de novedad , reconstrucción 3D , ^[167] reconocimiento de objetos y toma de decisiones secuencial ^[168] )
• Reconocimiento de secuencias (incluidos gestos , voz y reconocimiento de texto escrito a mano e impreso ^[169] )
• Análisis de datos de sensores ^[170] (incluido análisis de imágenes )
• Robótica (incluyendo dirección de manipuladores y prótesis )
• Minería de datos (incluido el descubrimiento de conocimientos en bases de datos )
• Finanzas ^[171] (como modelos ex ante para pronósticos financieros específicos a largo plazo y mercados financieros artificiales )
• Química cuántica ^[172]
• Juego en general ^[173]
• IA generativa ^[174]
• Visualización de datos
• Traducción automática
• Filtrado de redes sociales ^[175]
• Filtrado de spam de correo electrónico
• Diagnóstico médico ^[176]

Las ANN se han utilizado para diagnosticar varios tipos de cáncer ^{[177] [178]} y para distinguir líneas celulares de cáncer altamente invasivas de líneas menos invasivas utilizando solo información sobre la forma de la célula. ^{[179] [180]}

Las ANN se han utilizado para acelerar el análisis de confiabilidad de infraestructuras sujetas a desastres naturales ^{[181] [182]} y para predecir asentamientos de cimientos. ^[183] ​​También puede ser útil para mitigar inundaciones mediante el uso de ANN para modelar lluvia-escorrentía. ^[184] Las ANN también se han utilizado para construir modelos de caja negra en geociencia : hidrología , ^{[185] [186]} modelado oceánico e ingeniería costera , ^{[187] [188]} y geomorfología . ^[189] Las ANN se han empleado en ciberseguridad , con el objetivo de discriminar entre actividades legítimas y maliciosas. Por ejemplo, el aprendizaje automático se ha utilizado para clasificar malware de Android, ^[190] para identificar dominios que pertenecen a actores de amenazas y para detectar URL que representan un riesgo de seguridad. ^[191] Se están realizando investigaciones sobre sistemas ANN diseñados para pruebas de penetración, para detectar botnets, ^[192] fraudes con tarjetas de crédito ^[193] e intrusiones en la red.

Las ANN se han propuesto como una herramienta para resolver ecuaciones diferenciales parciales en física ^{[194] [195] [196]} y simular las propiedades de sistemas cuánticos abiertos de muchos cuerpos . ^{[197] [198] [199] [200]} En la investigación del cerebro, las ANN han estudiado el comportamiento a corto plazo de neuronas individuales , ^[201] la dinámica de los circuitos neuronales surge de las interacciones entre neuronas individuales y cómo el comportamiento puede surgir de módulos neuronales abstractos que representan subsistemas completos. Los estudios consideraron la plasticidad a largo y corto plazo de los sistemas neuronales y su relación con el aprendizaje y la memoria desde la neurona individual hasta el nivel del sistema.

Es posible crear un perfil de los intereses de un usuario a partir de imágenes, utilizando redes neuronales artificiales entrenadas para el reconocimiento de objetos. ^[202]

Más allá de sus aplicaciones tradicionales, las redes neuronales artificiales se utilizan cada vez más en la investigación interdisciplinaria, como la ciencia de los materiales. Por ejemplo, las redes neuronales de grafos (GNN) han demostrado su capacidad para escalar el aprendizaje profundo para el descubrimiento de nuevos materiales estables al predecir de manera eficiente la energía total de los cristales. Esta aplicación subraya la adaptabilidad y el potencial de las ANN para abordar problemas complejos más allá de los ámbitos del modelado predictivo y la inteligencia artificial, abriendo nuevos caminos para el descubrimiento científico y la innovación. ^[203]

El perceptrón multicapa es un aproximador de funciones universal , como lo demuestra el teorema de aproximación universal . Sin embargo, la prueba no es constructiva en lo que respecta al número de neuronas necesarias, la topología de la red, los pesos y los parámetros de aprendizaje.

Una arquitectura recurrente específica con pesos de valores racionales (en oposición a pesos de valores de números reales de precisión total ) tiene el poder de una máquina de Turing universal , ^[204] utilizando un número finito de neuronas y conexiones lineales estándar. Además, el uso de valores irracionales para los pesos da como resultado una máquina con un poder super-Turing . ^{[205] [206] [ verificación fallida ]}

La propiedad de "capacidad" de un modelo corresponde a su capacidad para modelar cualquier función dada. Está relacionada con la cantidad de información que se puede almacenar en la red y con la noción de complejidad. La comunidad conoce dos nociones de capacidad: la capacidad de información y la dimensión VC. La capacidad de información de un perceptrón se analiza en profundidad en el libro de Sir David MacKay ^[207], que resume el trabajo de Thomas Cover. ^[208] La capacidad de una red de neuronas estándar (no convolucional) se puede derivar de cuatro reglas ^[209] que se derivan de entender una neurona como un elemento eléctrico. La capacidad de información captura las funciones modelables por la red dados los datos de entrada. La segunda noción es la dimensión VC . La dimensión VC utiliza los principios de la teoría de la medida y encuentra la capacidad máxima en las mejores circunstancias posibles. Esto es, dados los datos de entrada en una forma específica. Como se señala en ^[207] , la dimensión VC para entradas arbitrarias es la mitad de la capacidad de información de un perceptrón. La dimensión VC para puntos arbitrarios a veces se denomina capacidad de memoria. ^[210]

Es posible que los modelos no converjan de manera consistente en una única solución, en primer lugar porque pueden existir mínimos locales, dependiendo de la función de costo y del modelo. En segundo lugar, el método de optimización utilizado podría no garantizar la convergencia cuando comienza lejos de cualquier mínimo local. En tercer lugar, para datos o parámetros suficientemente grandes, algunos métodos se vuelven imprácticos.

Otra cuestión que vale la pena mencionar es que el entrenamiento puede cruzar algún punto de silla , lo que puede llevar la convergencia a la dirección equivocada.

El comportamiento de convergencia de ciertos tipos de arquitecturas de ANN se entiende mejor que otros. Cuando el ancho de la red se acerca al infinito, la ANN está bien descrita por su expansión de Taylor de primer orden a lo largo del entrenamiento, y por lo tanto hereda el comportamiento de convergencia de los modelos afines . ^{[211] [212]} Otro ejemplo es cuando los parámetros son pequeños, se observa que las ANN a menudo ajustan funciones objetivo de frecuencias bajas a altas. Este comportamiento se conoce como el sesgo espectral, o principio de frecuencia, de las redes neuronales. ^{[213] [214] [215] [216]} Este fenómeno es opuesto al comportamiento de algunos esquemas numéricos iterativos bien estudiados como el método de Jacobi . Se ha observado que las redes neuronales más profundas están más sesgadas hacia funciones de baja frecuencia. ^[217]

This section includes a list of references, related reading, or external links, but its sources remain unclear because it lacks inline citations. Please help improve this section by introducing more precise citations. (August 2019) (Learn how and when to remove this message)

Las aplicaciones cuyo objetivo es crear un sistema que se generalice bien a ejemplos no vistos se enfrentan a la posibilidad de un sobreentrenamiento. Esto surge en sistemas complejos o sobreespecificados cuando la capacidad de la red excede significativamente los parámetros libres necesarios. Hay dos enfoques que abordan el sobreentrenamiento. El primero es utilizar la validación cruzada y técnicas similares para verificar la presencia de sobreentrenamiento y seleccionar hiperparámetros para minimizar el error de generalización.

La segunda es utilizar alguna forma de regularización . Este concepto surge en un marco probabilístico (bayesiano), donde la regularización se puede realizar seleccionando una probabilidad previa mayor sobre modelos más simples; pero también en la teoría del aprendizaje estadístico, donde el objetivo es minimizar más de dos cantidades: el "riesgo empírico" y el "riesgo estructural", que corresponde aproximadamente al error sobre el conjunto de entrenamiento y el error previsto en datos no vistos debido al sobreajuste.

Las redes neuronales supervisadas que utilizan una función de costo de error cuadrático medio (MSE) pueden utilizar métodos estadísticos formales para determinar la confianza del modelo entrenado. El MSE en un conjunto de validación se puede utilizar como una estimación de la varianza. Este valor se puede utilizar para calcular el intervalo de confianza de la salida de la red, suponiendo una distribución normal . Un análisis de confianza realizado de esta manera es estadísticamente válido siempre que la distribución de probabilidad de salida permanezca igual y la red no se modifique.

Al asignar una función de activación softmax , una generalización de la función logística , en la capa de salida de la red neuronal (o un componente softmax en una red basada en componentes) para las variables objetivo categóricas, las salidas se pueden interpretar como probabilidades posteriores. Esto es útil en la clasificación, ya que proporciona una medida de certeza sobre las clasificaciones.

La función de activación softmax es:

${\displaystyle y_{i}={\frac {e^{x_{i}}}{\sum _{j=1}^{c}e^{x_{j}}}}}$

Una crítica común a las redes neuronales, particularmente en robótica, es que requieren demasiadas muestras de entrenamiento para operar en el mundo real. ^[218] Cualquier máquina de aprendizaje necesita suficientes ejemplos representativos para capturar la estructura subyacente que le permite generalizar a nuevos casos. Las posibles soluciones incluyen mezclar aleatoriamente los ejemplos de entrenamiento, mediante el uso de un algoritmo de optimización numérica que no da pasos demasiado grandes al cambiar las conexiones de red después de un ejemplo, agrupar los ejemplos en los llamados minilotes y/o introducir un algoritmo de mínimos cuadrados recursivo para CMAC . ^[144] Dean Pomerleau usa una red neuronal para entrenar un vehículo robótico para que conduzca en múltiples tipos de carreteras (de un solo carril, de varios carriles, de tierra, etc.), y una gran parte de su investigación está dedicada a extrapolar múltiples escenarios de entrenamiento a partir de una única experiencia de entrenamiento y preservar la diversidad de entrenamientos anteriores para que el sistema no se sobreentrene (si, por ejemplo, se le presenta una serie de giros a la derecha, no debería aprender a girar siempre a la derecha). ^[219]

Una afirmación central ^{[ cita requerida ]} de las ANN es que incorporan principios generales nuevos y poderosos para procesar información. Estos principios están mal definidos. A menudo se afirma ^{[ ¿ por quién? ]} que surgen de la propia red. Esto permite que la asociación estadística simple (la función básica de las redes neuronales artificiales) se describa como aprendizaje o reconocimiento. En 1997, Alexander Dewdney , un ex columnista de Scientific American , comentó que, como resultado, las redes neuronales artificiales tienen una "cualidad de algo por nada, que imparte un aura peculiar de pereza y una clara falta de curiosidad sobre lo buenos que son estos sistemas informáticos. No interviene ninguna mano (o mente) humana; las soluciones se encuentran como por arte de magia; y nadie, al parecer, ha aprendido nada". ^[220] Una respuesta a Dewdney es que las redes neuronales se han utilizado con éxito para manejar muchas tareas complejas y diversas, que van desde volar aviones de forma autónoma ^[221] hasta detectar fraudes con tarjetas de crédito o dominar el juego de Go .

El escritor de tecnología Roger Bridgman comentó:

Las redes neuronales, por ejemplo, están en el banquillo no sólo porque han sido promocionadas hasta el cielo (¿qué no?), sino también porque se podría crear una red exitosa sin entender cómo funciona: el conjunto de números que captura su comportamiento sería con toda probabilidad "una tabla opaca, ilegible... sin valor como recurso científico".

A pesar de su enfática declaración de que la ciencia no es tecnología, Dewdney parece aquí poner en la picota las redes neuronales como mala ciencia, cuando la mayoría de quienes las idean sólo intentan ser buenos ingenieros. Una tabla ilegible que una máquina útil pudiera leer seguiría siendo digna de tener. ^[222]

Si bien es cierto que analizar lo aprendido por una red neuronal artificial es difícil, es mucho más fácil hacerlo que analizar lo aprendido por una red neuronal biológica. Además, el énfasis reciente en la explicabilidad de la IA ha contribuido al desarrollo de métodos, en particular los basados ​​en mecanismos de atención , para visualizar y explicar las redes neuronales aprendidas. Además, los investigadores involucrados en la exploración de algoritmos de aprendizaje para redes neuronales están descubriendo gradualmente principios genéricos que permiten que una máquina de aprendizaje tenga éxito. Por ejemplo, Bengio y LeCun (2007) escribieron un artículo sobre el aprendizaje local frente al no local, así como sobre la arquitectura superficial frente a la profunda. ^[223]

Los cerebros biológicos utilizan circuitos superficiales y profundos, como lo indica la anatomía cerebral ^[224] , que muestra una amplia variedad de invariancia. Weng ^[225] sostuvo que el cerebro se autoconecta en gran medida de acuerdo con las estadísticas de señales y, por lo tanto, una cascada serial no puede captar todas las dependencias estadísticas principales.

Las redes neuronales grandes y eficaces requieren considerables recursos informáticos. ^[226] Si bien el cerebro tiene hardware adaptado a la tarea de procesar señales a través de un gráfico de neuronas, simular incluso una neurona simplificada en la arquitectura de von Neumann puede consumir grandes cantidades de memoria y almacenamiento. Además, el diseñador a menudo necesita transmitir señales a través de muchas de estas conexiones y sus neuronas asociadas, lo que requiere una enorme potencia y tiempo de CPU . ^{[ cita requerida ]}

Algunos sostienen que el resurgimiento de las redes neuronales en el siglo XXI se debe en gran medida a los avances en hardware: de 1991 a 2015, la potencia informática, especialmente la proporcionada por las GPGPU (en las GPU ), ha aumentado alrededor de un millón de veces, lo que hace que el algoritmo de retropropagación estándar sea factible para entrenar redes que son varias capas más profundas que antes. ^[36] El uso de aceleradores como FPGAs y GPU puede reducir los tiempos de entrenamiento de meses a días. ^{[226] [227]}

La ingeniería neuromórfica o red neuronal física aborda la dificultad del hardware directamente, mediante la construcción de chips que no son de von Neumann para implementar directamente redes neuronales en circuitos. Otro tipo de chip optimizado para el procesamiento de redes neuronales se denomina unidad de procesamiento tensorial o TPU. ^[228]

Analizar lo que ha aprendido una ANN es mucho más fácil que analizar lo que ha aprendido una red neuronal biológica. Además, los investigadores que se dedican a explorar algoritmos de aprendizaje para redes neuronales están descubriendo gradualmente principios generales que permiten que una máquina de aprendizaje tenga éxito. Por ejemplo, aprendizaje local vs. no local y arquitectura superficial vs. profunda. ^[229]

Los defensores de los modelos híbridos (que combinan redes neuronales y enfoques simbólicos) dicen que dicha mezcla puede capturar mejor los mecanismos de la mente humana. ^{[230] [231]}

Las redes neuronales dependen de la calidad de los datos con los que se entrenan, por lo que los datos de baja calidad con representatividad desequilibrada pueden llevar al modelo a aprender y perpetuar sesgos sociales. ^{[232] [233]} Estos sesgos heredados se vuelven especialmente críticos cuando las ANN se integran en escenarios del mundo real donde los datos de entrenamiento pueden estar desequilibrados debido a la escasez de datos para una raza, género u otro atributo específico. ^[232] Este desequilibrio puede resultar en que el modelo tenga una representación y comprensión inadecuadas de los grupos subrepresentados, lo que lleva a resultados discriminatorios que exacerban las desigualdades sociales, especialmente en aplicaciones como el reconocimiento facial , los procesos de contratación y la aplicación de la ley . ^{[233] [234]} Por ejemplo, en 2018, Amazon tuvo que descartar una herramienta de reclutamiento porque el modelo favorecía a los hombres sobre las mujeres para trabajos en ingeniería de software debido al mayor número de trabajadores masculinos en el campo. ^[234] El programa penalizaría cualquier currículum con la palabra "mujer" o el nombre de cualquier universidad de mujeres. Sin embargo, el uso de datos sintéticos puede ayudar a reducir el sesgo del conjunto de datos y aumentar la representación en los conjuntos de datos. ^[235]

• 
  Red neuronal artificial de una sola capa con retroalimentación positiva. Las flechas que se originan en se omiten para mayor claridad. Hay p entradas en esta red y q salidas. En este sistema, el valor de la q-ésima salida, , se calcula como${\displaystyle \scriptstyle x_{2}}$${\displaystyle y_{q}}$${\displaystyle \scriptstyle y_{q}=K*(\sum _{i}(x_{i}*w_{iq})-b_{q}).}$
• 
  Una red neuronal artificial de dos capas con retroalimentación positiva
• 
  Una red neuronal artificial
• 
  Un gráfico de dependencia de ANN
• 
  Red neuronal artificial de una sola capa con 4 entradas, 6 nodos ocultos y 2 salidas. En función de la posición y la dirección, genera valores de control basados ​​en las ruedas.
• 
  Red neuronal artificial de dos capas con 8 entradas, 2x8 nodos ocultos y 2 salidas. En función de la posición, la dirección y otros valores del entorno, genera valores de control basados ​​en el propulsor.
• 
  Estructura de canalización paralela de la red neuronal CMAC. Este algoritmo de aprendizaje puede converger en un solo paso.

Las redes neuronales artificiales (RNA) han experimentado avances significativos, en particular en su capacidad para modelar sistemas complejos, manejar grandes conjuntos de datos y adaptarse a diversos tipos de aplicaciones. Su evolución en las últimas décadas ha estado marcada por una amplia gama de aplicaciones en campos como el procesamiento de imágenes, el reconocimiento de voz, el procesamiento del lenguaje natural, las finanzas y la medicina. ^{[ cita requerida ]}

En el ámbito del procesamiento de imágenes, las ANN se emplean en tareas como la clasificación de imágenes, el reconocimiento de objetos y la segmentación de imágenes. Por ejemplo, las redes neuronales convolucionales profundas (CNN) han sido importantes en el reconocimiento de dígitos escritos a mano, logrando un rendimiento de vanguardia. ^[236] Esto demuestra la capacidad de las ANN para procesar e interpretar de manera efectiva información visual compleja, lo que conduce a avances en campos que van desde la vigilancia automatizada hasta la imagenología médica. ^[236]

Al modelar las señales de voz, las ANN se utilizan para tareas como la identificación del hablante y la conversión de voz a texto. Las arquitecturas de redes neuronales profundas han introducido mejoras significativas en el reconocimiento continuo de voz de vocabulario amplio, superando a las técnicas tradicionales. ^{[236] [237]} Estos avances han permitido el desarrollo de sistemas activados por voz más precisos y eficientes, mejorando las interfaces de usuario en productos tecnológicos. ^{[ cita requerida ]}

En el procesamiento del lenguaje natural, las ANN se utilizan para tareas como la clasificación de texto, el análisis de sentimientos y la traducción automática. Han permitido el desarrollo de modelos que pueden traducir con precisión entre idiomas, comprender el contexto y el sentimiento en datos textuales y categorizar el texto en función del contenido. ^{[236] [237]} Esto tiene implicaciones para el servicio de atención al cliente automatizado, la moderación de contenido y las tecnologías de comprensión del lenguaje. ^{[ cita requerida ]}

En el campo de los sistemas de control, las ANN se utilizan para modelar sistemas dinámicos para tareas como la identificación de sistemas, el diseño de control y la optimización. Por ejemplo, las redes neuronales de propagación hacia adelante profundas son importantes en las aplicaciones de identificación y control de sistemas. ^{[ cita requerida ]}

Las ANN se utilizan para la predicción del mercado de valores y la calificación crediticia :

• En materia de inversiones, las ANN pueden procesar grandes cantidades de datos financieros, reconocer patrones complejos y pronosticar tendencias del mercado de valores, ayudando a los inversores y gestores de riesgos a tomar decisiones informadas. ^[236]
• En la calificación crediticia, las ANN ofrecen evaluaciones personalizadas de la solvencia crediticia basadas en datos, mejorando la precisión de las predicciones de incumplimiento y automatizando el proceso de préstamo. ^[237]

Las ANN requieren datos de alta calidad y un ajuste cuidadoso, y su naturaleza de "caja negra" puede plantear desafíos en la interpretación. Sin embargo, los avances en curso sugieren que las ANN siguen desempeñando un papel en las finanzas, ofreciendo información valiosa y mejorando las estrategias de gestión de riesgos . ^{[ cita requerida ]}

Las ANN pueden procesar y analizar grandes conjuntos de datos médicos. Mejoran la precisión diagnóstica, especialmente al interpretar imágenes médicas complejas para la detección temprana de enfermedades y al predecir los resultados del paciente para la planificación personalizada del tratamiento. ^[237] En el descubrimiento de fármacos, las ANN aceleran la identificación de posibles candidatos a fármacos y predicen su eficacia y seguridad, lo que reduce significativamente el tiempo y los costos de desarrollo. ^[236] Además, su aplicación en la medicina personalizada y el análisis de datos de atención médica permite terapias a medida y una gestión eficiente de la atención al paciente. ^[237] La ​​investigación en curso tiene como objetivo abordar los desafíos restantes, como la privacidad de los datos y la interpretabilidad de los modelos, así como expandir el alcance de las aplicaciones de las ANN en medicina. ^{[ cita requerida ]}

Las ANN como las redes generativas antagónicas ( GAN ) y los transformadores se utilizan para la creación de contenido en numerosas industrias. ^[238] Esto se debe a que los modelos de aprendizaje profundo pueden aprender el estilo de un artista o músico a partir de enormes conjuntos de datos y generar obras de arte y composiciones musicales completamente nuevas. Por ejemplo, DALL-E es una red neuronal profunda entrenada en 650 millones de pares de imágenes y textos en Internet que puede crear obras de arte basadas en el texto ingresado por el usuario. ^[239] En el campo de la música, los transformadores se utilizan para crear música original para comerciales y documentales a través de empresas como AIVA y Jukedeck . ^[240] En la industria del marketing, los modelos generativos se utilizan para crear anuncios personalizados para los consumidores. ^[238] Además, las principales compañías cinematográficas se están asociando con empresas de tecnología para analizar el éxito financiero de una película, como la asociación entre Warner Bros y la empresa de tecnología Cinelytic establecida en 2020. ^[241] Además, las redes neuronales han encontrado usos en la creación de videojuegos, donde los personajes no jugadores (NPC) pueden tomar decisiones basadas en todos los personajes que están actualmente en el juego. ^[242]