Aprendizaje curricular

El aprendizaje curricular es una técnica de aprendizaje automático en la que se entrena un modelo con ejemplos de dificultad creciente, donde la definición de "dificultad" puede proporcionarse externamente o descubrirse automáticamente como parte del proceso de entrenamiento. Esto tiene como objetivo lograr un buen desempeño más rápidamente o converger a un mejor óptimo local si no se encuentra el óptimo global . ^{[1] [2]}

En términos generales, el aprendizaje curricular es la técnica de aumentar sucesivamente la dificultad de los ejemplos en el conjunto de entrenamiento que se presenta a un modelo a lo largo de múltiples iteraciones de entrenamiento. Esto puede producir mejores resultados que exponer el modelo al conjunto de entrenamiento completo inmediatamente en algunas circunstancias; más típicamente, cuando el modelo es capaz de aprender principios generales a partir de ejemplos más fáciles y luego incorporar gradualmente información más compleja y matizada a medida que se introducen ejemplos más difíciles, como casos extremos . Se ha demostrado que esto funciona en muchos dominios, muy probablemente como una forma de regularización . ^[3]

Existen varias variaciones importantes en cómo se aplica la técnica:

• Se debe definir un concepto de "dificultad". Este puede provenir de una anotación humana ^{[4] [5]} o de una heurística externa ; por ejemplo, en el modelado del lenguaje , las oraciones más cortas pueden clasificarse como más fáciles que las más largas. ^[6] Otro enfoque es utilizar el rendimiento de otro modelo, y clasificar como más fáciles los ejemplos predichos con precisión por ese modelo (lo que proporciona una conexión con el refuerzo ).
• La dificultad puede aumentarse de forma constante ^[7] o en épocas distintas ^[8], y en un cronograma determinista o de acuerdo con una distribución de probabilidad . Esto también puede moderarse mediante un requisito de diversidad en cada etapa, en casos en los que es probable que los ejemplos más fáciles sean desproporcionadamente similares entre sí. ^[9]
• Las aplicaciones también deben decidir el cronograma para aumentar la dificultad. Los enfoques simples pueden utilizar un cronograma fijo, como entrenar con ejemplos fáciles durante la mitad de las iteraciones disponibles y luego todos los ejemplos durante la segunda mitad. ^[3] Otros enfoques utilizan el aprendizaje a su propio ritmo para aumentar la dificultad en proporción al desempeño del modelo en el conjunto actual. ^[10]

Dado que el aprendizaje curricular solo se refiere a la selección y ordenación de los datos de entrenamiento, se puede combinar con muchas otras técnicas de aprendizaje automático. El éxito del método supone que un modelo entrenado para una versión más fácil del problema puede generalizarse a versiones más difíciles, por lo que puede verse como una forma de aprendizaje por transferencia . Algunos autores también consideran que el aprendizaje curricular incluye otras formas de complejidad progresivamente creciente, como el aumento del número de parámetros del modelo. ^[11] Con frecuencia se combina con el aprendizaje de refuerzo , como aprender primero una versión simplificada de un juego. ^[12]

Algunos dominios han demostrado tener éxito con el aprendizaje anticurricular : primero se entrena con los ejemplos más difíciles. Un ejemplo es el método ACCAN para el reconocimiento de voz , que primero se entrena con los ejemplos con la menor relación señal-ruido . ^[13]

El término "aprendizaje curricular" fue introducido por Yoshua Bengio et al en 2009, ^[14] con referencia a la técnica psicológica de modelado en animales y educación estructurada para humanos: comenzar con los conceptos más simples y luego construir sobre ellos. Los autores también señalan que la aplicación de esta técnica en el aprendizaje automático tiene sus raíces en el estudio temprano de las redes neuronales como el artículo de Jeffrey Elman de 1993 Aprendizaje y desarrollo en redes neuronales: la importancia de comenzar de a poco . ^[15] Bengio et al mostraron buenos resultados para problemas en la clasificación de imágenes , como la identificación de formas geométricas con formas progresivamente más complejas, y el modelado del lenguaje , como el entrenamiento con un vocabulario que se expande gradualmente . Concluyen que, para las estrategias curriculares, "su efecto beneficioso es más pronunciado en el conjunto de prueba", lo que sugiere una buena generalización.

Desde entonces, la técnica se ha aplicado a muchos otros ámbitos:

• Procesamiento del lenguaje natural :
  • Etiquetado de partes del discurso ^[16]
  • Detección de intenciones ^[17]
  • Análisis de sentimientos ^[18]
  • Traducción automática ^{[19] [20]}
  • Reconocimiento de voz ^[21]
• Reconocimiento de imágenes :
  • Reconocimiento facial ^[22]
  • Detección de objetos ^[23]
• Aprendizaje por refuerzo :
  • Juego ^[24]
• Aprendizaje de gráficos ^{[25] [26]}
• Factorización de matrices ^[27]

• Aprendizaje curricular: una encuesta
• Una encuesta sobre el aprendizaje curricular
• Aprendizaje curricular para dominios de aprendizaje de refuerzo: marco y estudio
• Aprendizaje curricular en IEEE Xplore