Regularización (matemáticas)

En matemáticas , estadística , finanzas ^[1] y ciencias de la computación , particularmente en aprendizaje automático y problemas inversos , la regularización es un proceso que convierte la respuesta de un problema en una más simple. Se utiliza a menudo para resolver problemas mal planteados o para evitar el sobreajuste . ^[2]

Aunque los procedimientos de regularización se pueden dividir de muchas maneras, la siguiente delimitación es particularmente útil:

• La regularización explícita es la regularización que se produce cuando se añade explícitamente un término al problema de optimización. Estos términos pueden ser valores a priori, penalizaciones o restricciones. La regularización explícita se emplea habitualmente en problemas de optimización mal planteados. El término de regularización, o penalización, impone un coste a la función de optimización para que la solución óptima sea única.
• La regularización implícita es el resto de formas de regularización. Esto incluye, por ejemplo, la detención temprana, el uso de una función de pérdida robusta y el descarte de valores atípicos. La regularización implícita es esencialmente omnipresente en los enfoques de aprendizaje automático modernos, incluido el descenso de gradiente estocástico para el entrenamiento de redes neuronales profundas y los métodos de conjunto (como los bosques aleatorios y los árboles potenciados por gradiente ).

En la regularización explícita, independientemente del problema o modelo, siempre hay un término de datos que corresponde a una probabilidad de la medición y un término de regularización que corresponde a una probabilidad previa. Al combinar ambos usando estadísticas bayesianas, se puede calcular una probabilidad posterior que incluye ambas fuentes de información y, por lo tanto, estabiliza el proceso de estimación. Al intercambiar ambos objetivos, se elige ser más adicto a los datos o imponer la regularización (para evitar el sobreajuste). Existe toda una rama de investigación que se ocupa de todas las regularizaciones posibles. En la práctica, generalmente se prueba una regularización específica y luego se determina la densidad de probabilidad que corresponde a esa regularización para justificar la elección. También puede estar motivada físicamente por el sentido común o la intuición.

En el aprendizaje automático , el término de datos corresponde a los datos de entrenamiento y la regularización es la elección del modelo o modificaciones del algoritmo. Siempre se pretende reducir el error de generalización , es decir, la puntuación de error con el modelo entrenado en el conjunto de evaluación y no con los datos de entrenamiento. ^[3]

Uno de los primeros usos de la regularización es la regularización de Tikhonov (regresión de cresta), relacionada con el método de mínimos cuadrados.

En el aprendizaje automático , un desafío clave es permitir que los modelos predigan con precisión los resultados en datos no vistos, no solo en datos de entrenamiento familiares. La regularización es crucial para abordar el sobreajuste (donde un modelo memoriza detalles de los datos de entrenamiento pero no puede generalizar a nuevos datos) y el subajuste , donde el modelo es demasiado simple para capturar la complejidad de los datos de entrenamiento. Este concepto refleja enseñar a los estudiantes a aplicar conceptos aprendidos a nuevos problemas en lugar de simplemente recordar respuestas memorizadas. ^[4] El objetivo de la regularización es alentar a los modelos a aprender los patrones más amplios dentro de los datos en lugar de memorizarlos. Técnicas como la detención temprana , la regularización L1 y L2 y el abandono están diseñadas para prevenir el sobreajuste y el subajuste, mejorando así la capacidad del modelo para adaptarse y funcionar bien con nuevos datos, mejorando así la generalización del modelo. ^[4]

Detiene el entrenamiento cuando el rendimiento de la validación se deteriora, evitando el sobreajuste al detenerse antes de que el modelo memorice los datos de entrenamiento. ^[4]

Agrega términos de penalización a la función de costo para desalentar modelos complejos:

• La regularización L1 (también llamada LASSO ) genera modelos dispersos al agregar una penalización basada en el valor absoluto de los coeficientes.
• La regularización L2 (también llamada regresión de cresta ) fomenta pesos más pequeños y distribuidos de manera más uniforme al agregar una penalización basada en el cuadrado de los coeficientes. ^[4]

Ignora aleatoriamente un subconjunto de neuronas durante el entrenamiento, simulando el entrenamiento de múltiples arquitecturas de redes neuronales para mejorar la generalización. ^[4]

El aprendizaje empírico de clasificadores (a partir de un conjunto de datos finito) es siempre un problema subdeterminado , porque intenta inferir una función de cualquier ejemplo dado .${\estilo de visualización x}$${\displaystyle x_{1},x_{2},\puntos ,x_{n}}$

Se añade un término de regularización (o regularizador) a una función de pérdida : donde es una función de pérdida subyacente que describe el costo de predecir cuándo la etiqueta es , como la pérdida cuadrada o la pérdida de bisagra ; y es un parámetro que controla la importancia del término de regularización. se elige típicamente para imponer una penalización a la complejidad de . Las nociones concretas de complejidad utilizadas incluyen restricciones para la suavidad y límites en la norma del espacio vectorial . ^{[5] [ página necesaria ]}${\displaystyle R(f)}$$${\displaystyle \min _{f}\sum _{i=1}^{n}V(f(x_{i}),y_{i})+\lambda R(f)}$$${\estilo de visualización V}$${\estilo de visualización f(x)}$${\estilo de visualización y}$${\estilo de visualización \lambda}$${\displaystyle R(f)}$${\estilo de visualización f}$

Una justificación teórica de la regularización es que intenta imponer la navaja de Occam a la solución (como se muestra en la figura anterior, donde la función verde, la más simple, puede ser la preferida). Desde un punto de vista bayesiano , muchas técnicas de regularización corresponden a la imposición de ciertas distribuciones previas a los parámetros del modelo. ^[6]

La regularización puede servir para múltiples propósitos, incluido el aprendizaje de modelos más simples, la inducción de modelos dispersos y la introducción de una estructura de grupo ^{[ aclaración necesaria ]} en el problema de aprendizaje.

La misma idea surgió en muchos campos de la ciencia . Una forma simple de regularización aplicada a ecuaciones integrales ( regularización de Tikhonov ) es esencialmente un equilibrio entre ajustar los datos y reducir una norma de la solución. Más recientemente, los métodos de regularización no lineal, incluida la regularización de variación total , se han vuelto populares.

La regularización puede motivarse como una técnica para mejorar la generalización de un modelo aprendido.

El objetivo de este problema de aprendizaje es encontrar una función que se ajuste o prediga el resultado (etiqueta) que minimice el error esperado sobre todas las entradas y etiquetas posibles. El error esperado de una función es: donde y son los dominios de los datos de entrada y sus etiquetas respectivamente.$Estilo de visualización f_{n}$$${\displaystyle I[f_{n}]=\int _{X\times Y}V(f_{n}(x),y)\rho (x,y)\,dx\,dy}$$${\estilo de visualización X}$${\estilo de visualización Y}$${\estilo de visualización x}$${\estilo de visualización y}$

Por lo general, en los problemas de aprendizaje, solo se dispone de un subconjunto de datos de entrada y etiquetas, medidos con algo de ruido. Por lo tanto, el error esperado no se puede medir y el mejor sustituto disponible es el error empírico sobre las muestras disponibles: sin límites en la complejidad del espacio de funciones (formalmente, el espacio de Hilbert del núcleo de reproducción ) disponible, se aprenderá un modelo que incurra en una pérdida cero en el error empírico sustituto. Si las mediciones (por ejemplo, de ) se realizaron con ruido, este modelo puede sufrir un sobreajuste y mostrar un error esperado deficiente. La regularización introduce una penalización por explorar ciertas regiones del espacio de funciones utilizado para construir el modelo, lo que puede mejorar la generalización.${\estilo de visualización N}$$${\displaystyle I_{S}[f_{n}]={\frac {1}{n}}\sum _{i=1}^{N}V(f_{n}({\hat {x}}_{i}),{\hat {y}}_{i})}$$$Estilo de visualización x_{i}}$

Estas técnicas deben su nombre a Andrey Nikolayevich Tikhonov , quien aplicó la regularización a ecuaciones integrales e hizo importantes contribuciones en muchas otras áreas.

Al aprender una función lineal , caracterizada por un vector desconocido tal que , se puede agregar la norma del vector a la expresión de pérdida para preferir soluciones con normas más pequeñas. La regularización de Tikhonov es una de las formas más comunes. También se conoce como regresión de cresta. Se expresa como: donde representaría muestras utilizadas para el entrenamiento.${\estilo de visualización f}$ ${\estilo de visualización w}$${\displaystyle f(x)=w\cdot x}$$Estilo de visualización L_{2}$${\estilo de visualización w}$$${\displaystyle \min _{w}\sum _{i=1}^{n}V({\hat {x}}_{i}\cdot w,{\hat {y}}_{i})+\lambda \left\|w\right\|_{2}^{2},}$$${\displaystyle ({\hat {x}}_{i},{\hat {y}}_{i}),\,1\leq i\leq n,}$

En el caso de una función general, la norma de la función en su espacio de Hilbert de núcleo reproductor es:$${\displaystyle \min _{f}\sum _{i=1}^{n}V(f({\hat {x}}_{i}),{\hat {y}}_{i})+\lambda \left\|f\right\|_{\mathcal {H}}^{2}}$$

Como la norma es diferenciable , el aprendizaje puede avanzar mediante descenso de gradiente .$Estilo de visualización L_{2}$

El problema de aprendizaje con la función de pérdida de mínimos cuadrados y la regularización de Tikhonov se puede resolver analíticamente. Escrito en forma matricial, el óptimo es aquel para el cual el gradiente de la función de pérdida con respecto a es 0. donde la tercera afirmación es una condición de primer orden .${\estilo de visualización w}$${\estilo de visualización w}$$${\displaystyle \min _{w}{\frac {1}{n}}({\hat {X}}wY\right)^{\mathsf {T}}({\hat {X}}wY\right)+\lambda \left\|w\right\|_{2}^{2}}$$$${\displaystyle \nabla _{w}={\frac {2}{n}}{\hat {X}}^{\mathsf {T}}\left({\hat {X}}wY\right)+2\lambda w}$$$${\displaystyle 0={\hat {X}}^{\mathsf {T}}\left({\hat {X}}wY\right)+n\lambda w}$$$${\displaystyle w=\left({\hat {X}}^{\mathsf {T}}{\hat {X}}+\lambda nI\right)^{-1}\left({\hat {X}}^{\mathsf {T}}Y\right)}$$

Mediante la construcción del problema de optimización, otros valores de dan valores mayores para la función de pérdida. Esto se puede verificar examinando la segunda derivada .${\estilo de visualización w}$ ${\displaystyle \nabla _{ww}}$

Durante el entrenamiento, este algoritmo lleva tiempo . Los términos corresponden a la inversión de la matriz y al cálculo , respectivamente. La prueba lleva tiempo.$Estilo de visualización O(d^{3}+nd^{2})}$ ${\displaystyle X^{\mathsf {T}}X}$${\displaystyle O(nd)}$

La detención temprana puede considerarse como una regularización en el tiempo. De manera intuitiva, un procedimiento de entrenamiento como el descenso de gradiente tiende a aprender funciones cada vez más complejas a medida que aumentan las iteraciones. Al regularizar en el tiempo, se puede controlar la complejidad del modelo, lo que mejora la generalización.

La detención temprana se implementa utilizando un conjunto de datos para el entrenamiento, un conjunto de datos estadísticamente independientes para la validación y otro para las pruebas. El modelo se entrena hasta que el rendimiento en el conjunto de validación ya no mejora y luego se aplica al conjunto de prueba.

Consideremos la aproximación finita de la serie de Neumann para una matriz invertible A donde :${\displaystyle \izquierda\|IA\derecha\|<1}$$${\displaystyle \sum _{i=0}^{T-1}\left(IA\right)^{i}\approx A^{-1}}$$

Esto se puede utilizar para aproximar la solución analítica de mínimos cuadrados no regularizados, si se introduce γ para garantizar que la norma sea menor que uno.$${\displaystyle w_{T}={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}}$$

La solución exacta al problema de aprendizaje de mínimos cuadrados no regularizados minimiza el error empírico, pero puede fallar. Al limitar T , el único parámetro libre en el algoritmo anterior, el problema se regulariza en el tiempo, lo que puede mejorar su generalización.

El algoritmo anterior es equivalente a restringir el número de iteraciones de descenso de gradiente para el riesgo empírico con la actualización del descenso de gradiente:$${\displaystyle I_{s}[w]={\frac {1}{2n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|_{\mathbb {R} ^{n}}^{2}}$$$${\displaystyle {\begin{aligned}w_{0}&=0\\[1ex]w_{t+1}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)w_{t}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}$$

El caso base es trivial. El caso inductivo se demuestra de la siguiente manera:$${\displaystyle {\begin{aligned}w_{T}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right){\frac {\gamma }{n}}\sum _{i=0}^{T-2}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=1}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}$$

Supongamos que se proporciona un diccionario con dimensión tal que una función en el espacio de funciones se puede expresar como:${\displaystyle \phi _{j}}$${\displaystyle p}$$${\displaystyle f(x)=\sum _{j=1}^{p}\phi _{j}(x)w_{j}}$$

La aplicación de una restricción de escasez puede dar lugar a modelos más simples e interpretables. Esto resulta útil en muchas aplicaciones de la vida real, como la biología computacional . Un ejemplo es el desarrollo de una prueba predictiva simple para una enfermedad con el fin de minimizar el costo de realizar pruebas médicas y maximizar el poder predictivo.${\displaystyle w}$

Una restricción de escasez sensata es la norma , definida como el número de elementos distintos de cero en . Sin embargo, se ha demostrado que resolver un problema de aprendizaje regularizado es NP-hard . ^[7]${\displaystyle L_{0}}$ ${\displaystyle \|w\|_{0}}$${\displaystyle w}$${\displaystyle L_{0}}$

La norma (ver también Normas ) se puede utilizar para aproximar la norma óptima mediante relajación convexa. Se puede demostrar que la norma induce escasez. En el caso de los mínimos cuadrados, este problema se conoce como LASSO en estadística y búsqueda de base en procesamiento de señales.${\displaystyle L_{1}}$${\displaystyle L_{0}}$${\displaystyle L_{1}}$$${\displaystyle \min _{w\in \mathbb {R} ^{p}}{\frac {1}{n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|^{2}+\lambda \left\|w\right\|_{1}}$$

${\displaystyle L_{1}}$La regularización puede producir ocasionalmente soluciones no únicas. En la figura se proporciona un ejemplo sencillo cuando el espacio de posibles soluciones se encuentra en una línea de 45 grados. Esto puede ser problemático para ciertas aplicaciones y se supera combinando con la regularización en la regularización de redes elásticas , que adopta la siguiente forma:${\displaystyle L_{1}}$${\displaystyle L_{2}}$$${\displaystyle \min _{w\in \mathbb {R} ^{p}}{\frac {1}{n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|^{2}+\lambda \left(\alpha \left\|w\right\|_{1}+(1-\alpha )\left\|w\right\|_{2}^{2}\right),\alpha \in [0,1]}$$

La regularización de red elástica tiende a tener un efecto de agrupación, donde a las características de entrada correlacionadas se les asignan pesos iguales.

La regularización de red elástica se utiliza comúnmente en la práctica y se implementa en muchas bibliotecas de aprendizaje automático.

Si bien la norma no genera un problema NP-hard, es convexa pero no es estrictamente diferenciable debido al punto de inflexión en x = 0. Los métodos de subgradiente que se basan en la subderivada se pueden utilizar para resolver problemas de aprendizaje regularizado. Sin embargo, se puede lograr una convergencia más rápida mediante métodos proximales.${\displaystyle L_{1}}$${\displaystyle L_{1}}$${\displaystyle L_{1}}$

Para un problema que es convexo, continuo, diferenciable, con gradiente continuo de Lipschitz (como la función de pérdida de mínimos cuadrados), y es convexo, continuo y propio, entonces el método proximal para resolver el problema es el siguiente. Primero defina el operador proximal y luego itere${\displaystyle \min _{w\in H}F(w)+R(w)}$${\displaystyle F}$${\displaystyle R}$$${\displaystyle \operatorname {prox} _{R}(v)=\mathop {\operatorname {argmin} } _{w\in \mathbb {R} ^{D}}\left\{R(w)+{\frac {1}{2}}\left\|w-v\right\|^{2}\right\},}$$$${\displaystyle w_{k+1}=\mathop {\operatorname {prox} } _{\gamma ,R}\left(w_{k}-\gamma \nabla F(w_{k})\right)}$$

El método proximal realiza iterativamente un descenso de gradiente y luego proyecta el resultado nuevamente en el espacio permitido por .${\displaystyle R}$

Cuando es el regularizador L ₁ , el operador proximal es equivalente al operador de umbral suave,${\displaystyle R}$$${\displaystyle S_{\lambda }(v)f(n)={\begin{cases}v_{i}-\lambda ,&{\text{if }}v_{i}>\lambda \\0,&{\text{if }}v_{i}\in [-\lambda ,\lambda ]\\v_{i}+\lambda ,&{\text{if }}v_{i}<-\lambda \end{cases}}}$$

Esto permite un cálculo eficiente.

Los grupos de características se pueden regularizar mediante una restricción de escasez, lo que puede ser útil para expresar cierto conocimiento previo en un problema de optimización.

En el caso de un modelo lineal con grupos conocidos no superpuestos, se puede definir un regularizador: donde$${\displaystyle R(w)=\sum _{g=1}^{G}\left\|w_{g}\right\|_{2},}$$$${\displaystyle \|w_{g}\|_{2}={\sqrt {\sum _{j=1}^{|G_{g}|}\left(w_{g}^{j}\right)^{2}}}}$$

Esto puede verse como la inducción de un regularizador sobre la norma sobre los miembros de cada grupo, seguido por una norma sobre los grupos.${\displaystyle L_{2}}$${\displaystyle L_{1}}$

Esto se puede resolver mediante el método proximal, donde el operador proximal es una función de umbral suave por bloques:

$${\displaystyle \operatorname {prox} \limits _{\lambda ,R,g}(w_{g})={\begin{cases}\left(1-{\dfrac {\lambda }{\left\|w_{g}\right\|_{2}}}\right)w_{g},&{\text{if }}\left\|w_{g}\right\|_{2}>\lambda \\[1ex]0,&{\text{if }}\|w_{g}\|_{2}\leq \lambda \end{cases}}}$$

El algoritmo descrito para la dispersión de grupos sin superposiciones se puede aplicar al caso en que los grupos se superponen, en determinadas situaciones. Esto probablemente dará como resultado algunos grupos con todos los elementos cero y otros grupos con algunos elementos cero y otros distintos de cero.

Si se desea conservar la estructura del grupo, se puede definir un nuevo regularizador:$${\displaystyle R(w)=\inf \left\{\sum _{g=1}^{G}\|w_{g}\|_{2}:w=\sum _{g=1}^{G}{\bar {w}}_{g}\right\}}$$

Para cada , se define como el vector tal que la restricción de al grupo es igual y todas las demás entradas de son cero. El regularizador encuentra la desintegración óptima de en partes. Puede verse como la duplicación de todos los elementos que existen en múltiples grupos. Los problemas de aprendizaje con este regularizador también se pueden resolver con el método proximal con una complicación. El operador proximal no se puede calcular en forma cerrada, pero se puede resolver de manera efectiva de manera iterativa, induciendo una iteración interna dentro de la iteración del método proximal.${\displaystyle w_{g}}$${\displaystyle {\bar {w}}_{g}}$${\displaystyle {\bar {w}}_{g}}$${\displaystyle g}$${\displaystyle w_{g}}$${\displaystyle {\bar {w}}_{g}}$${\displaystyle w}$

Cuando las etiquetas son más caras de recopilar que los ejemplos de entrada, el aprendizaje semisupervisado puede resultar útil. Los regularizadores se han diseñado para guiar a los algoritmos de aprendizaje a aprender modelos que respeten la estructura de las muestras de entrenamiento no supervisadas. Si se proporciona una matriz de pesos simétrica, se puede definir un regularizador:${\displaystyle W}$$${\displaystyle R(f)=\sum _{i,j}w_{ij}\left(f(x_{i})-f(x_{j})\right)^{2}}$$

Si se codifica el resultado de alguna métrica de distancia para los puntos y , es deseable que . Este regularizador captura esta intuición y es equivalente a: donde es la matriz laplaciana del gráfico inducido por .${\displaystyle W_{ij}}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle f(x_{i})\approx f(x_{j})}$$${\displaystyle R(f)={\bar {f}}^{\mathsf {T}}L{\bar {f}}}$$${\displaystyle L=D-W}$${\displaystyle W}$

El problema de optimización se puede resolver analíticamente si se aplica la restricción a todas las muestras supervisadas. Por lo tanto, la parte etiquetada del vector es obvia. La parte no etiquetada de se resuelve mediante: La pseudoinversa se puede tomar porque tiene el mismo rango que .${\displaystyle \min _{f\in \mathbb {R} ^{m}}R(f),m=u+l}$${\displaystyle f(x_{i})=y_{i}}$${\displaystyle f}$${\displaystyle f}$$${\displaystyle \min _{f_{u}\in \mathbb {R} ^{u}}f^{\mathsf {T}}Lf=\min _{f_{u}\in \mathbb {R} ^{u}}\left\{f_{u}^{\mathsf {T}}L_{uu}f_{u}+f_{l}^{\mathsf {T}}L_{lu}f_{u}+f_{u}^{\mathsf {T}}L_{ul}f_{l}\right\}}$$$${\displaystyle \nabla _{f_{u}}=2L_{uu}f_{u}+2L_{ul}Y}$$$${\displaystyle f_{u}=L_{uu}^{\dagger }\left(L_{ul}Y\right)}$$${\displaystyle L_{ul}}$${\displaystyle L_{uu}}$

En el caso del aprendizaje multitarea, se consideran problemas de manera simultánea, cada uno de ellos relacionado de alguna manera. El objetivo es aprender funciones, idealmente aprovechando la fuerza de la relación entre tareas, que tienen poder predictivo. Esto es equivalente a aprender la matriz .${\displaystyle T}$${\displaystyle T}$${\displaystyle W:T\times D}$

$${\displaystyle R(w)=\sum _{i=1}^{D}\left\|W\right\|_{2,1}}$$

Este regularizador define una norma L2 en cada columna y una norma L1 en todas las columnas. Puede resolverse mediante métodos proximales.

$${\displaystyle R(w)=\left\|\sigma (W)\right\|_{1}}$$donde son los valores propios en la descomposición en valores singulares de .${\displaystyle \sigma (W)}$${\displaystyle W}$

$${\displaystyle R(f_{1}\cdots f_{T})=\sum _{t=1}^{T}\left\|f_{t}-{\frac {1}{T}}\sum _{s=1}^{T}f_{s}\right\|_{H_{k}}^{2}}$$

Este regularizador restringe las funciones aprendidas para cada tarea para que sean similares al promedio general de las funciones en todas las tareas. Esto es útil para expresar información previa que se espera que cada tarea comparta con las demás. Un ejemplo es predecir los niveles de hierro en sangre medidos en diferentes momentos del día, donde cada tarea representa a un individuo.

$${\displaystyle R(f_{1}\cdots f_{T})=\sum _{r=1}^{C}\sum _{t\in I(r)}\left\|f_{t}-{\frac {1}{I(r)}}\sum _{s\in I(r)}f_{s}\right\|_{H_{k}}^{2}}$$donde es un grupo de tareas.${\displaystyle I(r)}$

Este regularizador es similar al regularizador con restricción de media, pero en cambio impone similitud entre tareas dentro del mismo grupo. Esto puede capturar información previa más compleja. Esta técnica se ha utilizado para predecir recomendaciones de Netflix . Un grupo correspondería a un grupo de personas que comparten preferencias similares.

De manera más general que lo anterior, la similitud entre tareas se puede definir mediante una función. El regularizador estimula al modelo a aprender funciones similares para tareas similares para una matriz de similitud simétrica dada .$${\displaystyle R(f_{1}\cdots f_{T})=\sum _{t,s=1,t\neq s}^{\mathsf {T}}\left\|f_{t}-f_{s}\right\|^{2}M_{ts}}$$ ${\displaystyle M}$

Los métodos de aprendizaje bayesiano utilizan una probabilidad previa que (normalmente) otorga una probabilidad menor a los modelos más complejos. Las técnicas de selección de modelos conocidas incluyen el criterio de información de Akaike (AIC), la longitud mínima de descripción (MDL) y el criterio de información bayesiano (BIC). Los métodos alternativos para controlar el sobreajuste que no implican regularización incluyen la validación cruzada .

Ejemplos de aplicaciones de diferentes métodos de regularización al modelo lineal son:

Modelo	Medida de ajuste	Medida de entropía [5] [8]
Código AIC / BIC	${\displaystyle \left\|Y-X\beta \right\|_{2}}$	${\displaystyle \left\|\beta \right\|_{0}}$
Lazo [9]	${\displaystyle \left\|Y-X\beta \right\|_{2}}$	${\displaystyle \left\|\beta \right\|_{1}}$
Regresión de cresta [10]	${\displaystyle \left\|Y-X\beta \right\|_{2}}$	${\displaystyle \left\|\beta \right\|_{2}}$
Búsqueda básica de eliminación de ruido	${\displaystyle \left\|Y-X\beta \right\|_{2}}$	${\displaystyle \lambda \left\|\beta \right\|_{1}}$
Modelo Rudin-Osher-Fatemi (TV)	${\displaystyle \left\|Y-X\beta \right\|_{2}}$	${\displaystyle \lambda \left\|\nabla \beta \right\|_{1}}$
Modelo de Potts	${\displaystyle \left\|Y-X\beta \right\|_{2}}$	${\displaystyle \lambda \left\|\nabla \beta \right\|_{0}}$
RLAD [11]	${\displaystyle \left\|Y-X\beta \right\|_{1}}$	${\displaystyle \left\|\beta \right\|_{1}}$
Selector de Dantzig [12]	${\displaystyle \left\|X^{\mathsf {T}}(Y-X\beta )\right\|_{\infty }}$	${\displaystyle \left\|\beta \right\|_{1}}$
PENDIENTE [13]	${\displaystyle \left\|Y-X\beta \right\|_{2}}$	${\displaystyle \sum _{i=1}^{p}\lambda _{i}\left|\beta \right|_{(i)}}$

• Interpretación bayesiana de la regularización
• Relación entre sesgo y varianza
• Regularización de matrices
• Regularización por filtrado espectral
• Mínimos cuadrados regularizados
• Multiplicador de Lagrange

• Neumaier, A. (1998). "Resolución de sistemas lineales singulares y mal condicionados: un tutorial sobre regularización" (PDF) . SIAM Review . 40 (3): 636–666. Bibcode :1998SIAMR..40..636N. doi :10.1137/S0036144597321909.