Regresión de cresta

La regresión de cresta es un método para estimar los coeficientes de modelos de regresión múltiple en escenarios donde las variables independientes están altamente correlacionadas. ^[1] Se ha utilizado en muchos campos, incluidos la econometría, la química y la ingeniería. ^[2] También conocida como regularización de Tikhonov , llamada así por Andrey Tikhonov , es un método de regularización de problemas mal planteados . ^[a] Es particularmente útil para mitigar el problema de la multicolinealidad en la regresión lineal , que ocurre comúnmente en modelos con un gran número de parámetros. ^[3] En general, el método proporciona una eficiencia mejorada en los problemas de estimación de parámetros a cambio de una cantidad tolerable de sesgo (ver compensación sesgo-varianza ). ^[4]

La teoría fue introducida por primera vez por Hoerl y Kennard en 1970 en sus artículos de Technometrics "Ridge regressions: biased estimation of nonorthogonal problems" y "Ridge regressions: applications in nonorthogonal problems". ^{[5] [6] [1]} Este fue el resultado de diez años de investigación en el campo del análisis de crestas. ^[7]

La regresión de cresta se desarrolló como una posible solución a la imprecisión de los estimadores de mínimos cuadrados cuando los modelos de regresión lineal tienen algunas variables independientes multicolineales (altamente correlacionadas), mediante la creación de un estimador de regresión de cresta (RR). Esto proporciona una estimación más precisa de los parámetros de cresta, ya que su varianza y estimador cuadrático medio suelen ser más pequeños que los estimadores de mínimos cuadrados derivados previamente. ^{[8] [2]}

En el caso más simple, el problema de una matriz de momento casi singular se alivia añadiendo elementos positivos a las diagonales , disminuyendo así su número de condición . De forma análoga al estimador de mínimos cuadrados ordinarios , el estimador de cresta simple viene dado por donde es el regresado , es la matriz de diseño , es la matriz identidad , y el parámetro de cresta sirve como la constante que desplaza las diagonales de la matriz de momento. ^[9] Se puede demostrar que este estimador es la solución al problema de mínimos cuadrados sujeto a la restricción , que se puede expresar como un lagrangiano: lo que demuestra que no es más que el multiplicador de Lagrange de la restricción. ^[10] Normalmente, se elige según un criterio heurístico, de modo que la restricción no se satisfaga exactamente. Específicamente en el caso de , en el que la restricción no es vinculante , el estimador de cresta se reduce a mínimos cuadrados ordinarios . A continuación se analiza un enfoque más general para la regularización de Tikhonov. ${\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {X} }$$${\displaystyle {\hat {\beta }}_{R}=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} \right)^{ -1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }$$${\displaystyle \mathbf {y}}$${\displaystyle \mathbf {X}}$${\displaystyle \mathbf {yo}}$${\displaystyle \lambda \geq 0}$ ${\displaystyle \beta ^{\mathsf {T}}\beta = c}$$${\displaystyle \min _{\beta }\,\left(\mathbf {y} -\mathbf {X} \beta \right)^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} \beta \right)+\lambda \left(\beta ^{\mathsf {T}}\beta -c\right)}$$${\estilo de visualización \lambda}$${\estilo de visualización \lambda}$${\displaystyle \lambda = 0}$

La regularización de Tikhonov se inventó de forma independiente en muchos contextos diferentes. Se hizo ampliamente conocida a través de su aplicación a ecuaciones integrales en los trabajos de Andrey Tikhonov ^{[11] [12] [13] [14] [15]} y David L. Phillips. ^[16] Algunos autores utilizan el término regularización de Tikhonov-Phillips . El caso de dimensión finita fue expuesto por Arthur E. Hoerl, quien adoptó un enfoque estadístico, ^[17] y por Manus Foster, quien interpretó este método como un filtro de Wiener-Kolmogorov (Kriging) . ^[18] Siguiendo a Hoerl, se conoce en la literatura estadística como regresión de cresta, ^[19] llamada así por el análisis de cresta ("cresta" se refiere a la trayectoria desde el máximo restringido). ^[20]

Supongamos que para una matriz y un vector reales conocidos , deseamos encontrar un vector tal que y puedan tener diferentes tamaños y no ser cuadrados.${\estilo de visualización A}$${\displaystyle \mathbf {b}}$${\displaystyle \mathbf {x}}$$${\displaystyle A\mathbf {x} =\mathbf {b},}$$${\displaystyle \mathbf {x}}$${\displaystyle \mathbf {b}}$${\estilo de visualización A}$

El enfoque estándar es la regresión lineal de mínimos cuadrados ordinarios . ^{[ aclaración necesaria ]} Sin embargo, si no satisface la ecuación o más de uno lo hace, es decir, la solución no es única, se dice que el problema está mal planteado . En tales casos, la estimación de mínimos cuadrados ordinarios conduce a un sistema de ecuaciones sobredeterminado o, más a menudo, subdeterminado . La mayoría de los fenómenos del mundo real tienen el efecto de filtros de paso bajo ^{[ aclaración necesaria ]} en la dirección hacia adelante donde se asigna a . Por lo tanto, al resolver el problema inverso, la asignación inversa opera como un filtro de paso alto que tiene la tendencia indeseable de amplificar el ruido ( los valores propios / valores singulares son más grandes en la asignación inversa donde eran más pequeños en la asignación hacia adelante). Además, los mínimos cuadrados ordinarios anulan implícitamente cada elemento de la versión reconstruida de que está en el espacio nulo de , en lugar de permitir que se use un modelo como anterior para . Los mínimos cuadrados ordinarios buscan minimizar la suma de los residuos cuadrados , lo que puede escribirse de forma compacta como donde es la norma euclidiana .${\displaystyle \mathbf {x}}$${\displaystyle \mathbf {x}}$${\estilo de visualización A}$${\displaystyle \mathbf {x}}$${\displaystyle \mathbf {b}}$${\displaystyle \mathbf {x}}$${\estilo de visualización A}$${\displaystyle \mathbf {x}}$$${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2},}$$${\displaystyle \|\cdot \|_{2}}$

Para dar preferencia a una solución particular con propiedades deseables, se puede incluir un término de regularización en esta minimización: para alguna matriz de Tikhonov adecuadamente elegida . En muchos casos, esta matriz se elige como un múltiplo escalar de la matriz identidad ( ), dando preferencia a soluciones con normas más pequeñas ; esto se conoce como regularización L ₂ . ^[21] En otros casos, se pueden usar operadores de paso alto (por ejemplo, un operador de diferencia o un operador de Fourier ponderado ) para imponer suavidad si se cree que el vector subyacente es mayoritariamente continuo. Esta regularización mejora el condicionamiento del problema, lo que permite una solución numérica directa. Una solución explícita, denotada por , viene dada por El efecto de la regularización puede variar según la escala de la matriz . Para esto se reduce a la solución de mínimos cuadrados no regularizada, siempre que exista ( A ^T A ) ⁻¹ . Nótese que en el caso de una matriz compleja , como es habitual, la transpuesta debe reemplazarse por la matriz hermítica .$${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2}+\left\|\Gamma \mathbf {x} \right\|_{2 }^{2}}$$ ${\estilo de visualización \Gamma}$${\displaystyle \Gamma =\alfa I}$${\displaystyle {\hat {x}}}$$${\displaystyle {\hat {x}}=\left(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma \right)^{-1}A^{\mathsf {T}}\mathbf {b} .}$$${\displaystyle \Gamma }$${\displaystyle \Gamma =0}$ ${\displaystyle A}$${\displaystyle A^{\mathsf {T}}}$ ${\displaystyle A^{\mathsf {H}}}$

_{La regularización} L2 se utiliza en muchos contextos además de la regresión lineal, como la clasificación con regresión logística o máquinas de vectores de soporte ^[22] y la factorización matricial. ^[23 ]

Dado que la regularización de Tikhonov simplemente agrega un término cuadrático a la función objetivo en los problemas de optimización, es posible hacerlo después de que se haya realizado la optimización no regularizada. Por ejemplo, si el problema anterior con produce la solución , la solución en presencia de se puede expresar como: con la "matriz de regularización" .${\displaystyle \Gamma =0}$${\displaystyle {\hat {x}}_{0}}$${\displaystyle \Gamma \neq 0}$$${\displaystyle {\hat {x}}=B{\hat {x}}_{0},}$$${\displaystyle B=\left(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma \right)^{-1}A^{\mathsf {T}}A}$

Si el ajuste del parámetro viene con una matriz de covarianza de las incertidumbres estimadas de los parámetros , entonces la matriz de regularización será y el resultado regularizado tendrá una nueva covarianza.${\displaystyle V_{0}}$$${\displaystyle B=(V_{0}^{-1}+\Gamma ^{\mathsf {T}}\Gamma )^{-1}V_{0}^{-1},}$$$${\displaystyle V=BV_{0}B^{\mathsf {T}}.}$$

En el contexto de ajustes de probabilidad arbitrarios, esto es válido siempre que la aproximación cuadrática de la función de probabilidad sea válida. Esto significa que, siempre que la perturbación del resultado no regularizado sea pequeña, se puede regularizar cualquier resultado que se presente como un punto de mejor ajuste con una matriz de covarianza. No se necesita un conocimiento detallado de la función de probabilidad subyacente. ^[24]

Para distribuciones normales multivariadas generales para y el error de datos, se puede aplicar una transformación de las variables para reducir al caso anterior. De manera equivalente, se puede buscar un para minimizar donde hemos usado para representar la norma ponderada al cuadrado (comparar con la distancia de Mahalanobis ). En la interpretación bayesiana es la matriz de covarianza inversa de , es el valor esperado de , y es la matriz de covarianza inversa de . La matriz de Tikhonov se da entonces como una factorización de la matriz (por ejemplo, la factorización de Cholesky ) y se considera un filtro blanqueador .${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {x} }$$${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{P}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2},}$$${\displaystyle \left\|\mathbf {x} \right\|_{Q}^{2}}$${\displaystyle \mathbf {x} ^{\mathsf {T}}Q\mathbf {x} }$${\displaystyle P}$${\displaystyle \mathbf {b} }$${\displaystyle \mathbf {x} _{0}}$${\displaystyle \mathbf {x} }$${\displaystyle Q}$${\displaystyle \mathbf {x} }$${\displaystyle Q=\Gamma ^{\mathsf {T}}\Gamma }$

Este problema generalizado tiene una solución óptima que puede escribirse explícitamente utilizando la fórmula o de manera equivalente, cuando Q no es una matriz nula:${\displaystyle \mathbf {x} ^{*}}$$${\displaystyle \mathbf {x} ^{*}=\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\mathbf {b} +Q\mathbf {x} _{0}\right),}$$$${\displaystyle \mathbf {x} ^{*}=\mathbf {x} _{0}+\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\left(\mathbf {b} -A\mathbf {x} _{0}\right)\right).}$$

En algunas situaciones, se puede evitar el uso de la transpuesta , como lo propuso Mikhail Lavrentyev . ^[25] Por ejemplo, si es definida positiva simétrica, es decir , también lo es su inversa , que puede usarse para establecer la norma ponderada al cuadrado en la regularización generalizada de Tikhonov, lo que lleva a minimizar o, equivalentemente hasta un término constante,${\displaystyle A^{\mathsf {T}}}$${\displaystyle A}$${\displaystyle A=A^{\mathsf {T}}>0}$${\displaystyle A^{-1}}$${\displaystyle \left\|\mathbf {x} \right\|_{P}^{2}=\mathbf {x} ^{\mathsf {T}}A^{-1}\mathbf {x} }$$${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{A^{-1}}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2}}$$$${\displaystyle \mathbf {x} ^{\mathsf {T}}\left(A+Q\right)\mathbf {x} -2\mathbf {x} ^{\mathsf {T}}\left(\mathbf {b} +Q\mathbf {x} _{0}\right).}$$

Este problema de minimización tiene una solución óptima que puede escribirse explícitamente usando la fórmula que no es otra cosa que la solución del problema generalizado de Tikhonov donde${\displaystyle \mathbf {x} ^{*}}$$${\displaystyle \mathbf {x} ^{*}=\left(A+Q\right)^{-1}\left(\mathbf {b} +Q\mathbf {x} _{0}\right),}$$${\displaystyle A=A^{\mathsf {T}}=P^{-1}.}$

La regularización de Lavrentyev, si es aplicable, es ventajosa con respecto a la regularización original de Tikhonov, ya que la matriz de Lavrentyev puede estar mejor condicionada, es decir, tener un número de condición más pequeño , en comparación con la matriz de Tikhonov.${\displaystyle A+Q}$${\displaystyle A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma .}$

Los problemas lineales discretos mal condicionados son típicamente el resultado de la discretización de ecuaciones integrales , y se puede formular una regularización de Tikhonov en el contexto original de dimensión infinita. En lo anterior podemos interpretar como un operador compacto en espacios de Hilbert , y y como elementos en el dominio y rango de . El operador es entonces un operador invertible autoadjunto y acotado.${\displaystyle A}$${\displaystyle x}$${\displaystyle b}$${\displaystyle A}$${\displaystyle A^{*}A+\Gamma ^{\mathsf {T}}\Gamma }$

Con , esta solución de mínimos cuadrados se puede analizar de una manera especial utilizando la descomposición en valores singulares . Dada la descomposición en valores singulares con valores singulares , la solución regularizada de Tikhonov se puede expresar como donde tiene valores diagonales y es cero en el resto del problema regularizado. Esto demuestra el efecto del parámetro de Tikhonov en el número de condición del problema regularizado. Para el caso generalizado, se puede derivar una representación similar utilizando una descomposición en valores singulares generalizada . ^[26]${\displaystyle \Gamma =\alpha I}$$${\displaystyle A=U\Sigma V^{\mathsf {T}}}$$${\displaystyle \sigma _{i}}$$${\displaystyle {\hat {x}}=VDU^{\mathsf {T}}b,}$$${\displaystyle D}$$${\displaystyle D_{ii}={\frac {\sigma _{i}}{\sigma _{i}^{2}+\alpha ^{2}}}}$$

Por último, está relacionado con el filtro de Wiener : donde los pesos de Wiener son y es el rango de .$${\displaystyle {\hat {x}}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\mathsf {T}}b}{\sigma _{i}}}v_{i},}$$${\displaystyle f_{i}={\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}}$${\displaystyle q}$${\displaystyle A}$

El parámetro de regularización óptimo suele ser desconocido y, a menudo, en problemas prácticos se determina mediante un método ad hoc . Un enfoque posible se basa en la interpretación bayesiana que se describe a continuación. Otros enfoques incluyen el principio de discrepancia, la validación cruzada , el método de la curva L, ^[27] la máxima verosimilitud restringida y el estimador de riesgo predictivo imparcial. Grace Wahba demostró que el parámetro óptimo, en el sentido de la validación cruzada de dejar uno fuera, minimiza ^{[28] [29]} donde es la suma residual de los cuadrados y es el número efectivo de grados de libertad .${\displaystyle \alpha }$ $${\displaystyle G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\left\|X{\hat {\beta }}-y\right\|^{2}}{\left[\operatorname {Tr} \left(I-X\left(X^{\mathsf {T}}X+\alpha ^{2}I\right)^{-1}X^{\mathsf {T}}\right)\right]^{2}}},}$$${\displaystyle \operatorname {RSS} }$${\displaystyle \tau }$

Usando la descomposición SVD anterior, podemos simplificar la expresión anterior: y$${\displaystyle \operatorname {RSS} =\left\|y-\sum _{i=1}^{q}(u_{i}'b)u_{i}\right\|^{2}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},}$$$${\displaystyle \operatorname {RSS} =\operatorname {RSS} _{0}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},}$$$${\displaystyle \tau =m-\sum _{i=1}^{q}{\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}=m-q+\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}.}$$

La formulación probabilística de un problema inverso introduce (cuando todas las incertidumbres son gaussianas) una matriz de covarianza que representa las incertidumbres a priori de los parámetros del modelo, y una matriz de covarianza que representa las incertidumbres de los parámetros observados. ^[30] En el caso especial en que estas dos matrices son diagonales e isótropas, y , y, en este caso, las ecuaciones de la teoría inversa se reducen a las ecuaciones anteriores, con .${\displaystyle C_{M}}$${\displaystyle C_{D}}$${\displaystyle C_{M}=\sigma _{M}^{2}I}$${\displaystyle C_{D}=\sigma _{D}^{2}I}$${\displaystyle \alpha ={\sigma _{D}}/{\sigma _{M}}}$

Aunque a primera vista la elección de la solución a este problema regularizado puede parecer artificial, y de hecho la matriz parece bastante arbitraria, el proceso puede justificarse desde un punto de vista bayesiano . ^[31] Nótese que para un problema mal planteado uno debe necesariamente introducir algunos supuestos adicionales para obtener una solución única. Estadísticamente, la distribución de probabilidad previa de a veces se toma como una distribución normal multivariante . Para simplificar aquí, se hacen los siguientes supuestos: las medias son cero; sus componentes son independientes; los componentes tienen la misma desviación estándar . Los datos también están sujetos a errores, y los errores en también se supone que son independientes con media y desviación estándar cero . Bajo estos supuestos la solución regularizada por Tikhonov es la solución más probable dados los datos y la distribución a priori de , según el teorema de Bayes . ^[32]${\displaystyle \Gamma }$${\displaystyle x}$ ${\displaystyle \sigma _{x}}$${\displaystyle b}$${\displaystyle \sigma _{b}}$${\displaystyle x}$

Si el supuesto de normalidad se reemplaza por supuestos de homocedasticidad y falta de correlación de errores , y si uno todavía asume una media cero, entonces el teorema de Gauss-Markov implica que la solución es el estimador lineal insesgado mínimo . ^[33]

• El estimador LASSO es otro método de regularización en estadística.
• Regularización de red elástica
• Regularización de matrices

• Gruber, Marvin (1998). Mejora de la eficiencia mediante la contracción: los estimadores de regresión de James-Stein y Ridge. Boca Raton: CRC Press. ISBN 0-8247-0156-9.
• Kress, Rainer (1998). "Regularización de Tikhonov". Análisis numérico . Nueva York: Springer. pp. 86–90. ISBN 0-387-98408-9.
• Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007). "Sección 19.5. Métodos de regularización lineal". Recetas numéricas: el arte de la computación científica (3.ª ed.). Nueva York: Cambridge University Press. ISBN 978-0-521-88068-8.
• Saleh, AK Md. Ehsanes; Arashi, Mohammad; Kibria, BM Golam (2019). Teoría de la estimación de regresión de cresta con aplicaciones. Nueva York: John Wiley & Sons. ISBN 978-1-118-64461-4.
• Taddy, Matt (2019). "Regularización". Ciencia de datos empresariales: combinación de aprendizaje automático y economía para optimizar, automatizar y acelerar las decisiones empresariales . Nueva York: McGraw-Hill. págs. 69–104. ISBN 978-1-260-45277-8.