Mínimos cuadrados generalizados

En estadística , los mínimos cuadrados generalizados (GLS) son un método utilizado para estimar los parámetros desconocidos en un modelo de regresión lineal . Se utiliza cuando hay una cantidad distinta de cero de correlación entre los residuos en el modelo de regresión. Los GLS se emplean para mejorar la eficiencia estadística y reducir el riesgo de extraer inferencias erróneas, en comparación con los métodos de mínimos cuadrados convencionales y mínimos cuadrados ponderados . Fue descrito por primera vez por Alexander Aitken en 1935. ^[1]

Requiere el conocimiento de la matriz de covarianza de los residuos. Si no se conoce, la estimación de la matriz de covarianza proporciona el método de mínimos cuadrados generalizados factibles (FGLS). Sin embargo, FGLS ofrece menos garantías de mejora.

En los modelos de regresión lineal estándar , se observan datos en n unidades estadísticas con k  − 1 valores predictores y un valor de respuesta cada uno. ${\displaystyle \{y_{i},x_{ij}\}_{i=1,\dots ,n,j=2,\dots ,k}}$

Los valores de respuesta se colocan en un vector y los valores predictores se colocan en la matriz de diseño , donde cada fila es un vector de las variables predictoras (incluida una constante) para el punto de datos.$${\displaystyle \mathbf {y} \equiv {\begin{pmatrix}y_{1}\\\vdots \\y_{n}\end{pmatrix}},}$$$${\displaystyle \mathbf {X} \equiv {\begin{pmatrix}1&x_{12}&x_{13}&\cdots &x_{1k}\\1&x_{22}&x_{23}&\cdots &x_{2k}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n2}&x_{n3}&\cdots &x_{nk}\end{pmatrix}},}$$${\displaystyle k}$${\displaystyle i}$

El modelo supone que la media condicional de dado es una función lineal de y que la varianza condicional del término de error dado es una matriz de covarianza no singular conocida , . Es decir, donde es un vector de constantes desconocidas, llamadas "coeficientes de regresión", que se estiman a partir de los datos.${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {\Omega } }$$${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\quad \operatorname {E} [{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=0,\quad \operatorname {Cov} [{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\boldsymbol {\Omega }},}$$${\displaystyle {\boldsymbol {\beta }}\in \mathbb {R} ^{k}}$

Si es una estimación candidata para , entonces el vector residual para es . El método de mínimos cuadrados generalizados estima minimizando la longitud de Mahalanobis al cuadrado de este vector residual: que es equivalente a que es un problema de programación cuadrática . El punto estacionario de la función objetivo ocurre cuando por lo que el estimador es La cantidad se conoce como matriz de precisión (o matriz de dispersión ), una generalización de la matriz de ponderación diagonal .${\displaystyle \mathbf {b} }$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \mathbf {b} }$${\displaystyle \mathbf {y} -\mathbf {X} \mathbf {b} }$${\displaystyle {\boldsymbol {\beta }}}$$${\displaystyle {\begin{aligned}{\hat {\boldsymbol {\beta }}}&={\underset {\mathbf {b} }{\operatorname {argmin} }}\,(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} )\\&={\underset {\mathbf {b} }{\operatorname {argmin} }}\,\mathbf {y} ^{\mathrm {T} }\,\mathbf {\Omega } ^{-1}\mathbf {y} +(\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -\mathbf {y} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -(\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} \,,\end{aligned}}}$$$${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\mathbf {b} }{\operatorname {argmin} }}\,\mathbf {y} ^{\mathrm {T} }\,\mathbf {\Omega } ^{-1}\mathbf {y} +\mathbf {b} ^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -2\mathbf {b} ^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} ,}$$$${\displaystyle 2\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} {\mathbf {b} }-2\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} =0,}$$$${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} .}$$${\displaystyle \mathbf {\Omega } ^{-1}}$

El estimador GLS es insesgado , consistente , eficiente y asintóticamente normal , y GLS es equivalente a aplicar mínimos cuadrados ordinarios (MCO) a una versión transformada linealmente de los datos. Esto se puede ver al factorizar utilizando un método como la descomposición de Cholesky . Al multiplicar por la izquierda ambos lados de por se obtiene un modelo lineal equivalente: En este modelo, , donde es la matriz identidad . Luego, se puede estimar de manera eficiente al aplicar MCO a los datos transformados, lo que requiere minimizar el objetivo, Esta transformación estandariza de manera efectiva la escala de y descorrelaciona los errores. Cuando se utiliza MCO en datos con errores homocedásticos , se aplica el teorema de Gauss-Markov , por lo que la estimación GLS es el mejor estimador lineal insesgado para .$${\displaystyle \operatorname {E} [{\hat {\boldsymbol {\beta }}}\mid \mathbf {X} ]={\boldsymbol {\beta }},\quad {\text{and}}\quad \operatorname {Cov} [{\hat {\boldsymbol {\beta }}}\mid \mathbf {X} ]=(\mathbf {X} ^{\mathrm {T} }{\boldsymbol {\Omega }}^{-1}\mathbf {X} )^{-1}.}$$${\displaystyle \mathbf {\Omega } =\mathbf {C} \mathbf {C} ^{\mathrm {T} }}$${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$${\displaystyle \mathbf {C} ^{-1}}$$${\displaystyle \mathbf {y} ^{*}=\mathbf {X} ^{*}{\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}^{*},\quad {\text{where}}\quad \mathbf {y} ^{*}=\mathbf {C} ^{-1}\mathbf {y} ,\quad \mathbf {X} ^{*}=\mathbf {C} ^{-1}\mathbf {X} ,\quad {\boldsymbol {\varepsilon }}^{*}=\mathbf {C} ^{-1}{\boldsymbol {\varepsilon }}.}$$${\displaystyle \operatorname {Var} [{\boldsymbol {\varepsilon }}^{*}\mid \mathbf {X} ]=\mathbf {C} ^{-1}\mathbf {\Omega } \left(\mathbf {C} ^{-1}\right)^{\mathrm {T} }=\mathbf {I} }$${\displaystyle \mathbf {I} }$${\displaystyle {\boldsymbol {\beta }}}$$${\displaystyle \left(\mathbf {y} ^{*}-\mathbf {X} ^{*}{\boldsymbol {\beta }}\right)^{\mathrm {T} }(\mathbf {y} ^{*}-\mathbf {X} ^{*}{\boldsymbol {\beta }})=(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\mathrm {T} }\,\mathbf {\Omega } ^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} ).}$$${\displaystyle {\boldsymbol {\beta }}}$

Un caso especial de GLS, llamado mínimos cuadrados ponderados (WLS), ocurre cuando todas las entradas fuera de la diagonal de Ω son 0. Esta situación surge cuando las varianzas de los valores observados son desiguales o cuando hay heterocedasticidad , pero no existen correlaciones entre las varianzas observadas. El peso para la unidad i es proporcional al recíproco de la varianza de la respuesta para la unidad i . ^[2]

Los mínimos cuadrados ordinarios se pueden interpretar como una estimación de máxima verosimilitud con la previa de que los errores son independientes y se distribuyen normalmente con media cero y varianza común. En GLS, la previa se generaliza al caso en que los errores pueden no ser independientes y pueden tener varianzas diferentes . Para parámetros de ajuste dados , se supone que la función de densidad de probabilidad condicional de los errores es: Por el teorema de Bayes , En GLS, se toma una previa uniforme (impropia) para , y como es una distribución marginal, no depende de . Por lo tanto, la probabilidad logarítmica es donde los términos ocultos son aquellos que no dependen de , y es la verosimilitud logarítmica . La estimación a posteriori máxima (MAP) es entonces la estimación de máxima verosimilitud (MLE), que es equivalente al problema de optimización anterior,${\displaystyle \mathbf {b} }$$${\displaystyle p({\boldsymbol {\varepsilon }}|\mathbf {b} )={\frac {1}{\sqrt {(2\pi )^{n}\det {\boldsymbol {\Omega }}}}}\exp \left(-{\frac {1}{2}}{\boldsymbol {\varepsilon }}^{\mathrm {T} }{\boldsymbol {\Omega }}^{-1}{\boldsymbol {\varepsilon }}\right).}$$$${\displaystyle p(\mathbf {b} |{\boldsymbol {\varepsilon }})={\frac {p({\boldsymbol {\varepsilon }}|\mathbf {b} )p(\mathbf {b} )}{p({\boldsymbol {\varepsilon }})}}.}$$${\displaystyle p(\mathbf {b} )}$${\displaystyle p({\boldsymbol {\varepsilon }})}$${\displaystyle \mathbf {b} }$$${\displaystyle \log p(\mathbf {b} |{\boldsymbol {\varepsilon }})=\log p({\boldsymbol {\varepsilon }}|\mathbf {b} )+\cdots =-{\frac {1}{2}}{\boldsymbol {\varepsilon }}^{\mathrm {T} }{\boldsymbol {\Omega }}^{-1}{\boldsymbol {\varepsilon }}+\cdots ,}$$${\displaystyle \mathbf {b} }$${\displaystyle \log p({\boldsymbol {\varepsilon }}|\mathbf {b} )}$${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\mathbf {b} }{\operatorname {argmax} }}\;p(\mathbf {b} |{\boldsymbol {\varepsilon }})={\underset {\mathbf {b} }{\operatorname {argmax} }}\;\log p(\mathbf {b} |{\boldsymbol {\varepsilon }})={\underset {\mathbf {b} }{\operatorname {argmax} }}\;\log p({\boldsymbol {\varepsilon }}|\mathbf {b} ),}$

donde el problema de optimización ha sido reescrito utilizando el hecho de que el logaritmo es una función estrictamente creciente y la propiedad de que el argumento que resuelve un problema de optimización es independiente de los términos en la función objetivo que no involucran dichos términos. Sustituyendo por ,${\displaystyle \mathbf {y} -\mathbf {X} \mathbf {b} }$${\displaystyle {\boldsymbol {\varepsilon }}}$${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\mathbf {b} }{\operatorname {argmin} }}\;{\frac {1}{2}}(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\mathrm {T} }{\boldsymbol {\Omega }}^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} ).}$

Si se desconoce la covarianza de los errores , se puede obtener una estimación consistente de , digamos , ^[3] utilizando una versión implementable de GLS conocida como el estimador de mínimos cuadrados generalizados factibles ( FGLS ). ${\displaystyle \Omega }$${\displaystyle \Omega }$${\displaystyle {\widehat {\Omega }}}$

En FGLS, el modelado se realiza en dos etapas:

1. El modelo se estima mediante MCO u otro estimador consistente (pero ineficiente), y los residuos se utilizan para construir un estimador consistente de la matriz de covarianza de errores (para hacerlo, a menudo es necesario examinar el modelo agregando restricciones adicionales; por ejemplo, si los errores siguen un proceso de series de tiempo, un estadístico generalmente necesita algunas suposiciones teóricas sobre este proceso para garantizar que esté disponible un estimador consistente).
2. Luego, utilizando el estimador consistente de la matriz de covarianza de los errores, se pueden implementar las ideas del GLS.

Mientras que el GLS es más eficiente que el MCO en condiciones de heterocedasticidad (también escrito heterocedasticidad) o autocorrelación , esto no es cierto para el FGLS. El estimador factible es asintóticamente más eficiente (siempre que la matriz de covarianza de errores se estime de manera consistente), pero para una muestra de tamaño pequeño a mediano, puede ser en realidad menos eficiente que el MCO. Es por esto que algunos autores prefieren usar MCO y reformular sus inferencias simplemente considerando un estimador alternativo para la varianza del estimador robusto a la heterocedasticidad o la autocorrelación serial. Sin embargo, para muestras grandes, se prefiere el FGLS sobre el MCO en condiciones de heterocedasticidad o correlación serial. ^{[3] [4]} Una nota de advertencia es que el estimador FGLS no siempre es consistente. Un caso en el que el FGLS puede ser inconsistente es si hay efectos fijos específicos del individuo. ^[5]

En general, este estimador tiene propiedades diferentes a las del GLS. Para muestras grandes (es decir, asintóticamente), todas las propiedades son (en condiciones apropiadas) comunes con respecto al GLS, pero para muestras finitas, las propiedades de los estimadores del FGLS son desconocidas: varían drásticamente con cada modelo particular y, como regla general, sus distribuciones exactas no se pueden derivar analíticamente. Para muestras finitas, el FGLS puede ser menos eficiente que el MCO en algunos casos. Por lo tanto, si bien el GLS puede hacerse factible, no siempre es prudente aplicar este método cuando la muestra es pequeña. Un método utilizado para mejorar la precisión de los estimadores en muestras finitas es iterar; es decir, tomar los residuos del FGLS para actualizar el estimador de covarianza de errores y luego actualizar la estimación del FGLS, aplicando la misma idea de manera iterativa hasta que los estimadores varíen menos que cierta tolerancia. Sin embargo, este método no necesariamente mejora mucho la eficiencia del estimador si la muestra original era pequeña.

Una opción razonable cuando las muestras no son demasiado grandes es aplicar MCO pero descartar el estimador de varianza clásico.

${\displaystyle \sigma ^{2}*(X^{\operatorname {T} }X)^{-1}}$

(lo cual es inconsistente en este marco) y en su lugar utilizar un estimador HAC (Heteroscedasticity and Autocorrelation Consistent). En el contexto de la autocorrelación, se puede utilizar el estimador Newey-West , y en contextos heterocedásticos, se puede utilizar en su lugar el estimador Eicker-White . Este enfoque es mucho más seguro y es el camino apropiado a seguir a menos que la muestra sea grande, donde "grande" es a veces un tema resbaladizo (por ejemplo, si la distribución de error es asimétrica, la muestra requerida será mucho más grande).

El estimador de mínimos cuadrados ordinarios (MCO) se calcula mediante:

${\displaystyle {\widehat {\beta }}_{\text{OLS}}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y}$

y se construyen estimaciones de los residuos .${\displaystyle {\widehat {u}}_{j}=(Y-X{\widehat {\beta }}_{\text{OLS}})_{j}}$

Para simplificar, considere el modelo para errores heterocedásticos y no autocorrelacionados. Suponga que la matriz de varianza-covarianza del vector de error es diagonal o, equivalentemente, que los errores de observaciones distintas no están correlacionados. Entonces, cada entrada diagonal puede estimarse mediante los residuos ajustados, por lo que puede construirse mediante:${\displaystyle \Omega }$${\displaystyle {\widehat {u}}_{j}}$${\displaystyle {\widehat {\Omega }}_{OLS}}$

${\displaystyle {\widehat {\Omega }}_{\text{OLS}}=\operatorname {diag} ({\widehat {\sigma }}_{1}^{2},{\widehat {\sigma }}_{2}^{2},\dots ,{\widehat {\sigma }}_{n}^{2}).}$

Es importante notar que los residuos al cuadrado no pueden utilizarse en la expresión anterior, sino que se necesita un estimador de las varianzas de los errores. Para ello, se puede utilizar un modelo de heterocedasticidad paramétrico o un estimador no paramétrico.

Estimar utilizando ^[4] mínimos cuadrados ponderados :${\displaystyle \beta _{FGLS1}}$${\displaystyle {\widehat {\Omega }}_{\text{OLS}}}$

${\displaystyle {\widehat {\beta }}_{FGLS1}=(X^{\operatorname {T} }{\widehat {\Omega }}_{\text{OLS}}^{-1}X)^{-1}X^{\operatorname {T} }{\widehat {\Omega }}_{\text{OLS}}^{-1}y}$

El procedimiento puede iterarse. La primera iteración viene dada por:

${\displaystyle {\widehat {u}}_{FGLS1}=Y-X{\widehat {\beta }}_{FGLS1}}$

${\displaystyle {\widehat {\Omega }}_{FGLS1}=\operatorname {diag} ({\widehat {\sigma }}_{FGLS1,1}^{2},{\widehat {\sigma }}_{FGLS1,2}^{2},\dots ,{\widehat {\sigma }}_{FGLS1,n}^{2})}$

${\displaystyle {\widehat {\beta }}_{FGLS2}=(X^{\operatorname {T} }{\widehat {\Omega }}_{FGLS1}^{-1}X)^{-1}X^{\operatorname {T} }{\widehat {\Omega }}_{FGLS1}^{-1}y}$

Esta estimación se puede iterar hasta la convergencia.${\displaystyle {\widehat {\Omega }}}$

En condiciones de regularidad, el estimador FGLS (o el estimador de sus iteraciones, si se realiza un número finito de iteraciones) se distribuye asintóticamente como:

${\displaystyle {\sqrt {n}}({\hat {\beta }}_{FGLS}-\beta )\ \xrightarrow {d} \ {\mathcal {N}}\!\left(0,\,V\right)}$

¿Dónde está el tamaño de la muestra y?${\displaystyle n}$

${\displaystyle V=\operatorname {p-lim} (X^{\operatorname {T} }\Omega ^{-1}X/n)}$

donde significa límite en probabilidad .${\displaystyle {\text{p-lim}}}$

• Región de confianza
• Grados de libertad efectivos
• Estimación de Prais-Winsten
• Transformación blanqueadora

• Amemiya, Takeshi (1985). "Teoría generalizada de mínimos cuadrados". Econometría avanzada . Harvard University Press. ISBN 0-674-00560-0.
• Johnston, John (1972). "Mínimos cuadrados generalizados". Métodos econométricos (segunda edición). Nueva York: McGraw-Hill. págs. 208–242.
• Kmenta, Jan (1986). "Modelo de regresión lineal generalizada y sus aplicaciones". Elements of Econometrics (segunda edición). Nueva York: Macmillan. págs. 607–650. ISBN 0-472-10886-7.
• Beck, Nathaniel; Katz, Jonathan N. (septiembre de 1995). "Qué hacer (y no hacer) con datos de series temporales de corte transversal". American Political Science Review . 89 (3): 634–647. doi :10.2307/2082979. ISSN  1537-5943. JSTOR  2082979. S2CID  63222945.