Sesgo de un estimador

En estadística , el sesgo de un estimador (o función de sesgo ) es la diferencia entre el valor esperado de este estimador y el valor verdadero del parámetro que se está estimando. Un estimador o regla de decisión con sesgo cero se llama insesgado . En estadística, el "sesgo" es una propiedad objetiva de un estimador. El sesgo es un concepto distinto de la consistencia : los estimadores consistentes convergen en probabilidad al valor verdadero del parámetro, pero pueden ser sesgados o insesgados (consulte sesgo versus consistencia para obtener más información).

En igualdad de condiciones, un estimador imparcial es preferible a un estimador sesgado, aunque en la práctica, los estimadores sesgados (con un sesgo generalmente pequeño) se utilizan con frecuencia. Cuando se utiliza un estimador sesgado, se calculan los límites del sesgo. Un estimador sesgado se puede utilizar por varias razones: porque un estimador imparcial no existe sin suposiciones adicionales sobre una población; porque un estimador es difícil de calcular (como en la estimación imparcial de la desviación estándar ); porque un estimador sesgado puede ser imparcial con respecto a diferentes medidas de tendencia central ; porque un estimador sesgado da un valor menor de alguna función de pérdida (en particular el error cuadrático medio ) en comparación con los estimadores imparciales (en particular en los estimadores de contracción ); o porque en algunos casos ser imparcial es una condición demasiado fuerte y los únicos estimadores imparciales no son útiles.

El sesgo también se puede medir con respecto a la mediana , en lugar de la media (valor esperado), en cuyo caso se distingue la propiedad de insesgo de la mediana de la propiedad habitual de insesgo de la media . La insesgabilidad de la media no se conserva bajo transformaciones no lineales , aunque sí la insesgabilidad de la mediana (véase § Efecto de las transformaciones); por ejemplo, la varianza de la muestra es un estimador sesgado de la varianza de la población. Todos estos se ilustran a continuación.

No siempre es necesario que exista un estimador imparcial para un parámetro. Por ejemplo, no existe un estimador imparcial para el recíproco del parámetro de una variable aleatoria binomial. ^[1]

Supongamos que tenemos un modelo estadístico , parametrizado por un número real θ , que da lugar a una distribución de probabilidad para los datos observados, , y una estadística que sirve como estimador de θ en función de cualquier dato observado . Es decir, suponemos que nuestros datos siguen una distribución desconocida (donde θ es una constante fija y desconocida que forma parte de esta distribución), y luego construimos un estimador que asigna los datos observados a valores que esperamos que sean cercanos a θ . El sesgo de relativo a se define como ^[2]${\displaystyle P_{\theta}(x)=P(x\mid \theta )}$${\displaystyle {\sombrero {\theta }}}$${\estilo de visualización x}$${\displaystyle P(x\mid \theta )}$${\displaystyle {\sombrero {\theta }}}$${\displaystyle {\sombrero {\theta }}}$${\estilo de visualización \theta}$

${\displaystyle \operatorname {Sesgo} ({\hat {\theta }},\theta )=\operatorname {Sesgo} _{\theta }[\,{\hat {\theta }}\,]=\operatorname {E} _{x\mid \theta }[\,{\hat {\theta }}\,]-\theta =\operatorname {E} _{x\mid \theta }[\,{\hat {\theta }}-\theta \,],}$

donde denota el valor esperado sobre la distribución (es decir, el promedio de todas las observaciones posibles ). La segunda ecuación se deduce porque θ es medible con respecto a la distribución condicional .${\displaystyle \operatorname {E} _{x\mid \theta }}$${\displaystyle P(x\mid \theta )}$${\estilo de visualización x}$${\displaystyle P(x\mid \theta )}$

Se dice que un estimador es insesgado si su sesgo es igual a cero para todos los valores del parámetro θ o, equivalentemente, si el valor esperado del estimador coincide con el del parámetro. ^[3] No se garantiza que la insesgabilidad se mantenga. Por ejemplo, si es un estimador insesgado para el parámetro θ , no se garantiza que g( ) sea un estimador insesgado para g( θ). ^[4]${\displaystyle {\sombrero {\theta }}}$${\displaystyle {\sombrero {\theta }}}$

En un experimento de simulación sobre las propiedades de un estimador, el sesgo del estimador se puede evaluar utilizando la diferencia media con signo .

La varianza muestral de una variable aleatoria demuestra dos aspectos del sesgo del estimador: en primer lugar, el estimador ingenuo está sesgado, lo que se puede corregir mediante un factor de escala; en segundo lugar, el estimador insesgado no es óptimo en términos de error cuadrático medio (MSE), que se puede minimizar utilizando un factor de escala diferente, lo que da como resultado un estimador sesgado con un MSE menor que el estimador insesgado. Concretamente, el estimador ingenuo suma las desviaciones al cuadrado y divide por n, que está sesgado. Dividir en cambio por n  − 1 produce un estimador insesgado. Por el contrario, el MSE se puede minimizar dividiendo por un número diferente (dependiendo de la distribución), pero esto da como resultado un estimador sesgado. Este número siempre es mayor que n  − 1, por lo que esto se conoce como estimador de contracción , ya que "encoge" el estimador insesgado hacia cero; para la distribución normal, el valor óptimo es n  + 1.

Supongamos que X ₁ , ..., X _n son variables aleatorias independientes e idénticamente distribuidas (iid) con una expectativa μ y una varianza σ ² . Si la media de la muestra y la varianza de la muestra no corregida se definen como

${\displaystyle {\overline {X}}\,={\frac {1}{n}}\suma _{i=1}^{n}X_{i}\qquad S^{2}={\frac {1}{n}}\suma _{i=1}^{n}{\big (}X_{i}-{\overline {X}}\,{\big )}^{2}\qquad }$

entonces S ² es un estimador sesgado de σ ² , porque

${\displaystyle {\begin{aligned}\nombredeloperador {E} [S^{2}]&=\nombredeloperador {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]=\nombredeloperador {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\bigg (}(X_{i}-\mu )-({\overline {X}}-\mu ){\bigg )}^{2}{\bigg ]}\\[8pt]&=\nombredeloperador {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\bigg (}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu )(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg )}{\bigg ]}\\[8pt]&=\nombredeloperador {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+{\frac {1}{n}}({\overline {X}}-\mu )^{2}\sum _{i=1}^{n}1{\bigg ]}\\[8pt]&=\nombredeloperador {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\suma _{i=1}^{n}(X_{i}-\mu )+{\frac {1}{n}}({\overline {X}}-\mu )^{2}\cdot n{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\suma _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\suma _{i=1}^{n}(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]\end{aligned}}}$

Para continuar, observamos que al restar de ambos lados de , obtenemos${\estilo de visualización \mu}$${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

${\displaystyle {\begin{aligned}{\overline {X}}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-{\frac {1}{n}}\sum _{i=1}^{n}\mu \ ={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu ).\\[8pt]\end{aligned}}}$

Significado, (por multiplicación cruzada) . Entonces, lo anterior se convierte en:${\displaystyle n\cdot ({\overline {X}}-\mu )=\sum _{i=1}^{n}(X_{i}-\mu )}$

${\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\cdot n\cdot ({\overline {X}}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu )^{2}+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}-\operatorname {E} {\bigg [}({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\sigma ^{2}-\operatorname {E} {\bigg [}({\overline {X}}-\mu )^{2}{\bigg ]}=\left(1-{\frac {1}{n}}\right)\sigma ^{2}<\sigma ^{2}.\end{aligned}}}$

Esto se puede observar observando la siguiente fórmula, que se desprende de la fórmula de Bienaymé , para el término en la desigualdad para la expectativa de la varianza muestral no corregida anterior: .${\displaystyle \operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}={\frac {1}{n}}\sigma ^{2}}$

En otras palabras, el valor esperado de la varianza de la muestra no corregida no es igual a la varianza de la población σ ² , a menos que se multiplique por un factor de normalización. La media de la muestra, por otra parte, es un estimador imparcial ^[5] de la media de la población  μ . ^[3]

Tenga en cuenta que la definición habitual de varianza muestral es , y éste es un estimador imparcial de la varianza poblacional.${\displaystyle S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}\,)^{2}}$

Algebraicamente hablando, es imparcial porque:${\displaystyle \operatorname {E} [S^{2}]}$

${\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} \left[{\frac {1}{n-1}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]={\frac {n}{n-1}}\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]\\[8pt]&={\frac {n}{n-1}}\left(1-{\frac {1}{n}}\right)\sigma ^{2}=\sigma ^{2},\\[8pt]\end{aligned}}}$

donde la transición a la segunda línea utiliza el resultado derivado anteriormente para el estimador sesgado. Por lo tanto , y por lo tanto es un estimador insesgado de la varianza de la población, σ ² . La relación entre las estimaciones sesgadas (no corregidas) e insesgadas de la varianza se conoce como corrección de Bessel .${\displaystyle \operatorname {E} [S^{2}]=\sigma ^{2}}$${\displaystyle S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}\,)^{2}}$

La razón por la que una varianza muestral no corregida, S ² , está sesgada se debe al hecho de que la media muestral es un estimador de mínimos cuadrados ordinarios (MCO) para μ : es el número que hace que la suma sea lo más pequeña posible. Es decir, cuando se introduce cualquier otro número en esta suma, la suma solo puede aumentar. En particular, la elección da,${\displaystyle {\overline {X}}}$${\displaystyle \sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}$${\displaystyle \mu \neq {\overline {X}}}$

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}<{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2},}$

y luego

${\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}{\bigg ]}<\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}=\sigma ^{2}.\end{aligned}}}$

La discusión anterior se puede entender en términos geométricos: el vector se puede descomponer en la "parte media" y la "parte de varianza" al proyectar hacia la dirección de y hacia el hiperplano complementario ortogonal de esa dirección. Se obtiene para la parte a lo largo de y para la parte complementaria. Dado que se trata de una descomposición ortogonal, el teorema de Pitágoras dice , y tomando expectativas obtenemos , como se indicó anteriormente (pero por ). Si la distribución de es rotacionalmente simétrica, como en el caso cuando se toman muestras de una gaussiana, entonces, en promedio, la dimensión a lo largo de contribuye a igualmente que las direcciones perpendiculares a , de modo que y . De hecho, esto es cierto en general, como se explicó anteriormente.${\displaystyle {\vec {C}}=(X_{1}-\mu ,\ldots ,X_{n}-\mu )}$${\displaystyle {\vec {u}}=(1,\ldots ,1)}$${\displaystyle {\vec {A}}=({\overline {X}}-\mu ,\ldots ,{\overline {X}}-\mu )}$${\displaystyle {\vec {u}}}$${\displaystyle {\vec {B}}=(X_{1}-{\overline {X}},\ldots ,X_{n}-{\overline {X}})}$${\displaystyle |{\vec {C}}|^{2}=|{\vec {A}}|^{2}+|{\vec {B}}|^{2}}$${\displaystyle n\sigma ^{2}=n\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]+n\operatorname {E} [S^{2}]}$${\displaystyle n}$${\displaystyle {\vec {C}}}$${\displaystyle X_{i}}$${\displaystyle {\vec {u}}}$${\displaystyle |{\vec {C}}|^{2}}$${\displaystyle n-1}$${\displaystyle {\vec {u}}}$${\displaystyle \operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]={\frac {\sigma ^{2}}{n}}}$${\displaystyle \operatorname {E} [S^{2}]={\frac {(n-1)\sigma ^{2}}{n}}}$

Un caso mucho más extremo de un estimador sesgado que es mejor que cualquier estimador insesgado surge de la distribución de Poisson . ^{[6] [7]} Supongamos que X tiene una distribución de Poisson con expectativa  λ . Supongamos que se desea estimar

${\displaystyle \operatorname {P} (X=0)^{2}=e^{-2\lambda }\quad }$

con una muestra de tamaño 1. (Por ejemplo, cuando las llamadas entrantes en una centralita telefónica se modelan como un proceso de Poisson, y λ es el número promedio de llamadas por minuto, entonces e ^{−2 λ} es la probabilidad de que no lleguen llamadas en los próximos dos minutos).

Dado que la esperanza de un estimador insesgado δ ( X ) es igual al estimado , es decir

${\displaystyle \operatorname {E} (\delta (X))=\sum _{x=0}^{\infty }\delta (x){\frac {\lambda ^{x}e^{-\lambda }}{x!}}=e^{-2\lambda },}$

La única función de los datos que constituyen un estimador insesgado es

${\displaystyle \delta (x)=(-1)^{x}.\,}$

Para ver esto, note que al descomponer e ^{− λ} a partir de la expresión anterior para la expectativa, la suma que queda es también una expansión en serie de Taylor de e ^{− λ , produciendo e − λ} e ^{− λ}  = e ^{−2 λ} (ver Caracterizaciones de la función exponencial ).

Si el valor observado de X es 100, entonces la estimación es 1, aunque es muy probable que el valor real de la cantidad que se está estimando esté cerca de 0, que es el extremo opuesto. Y, si se observa que X es 101, entonces la estimación es aún más absurda: es −1, aunque la cantidad que se está estimando debe ser positiva.

El estimador de máxima verosimilitud (sesgado)

${\displaystyle e^{-2{X}}\quad }$

es mucho mejor que este estimador imparcial. No sólo su valor es siempre positivo, sino que también es más preciso en el sentido de que su error cuadrático medio

${\displaystyle e^{-4\lambda }-2e^{\lambda (1/e^{2}-3)}+e^{\lambda (1/e^{4}-1)}\,}$

es más pequeño; compare el MSE del estimador imparcial de

${\displaystyle 1-e^{-4\lambda }.\,}$

Los MSE son funciones del valor verdadero  λ . El sesgo del estimador de máxima verosimilitud es:

${\displaystyle e^{-2\lambda }-e^{\lambda (1/e^{2}-1)}.\,}$

El sesgo de los estimadores de máxima verosimilitud puede ser sustancial. Consideremos un caso en el que se colocan n boletos numerados del 1 al n en una caja y se selecciona uno al azar, lo que da un valor X. Si n es desconocido, entonces el estimador de máxima verosimilitud de n es X , aunque la esperanza de X dado n es solo ( n  + 1)/2; solo podemos estar seguros de que n es al menos X y probablemente sea mayor. En este caso, el estimador insesgado natural es 2 X  − 1.

La teoría de los estimadores medianamente imparciales fue revivida por George W. Brown en 1947: ^[8]

Se dirá que una estimación de un parámetro unidimensional θ es insesgada respecto de la mediana si, para un valor θ fijo, la mediana de la distribución de la estimación se encuentra en el valor θ; es decir, la estimación subestima con la misma frecuencia con la que sobreestima. Este requisito parece cumplir, para la mayoría de los propósitos, tanto como el requisito de insesgada respecto de la media y tiene la propiedad adicional de que es invariante ante una transformación uno a uno.

Lehmann, Birnbaum, van der Vaart y Pfanzagl han señalado otras propiedades de los estimadores medianamente insesgados. ^[9] En particular, los estimadores medianamente insesgados existen en casos en los que no existen estimadores de media insesgada y de máxima verosimilitud . Son invariantes bajo transformaciones uno a uno .

Existen métodos para construir estimadores imparciales de la mediana para distribuciones de probabilidad que tienen funciones de verosimilitud monótonas , como las familias exponenciales de un parámetro, para asegurar que sean óptimas (en un sentido análogo a la propiedad de varianza mínima considerada para los estimadores imparciales de la media). ^{[10] [11]} Uno de estos procedimientos es un análogo del procedimiento de Rao-Blackwell para estimadores imparciales de la media: el procedimiento se aplica a una clase más pequeña de distribuciones de probabilidad que el procedimiento de Rao-Blackwell para la estimación imparcial de la media, pero a una clase más grande de funciones de pérdida. ^[11]

Cualquier estimador imparcial de media con mínima varianza minimiza el riesgo ( pérdida esperada ) con respecto a la función de pérdida de error al cuadrado (entre estimadores imparciales de media), como observó Gauss . ^[12] Un estimador imparcial de mediana con desviación absoluta mínima-promedio minimiza el riesgo con respecto a la función de pérdida absoluta (entre estimadores imparciales de mediana), como observó Laplace . ^{[12] [13]} Otras funciones de pérdida se utilizan en estadística, particularmente en estadística robusta . ^{[12] [14]}

Para parámetros univariados, los estimadores insesgados a la mediana permanecen insesgados a la mediana bajo transformaciones que preservan el orden (o invierten el orden). Nótese que, cuando se aplica una transformación a un estimador insesgado a la media, el resultado no necesita ser un estimador insesgado a la media de su estadística poblacional correspondiente. Por la desigualdad de Jensen , una función convexa como transformación introducirá sesgo positivo, mientras que una función cóncava introducirá sesgo negativo, y una función de convexidad mixta puede introducir sesgo en cualquier dirección, dependiendo de la función y distribución específicas. Es decir, para una función no lineal f y un estimador insesgado a la media U de un parámetro p , el estimador compuesto f ( U ) no necesita ser un estimador insesgado a la media de f ( p ). Por ejemplo, la raíz cuadrada del estimador imparcial de la varianza de la población no es un estimador imparcial de la desviación estándar de la población : la raíz cuadrada de la varianza de la muestra imparcial, la desviación estándar de la muestra corregida , está sesgada. El sesgo depende tanto de la distribución de muestreo del estimador como de la transformación, y puede ser bastante complejo de calcular; consulte la estimación imparcial de la desviación estándar para una discusión sobre este caso.

Si bien el sesgo cuantifica la diferencia promedio que se espera entre un estimador y un parámetro subyacente, se puede esperar además que un estimador basado en una muestra finita difiera del parámetro debido a la aleatoriedad de la muestra. Un estimador que minimiza el sesgo no necesariamente minimizará el error cuadrático medio. Una medida que se utiliza para intentar reflejar ambos tipos de diferencia es el error cuadrático medio ^[2] .

${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} {\big [}({\hat {\theta }}-\theta )^{2}{\big ]}.}$

Se puede demostrar que esto es igual al cuadrado del sesgo, más la varianza: ^[2]

${\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})=&(\operatorname {E} [{\hat {\theta }}]-\theta )^{2}+\operatorname {E} [\,({\hat {\theta }}-\operatorname {E} [\,{\hat {\theta }}\,])^{2}\,]\\=&(\operatorname {Bias} ({\hat {\theta }},\theta ))^{2}+\operatorname {Var} ({\hat {\theta }})\end{aligned}}}$

Cuando el parámetro es un vector, se aplica una descomposición análoga: ^[15]

${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))+\left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}}$

donde es la traza (suma diagonal) de la matriz de covarianza del estimador y es la norma del vector cuadrado .${\displaystyle \operatorname {trace} (\operatorname {Cov} ({\hat {\theta }}))}$${\displaystyle \left\Vert \operatorname {Bias} ({\hat {\theta }},\theta )\right\Vert ^{2}}$

Por ejemplo, ^[16] supongamos un estimador de la forma

${\displaystyle T^{2}=c\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}=cnS^{2}}$

Se busca la varianza de la población como se indicó anteriormente, pero esta vez para minimizar el MSE:

${\displaystyle {\begin{aligned}\operatorname {MSE} =&\operatorname {E} \left[(T^{2}-\sigma ^{2})^{2}\right]\\=&\left(\operatorname {E} \left[T^{2}-\sigma ^{2}\right]\right)^{2}+\operatorname {Var} (T^{2})\end{aligned}}}$

Si las variables X ₁ ... X _n siguen una distribución normal, entonces nS ² /σ ² tiene una distribución chi-cuadrado con n  − 1 grados de libertad, dando:

${\displaystyle \operatorname {E} [nS^{2}]=(n-1)\sigma ^{2}{\text{ and }}\operatorname {Var} (nS^{2})=2(n-1)\sigma ^{4}.}$

y entonces

${\displaystyle \operatorname {MSE} =(c(n-1)-1)^{2}\sigma ^{4}+2c^{2}(n-1)\sigma ^{4}}$

Con un poco de álgebra se puede confirmar que es c = 1/( n  + 1) lo que minimiza esta función de pérdida combinada, en lugar de c = 1/( n  − 1) que minimiza solo el cuadrado del sesgo.

De manera más general, sólo en clases restringidas de problemas habrá un estimador que minimice el MSE independientemente de los valores de los parámetros.

Sin embargo, es muy común que se perciba que existe una compensación entre sesgo y varianza , de modo que un pequeño aumento en el sesgo se puede intercambiar por una disminución mayor en la varianza, lo que da como resultado un estimador más deseable en general.

La mayoría de los bayesianos no se preocupan demasiado por la imparcialidad (al menos en el sentido formal de la teoría del muestreo mencionado anteriormente) de sus estimaciones. Por ejemplo, Gelman y coautores (1995) escriben: "Desde una perspectiva bayesiana, el principio de imparcialidad es razonable en el límite de muestras grandes, pero de lo contrario es potencialmente engañoso". ^[17]

Fundamentalmente, la diferencia entre el enfoque bayesiano y el enfoque de teoría de muestreo antes mencionado es que en el enfoque de teoría de muestreo el parámetro se toma como fijo y luego se consideran las distribuciones de probabilidad de una estadística, con base en la distribución de muestreo predicha de los datos. Sin embargo, para un enfoque bayesiano, son los datos los que se conocen y son fijos, y es el parámetro desconocido para el cual se intenta construir una distribución de probabilidad, utilizando el teorema de Bayes :

${\displaystyle p(\theta \mid D,I)\propto p(\theta \mid I)p(D\mid \theta ,I)}$

En este caso, el segundo término, la probabilidad de los datos dado el valor desconocido del parámetro θ, depende únicamente de los datos obtenidos y del modelado del proceso de generación de datos. Sin embargo, un cálculo bayesiano también incluye el primer término, la probabilidad previa de θ, que tiene en cuenta todo lo que el analista pueda saber o sospechar sobre θ antes de que lleguen los datos. Esta información no desempeña ningún papel en el enfoque de la teoría del muestreo; de hecho, cualquier intento de incluirla se consideraría un "sesgo" que se aleja de lo que indicaban puramente los datos. En la medida en que los cálculos bayesianos incluyen información previa, es esencialmente inevitable que sus resultados no sean "imparciales" en términos de la teoría del muestreo.

Pero los resultados de un enfoque bayesiano pueden diferir de los del enfoque de la teoría de muestreo incluso si el bayesiano intenta adoptar una distribución previa "no informativa".

Por ejemplo, considere nuevamente la estimación de una varianza poblacional desconocida σ ² de una distribución normal con media desconocida, donde se desea optimizar c en la función de pérdida esperada.

${\displaystyle \operatorname {ExpectedLoss} =\operatorname {E} \left[\left(cnS^{2}-\sigma ^{2}\right)^{2}\right]=\operatorname {E} \left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}$

Una opción estándar de prior no informativo para este problema es el prior de Jeffreys , , que es equivalente a adoptar un prior plano invariante al reescalamiento para ln(σ ² ) .${\displaystyle \scriptstyle {p(\sigma ^{2})\;\propto \;1/\sigma ^{2}}}$

Una consecuencia de adoptar esta distribución previa es que S ² /σ ² sigue siendo una cantidad fundamental , es decir, la distribución de probabilidad de S ² /σ ² depende solo de S ² /σ ² , independientemente del valor de S ² o σ ² :

${\displaystyle p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid S^{2}\right)=p\left({\tfrac {S^{2}}{\sigma ^{2}}}\mid \sigma ^{2}\right)=g\left({\tfrac {S^{2}}{\sigma ^{2}}}\right)}$

Sin embargo, mientras

${\displaystyle \operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]=\sigma ^{4}\operatorname {E} _{p(S^{2}\mid \sigma ^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}$

En contraste

${\displaystyle \operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\sigma ^{4}\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]\neq \sigma ^{4}\operatorname {E} _{p(\sigma ^{2}\mid S^{2})}\left[\left(cn{\tfrac {S^{2}}{\sigma ^{2}}}-1\right)^{2}\right]}$

— cuando se toma la expectativa sobre la distribución de probabilidad de σ ² dado S ² , como es en el caso bayesiano, en lugar de S ² dado σ ² , ya no se puede tomar σ ⁴ como una constante y factorizarla. La consecuencia de esto es que, en comparación con el cálculo de la teoría de muestreo, el cálculo bayesiano pone más peso en valores mayores de σ ² , teniendo en cuenta adecuadamente (como el cálculo de la teoría de muestreo no puede) que bajo esta función de pérdida al cuadrado la consecuencia de subestimar valores grandes de σ ² es más costosa en términos de pérdida al cuadrado que la de sobreestimar valores pequeños de σ ² .

El cálculo bayesiano elaborado proporciona una distribución chi-cuadrado inversa escalada con n  − 1 grados de libertad para la distribución de probabilidad posterior de σ ² . La pérdida esperada se minimiza cuando cnS ²  = <σ ² >; esto ocurre cuando c  = 1/( n  − 3).

Por lo tanto, incluso con un previo no informativo, un cálculo bayesiano puede no dar el mismo resultado de minimización de pérdida esperada que el cálculo de la teoría de muestreo correspondiente.

• Brown, George W. "Sobre la estimación de muestras pequeñas". Annals of Mathematical Statistics , vol. 18, núm. 4 (diciembre de 1947), págs. 582–585. JSTOR  2236-236.
• Lehmann, EL (diciembre de 1951). "Un concepto general de imparcialidad". Anales de estadística matemática . 22 (4): 587–592. JSTOR  2236928.
• Birnbaum, Allan (marzo de 1961). "Una teoría unificada de la estimación, I". Anales de estadística matemática . 32 (1): 112–135.{{cite journal}}: CS1 maint: date and year (link)
• Van der Vaart, HR (junio de 1961). "Algunas extensiones de la idea de sesgo". Anales de estadística matemática . 32 (2): 436–447.{{cite journal}}: CS1 maint: date and year (link)
• Pfanzagl, Johann (1994). Teoría estadística paramétrica . Walter de Gruyter.
• Stuart, Alan; Ord, Keith; Arnold, Steven [F.] (2010). Inferencia clásica y el modelo lineal . Kendall's Advanced Theory of Statistics. Vol. 2A. Wiley. ISBN 978-0-4706-8924-0..
• Voinov, Vassily [G.]; Nikulin, Mikhail [S.] (1993). Estimadores insesgados y sus aplicaciones . Vol. 1: Caso univariado. Dordrect: Kluwer Academic Publishers. ISBN 0-7923-2382-3.
• Voinov, Vassily [G.]; Nikulin, Mikhail [S.] (1996). Estimadores insesgados y sus aplicaciones . Vol. 2: Caso multivariado. Dordrect: Kluwer Academic Publishers. ISBN 0-7923-3939-8.
• Klebanov, Lev [B.]; Rachev, Svetlozar [T.]; Fabozzi, Frank [J.] (2009). Modelos robustos y no robustos en estadística . Nueva York: Nova Scientific Publishers. ISBN 978-1-60741-768-2.

• "Estimador imparcial", Enciclopedia de Matemáticas , EMS Press , 2001 [1994]