Lema de Stein

El lema de Stein , llamado así en honor a Charles Stein , es un teorema de la teoría de la probabilidad que es de interés principalmente por sus aplicaciones a la inferencia estadística —en particular, a la estimación de James-Stein y a los métodos empíricos de Bayes— y sus aplicaciones a la teoría de elección de cartera . ^[1] El teorema proporciona una fórmula para la covarianza de una variable aleatoria con el valor de una función de otra, cuando las dos variables aleatorias se distribuyen normalmente de forma conjunta .

Cabe señalar que el nombre "lema de Stein" también se utiliza comúnmente ^[2] para referirse a un resultado diferente en el área de las pruebas de hipótesis estadísticas , que conecta los exponentes de error en las pruebas de hipótesis con la divergencia de Kullback-Leibler . Este resultado también se conoce como lema de Chernoff-Stein ^[3] y no está relacionado con el lema analizado en este artículo.

Supongamos que X es una variable aleatoria distribuida normalmente con una esperanza μ y una varianza σ ² . Supongamos además que g es una función diferenciable para la que existen las dos esperanzas E( g ( X ) ( X − μ)) y E( g ′( X )) . (La existencia de la esperanza de cualquier variable aleatoria es equivalente a la finitud de la esperanza de su valor absoluto .) Entonces

${\displaystyle E{\bigl (}g(X)(X-\mu ){\bigr )}=\sigma ^{2}E{\bigl (}g'(X){\bigr )}.}$

En general, supongamos que X e Y se distribuyen normalmente de manera conjunta. Entonces

${\displaystyle \operatorname {Cov} (g(X),Y)=\operatorname {Cov} (X,Y)E(g'(X)).}$

Para un vector aleatorio gaussiano multivariado general se deduce que${\displaystyle (X_{1},...,X_{n})\sim N(\mu ,\Sigma )}$

${\displaystyle E{\bigl (}g(X)(X-\mu ){\bigr )}=\Sigma \cdot E{\bigl (}\nabla g(X){\bigr )}.}$

De manera similar, cuando ,${\displaystyle \mu = 0}$$${\displaystyle E[\partial _{i}g(X)]=E[g(X)(\Sigma ^{-1}X)_{i}],\quad E[\partial _{i}\partial _{j}g(X)]=E[g(X)((\Sigma ^{-1}X)_{i}(\Sigma ^{-1}X)_{j}-\Sigma _{ij}^{-1})]}$$

El lema de Stein se puede utilizar para estimar estocásticamente el gradiente: donde son muestras IID de la distribución normal estándar . Esta forma tiene aplicaciones en el descenso del gradiente variacional de Stein ^[4] y en el gradiente de política variacional de Stein ^[5] .$${\displaystyle \nabla E_{\epsilon \sim {\mathcal {N}}(0,I)}{\bigl (}g(x+\Sigma ^{1/2}\epsilon ){\bigr )}=\Sigma ^{-1/2}E_{\epsilon \sim {\mathcal {N}}(0,I)}{\bigl (}g(x+\Sigma ^{1/2}\epsilon )\epsilon {\bigr )}\approx \Sigma ^{-1/2}{\frac {1}{N}}\sum _{i=1}^{N}g(x+\Sigma ^{1/2}\epsilon _{i})\epsilon _{i}}$$${\displaystyle \epsilon _{1},\puntos ,\epsilon _{N}}$${\displaystyle {\mathcal {N}}(0,I)}$

La función de densidad de probabilidad univariante para la distribución normal univariante con expectativa 0 y varianza 1 es

${\displaystyle \varphi (x)={1 \sobre {\sqrt {2\pi }}}e^{-x^{2}/2}}$

Dado que obtenemos de la integración por partes :${\displaystyle \int x\exp(-x^{2}/2)\,dx=-\exp(-x^{2}/2)}$

${\displaystyle E[g(X)X]={\frac {1}{\sqrt {2\pi }}}\int g(x)x\exp(-x^{2}/2)\,dx={\frac {1}{\sqrt {2\pi }}}\int g'(x)\exp(-x^{2}/2)\,dx=E[g'(X)]}$.

El caso de varianza general se sigue por sustitución .${\displaystyle \sigma ^{2}}$

El teorema de Isserlis se enuncia de forma equivalente como donde es un vector aleatorio normal multivariado de media cero .$${\displaystyle \operatorname {E} (X_{1}f(X_{1},\ldots ,X_{n}))=\sum _{i=1}^{n}\operatorname {Cov} (X_{1},X_{i})\operatorname {E} (\partial _{X_{i}}f(X_{1},\ldots ,X_{n})).}$$${\displaystyle (X_{1},\puntos X_{n})}$

Supongamos que X está en una familia exponencial , es decir, X tiene la densidad

${\displaystyle f_{\eta }(x)=\exp(\eta 'T(x)-\Psi (\eta ))h(x).}$

Supongamos que esta densidad tiene soporte donde podría ser y como , donde es cualquier función diferenciable tal que o si es finito. Entonces ${\estilo de visualización (a,b)}$${\estilo de visualización a,b}$${\displaystyle -\infty,\infty}$${\displaystyle x\rightarrow a{\text{ o }}b}$${\displaystyle \exp(\eta 'T(x))h(x)g(x)\rightarrow 0}$${\estilo de visualización g}$${\displaystyle E|g'(X)|<\infty }$${\displaystyle \exp(\eta 'T(x))h(x)\rightarrow 0}$${\displaystyle a,b}$

${\displaystyle E\left[\left({\frac {h'(X)}{h(X)}}+\sum \eta _{i}T_{i}'(X)\right)\cdot g(X)\right]=-E[g'(X)].}$

La derivación es la misma que el caso especial, es decir, la integración por partes.

Si solo sabemos que tiene soporte , entonces podría darse el caso de que pero . Para ver esto, simplemente ponga y con picos infinitos hacia el infinito pero aún integrables. Un ejemplo de este tipo podría ser adaptado de de modo que sea suave. ${\displaystyle X}$${\displaystyle \mathbb {R} }$${\displaystyle E|g(X)|<\infty {\text{ and }}E|g'(X)|<\infty }$${\displaystyle \lim _{x\rightarrow \infty }f_{\eta }(x)g(x)\not =0}$${\displaystyle g(x)=1}$${\displaystyle f_{\eta }(x)}$${\displaystyle f(x)={\begin{cases}1&x\in [n,n+2^{-n})\\0&{\text{otherwise}}\end{cases}}}$${\displaystyle f}$

También existen extensiones a distribuciones con contornos elípticos. ^{[6] [7] [8]}

• El método de Stein
• Expansiones de Taylor para los momentos de funciones de variables aleatorias
• Discrepancia de Stein