Independencia condicional

Parte de una serie sobre estadísticas
Teoría de la probabilidad
Probabilidad Axiomas Determinismo Sistema Indeterminismo Aleatoriedad
Espacio de probabilidad Espacio muestral Evento Eventos colectivamente exhaustivos Evento elemental Exclusividad mutua Resultado Semifallo Experimento El proceso de Bernoulli Distribución de probabilidad Distribución de Bernoulli Distribución binomial Distribución exponencial Distribución normal Distribución de Pareto Distribución de Poisson Medida de probabilidad Variable aleatoria Proceso de Bernoulli Continuo o discreto Valor esperado Diferencia Cadena de Markov Valor observado Paseo aleatorio Proceso estocástico
Evento complementario Probabilidad conjunta Probabilidad marginal Probabilidad condicional
Independencia Independencia condicional Ley de probabilidad total Ley de los grandes números Teorema de Bayes Desigualdad de Boole
Diagrama de Venn Diagrama de árbol
en a mi

En teoría de la probabilidad , la independencia condicional describe situaciones en las que una observación es irrelevante o redundante al evaluar la certeza de una hipótesis. La independencia condicional suele formularse en términos de probabilidad condicional , como un caso especial en el que la probabilidad de la hipótesis dada la observación no informativa es igual a la probabilidad sin ella. Si es la hipótesis, y y son observaciones, la independencia condicional puede expresarse como una igualdad:${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$

${\displaystyle P(A\mid B,C)=P(A\mid C)}$

donde es la probabilidad de que se den y . Dado que la probabilidad de que se den es la misma que la probabilidad de que se den y , esta igualdad expresa que no contribuye en nada a la certeza de . En este caso, se dice que y son condicionalmente independientes dado , escrito simbólicamente como: . En el lenguaje de la notación de igualdad causal, dos funciones y que dependen ambas de una variable común se describen como condicionalmente independientes utilizando la notación , que es equivalente a la notación .${\displaystyle P(A\mid B,C)}$${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$${\displaystyle A}$${\displaystyle C}$${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$${\displaystyle B}$${\displaystyle A}$${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$${\displaystyle (A\perp \!\!\!\perp B\mid C)}$${\displaystyle f(y)}$${\displaystyle g(y)}$${\displaystyle y}$${\displaystyle f\left(y\right)~{\overset {\curvearrowleft \curvearrowright }{=}}~g\left(y\right)}$${\displaystyle P(f\mid g,y)=P(f\mid y)}$

El concepto de independencia condicional es esencial para las teorías de inferencia estadística basadas en gráficos, ya que establece una relación matemática entre una colección de declaraciones condicionales y un grafoide .

Sean , , y los eventos . y se dice que son condicionalmente independientes dado si y solo si y:${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$${\displaystyle P(C)>0}$

${\displaystyle P(A\mid B,C)=P(A\mid C)}$

Esta propiedad a menudo se escribe: , que debe leerse como .${\displaystyle (A\perp \!\!\!\perp B\mid C)}$${\displaystyle ((A\perp \!\!\!\perp B)\vert C)}$

De manera equivalente, la independencia condicional puede enunciarse como:

${\displaystyle P(A,B|C)=P(A|C)P(B|C)}$

donde es la probabilidad conjunta de y dado . Esta formulación alternativa establece que y son eventos independientes , dado .${\displaystyle P(A,B|C)}$${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$${\displaystyle A}$${\displaystyle B}$ ${\displaystyle C}$

Demuestra que es equivalente a .${\displaystyle (A\perp \!\!\!\perp B\mid C)}$${\displaystyle (B\perp \!\!\!\perp A\mid C)}$

${\displaystyle P(A,B\mid C)=P(A\mid C)P(B\mid C)}$

iff      (definición de probabilidad condicional )${\displaystyle {\frac {P(A,B,C)}{P(C)}}=\left({\frac {P(A,C)}{P(C)}}\right)\left({\frac {P(B,C)}{P(C)}}\right)}$

si y solo si       (multiplica ambos lados por )${\displaystyle P(A,B,C)={\frac {P(A,C)P(B,C)}{P(C)}}}$${\displaystyle P(C)}$

si y solo si       (dividir ambos lados por )${\displaystyle {\frac {P(A,B,C)}{P(B,C)}}={\frac {P(A,C)}{P(C)}}}$${\displaystyle P(B,C)}$

iff       (definición de probabilidad condicional)${\displaystyle P(A\mid B,C)=P(A\mid C)}$${\displaystyle \therefore }$

Cada celda representa un posible resultado. Los eventos y están representados por las áreas sombreadas en rojo , azul y amarillo respectivamente. La superposición entre los eventos y está sombreada en violeta .${\displaystyle \color {red}R}$${\displaystyle \color {blue}B}$${\displaystyle \color {gold}Y}$${\displaystyle \color {red}R}$${\displaystyle \color {blue}B}$

Las probabilidades de estos eventos son áreas sombreadas con respecto al área total. En ambos ejemplos , y son condicionalmente independientes porque:${\displaystyle \color {red}R}$${\displaystyle \color {blue}B}$${\displaystyle \color {gold}Y}$

${\displaystyle \Pr({\color {red}R},{\color {blue}B}\mid {\color {gold}Y})=\Pr({\color {red}R}\mid {\color {gold}Y})\Pr({\color {blue}B}\mid {\color {gold}Y})}$^[1]

pero no condicionalmente independiente dado porque:${\displaystyle \left[{\text{not }}{\color {gold}Y}\right]}$

${\displaystyle \Pr({\color {red}R},{\color {blue}B}\mid {\text{not }}{\color {gold}Y})\not =\Pr({\color {red}R}\mid {\text{not }}{\color {gold}Y})\Pr({\color {blue}B}\mid {\text{not }}{\color {gold}Y})}$

Definamos los eventos A y B como la probabilidad de que la persona A y la persona B lleguen a casa a tiempo para la cena, en el caso de que ambas personas hayan sido seleccionadas al azar de todo el mundo. Se puede suponer que los eventos A y B son independientes, es decir, el conocimiento de que A llega tarde tiene un cambio mínimo o nulo en la probabilidad de que B llegue tarde. Sin embargo, si se introduce un tercer evento, la persona A y la persona B viven en el mismo vecindario, los dos eventos ahora se consideran no condicionalmente independientes. Las condiciones del tráfico y los eventos relacionados con el clima que podrían retrasar a la persona A, también podrían retrasar a la persona B. Dado el tercer evento y el conocimiento de que la persona A llegó tarde, la probabilidad de que la persona B llegue tarde cambia significativamente. ^[2]

La independencia condicional depende de la naturaleza del tercer evento. Si tiras dos dados, puedes suponer que los dos dados se comportan independientemente uno del otro. Mirar los resultados de un dado no te dirá cuál será el resultado del segundo (es decir, los dos dados son independientes). Sin embargo, si el resultado del primer dado es un 3 y alguien te informa sobre un tercer evento (que la suma de los dos resultados es par), entonces esta unidad adicional de información restringe las opciones para el segundo resultado a un número impar. En otras palabras, dos eventos pueden ser independientes, pero NO condicionalmente independientes. ^[2]

La altura y el vocabulario dependen de la edad, ya que las personas muy pequeñas suelen ser niños, conocidos por su vocabulario más básico. Pero sabiendo que dos personas tienen 19 años (es decir, dependiendo de la edad), no hay razón para pensar que el vocabulario de una persona sea mayor si nos dicen que es más alta.

Dos variables aleatorias discretas y son condicionalmente independientes dada una tercera variable aleatoria discreta si y solo si son independientes en su distribución de probabilidad condicional dado . Es decir, y son condicionalmente independientes dado si y solo si, dado cualquier valor de , la distribución de probabilidad de es la misma para todos los valores de y la distribución de probabilidad de es la misma para todos los valores de . Formalmente:${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$${\displaystyle Z}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$${\displaystyle Z}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$

${\displaystyle (X\perp \!\!\!\perp Y)\mid Z\quad \iff \quad F_{X,Y\,\mid \,Z\,=\,z}(x,y)=F_{X\,\mid \,Z\,=\,z}(x)\cdot F_{Y\,\mid \,Z\,=\,z}(y)\quad {\text{for all }}x,y,z}$

( Ec.2 )

donde es la función de distribución acumulativa condicional de y dada .${\displaystyle F_{X,Y\,\mid \,Z\,=\,z}(x,y)=\Pr(X\leq x,Y\leq y\mid Z=z)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$

Dos eventos y son condicionalmente independientes dada una σ-álgebra si${\displaystyle R}$${\displaystyle B}$ ${\displaystyle \Sigma }$

${\displaystyle \Pr(R,B\mid \Sigma )=\Pr(R\mid \Sigma )\Pr(B\mid \Sigma ){\text{ a.s.}}}$

donde denota la esperanza condicional de la función indicadora del evento , , dada el álgebra sigma . Es decir,${\displaystyle \Pr(A\mid \Sigma )}$${\displaystyle A}$${\displaystyle \chi _{A}}$${\displaystyle \Sigma }$

${\displaystyle \Pr(A\mid \Sigma ):=\operatorname {E} [\chi _{A}\mid \Sigma ].}$

Dos variables aleatorias y son condicionalmente independientes dada una σ-álgebra si la ecuación anterior se cumple para todos en y en .${\displaystyle X}$${\displaystyle Y}$${\displaystyle \Sigma }$${\displaystyle R}$${\displaystyle \sigma (X)}$${\displaystyle B}$${\displaystyle \sigma (Y)}$

Dos variables aleatorias y son condicionalmente independientes dada una variable aleatoria si son independientes dado σ ( W ): la σ-álgebra generada por . Esto se escribe comúnmente:${\displaystyle X}$${\displaystyle Y}$${\displaystyle W}$${\displaystyle W}$

${\displaystyle X\perp \!\!\!\perp Y\mid W}$o

${\displaystyle X\perp Y\mid W}$

Esto se lee " es independiente de , dado "; el condicionamiento se aplica a todo el enunciado: "( es independiente de ), dado ".${\displaystyle X}$${\displaystyle Y}$ ${\displaystyle W}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle W}$

${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$

Esta notación se extiende para " es independiente de ".${\displaystyle X\perp \!\!\!\perp Y}$${\displaystyle X}$${\displaystyle Y}$

Si se supone un conjunto de valores contables, esto es equivalente a la independencia condicional de X e Y para los eventos de la forma . La independencia condicional de más de dos eventos, o de más de dos variables aleatorias, se define de manera análoga.${\displaystyle W}$${\displaystyle [W=w]}$

Los dos ejemplos siguientes muestran que ni implica ni está implícito en .${\displaystyle X\perp \!\!\!\perp Y}$ ${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$

En primer lugar, supongamos que es 0 con probabilidad 0,5 y 1 en caso contrario. Cuando W  = 0, tomemos y como independientes, cada uno con el valor 0 con probabilidad 0,99 y el valor 1 en caso contrario. Cuando , y son de nuevo independientes, pero esta vez toman el valor 1 con probabilidad 0,99. Entonces . Pero y son dependientes, porque Pr( X  = 0) < Pr( X  = 0| Y  = 0). Esto se debe a que Pr( X  = 0) = 0,5, pero si Y  = 0, entonces es muy probable que W  = 0 y, por tanto, que X  = 0 también, por lo que Pr( X  = 0| Y  = 0) > 0,5.${\displaystyle W}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle W=1}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$${\displaystyle X}$${\displaystyle Y}$

Para el segundo ejemplo, supongamos que , cada uno toma los valores 0 y 1 con probabilidad 0,5. Sea el producto . Entonces, cuando , Pr( X  = 0) = 2/3, pero Pr( X  = 0| Y  = 0) = 1/2, entonces es falso. Este también es un ejemplo de Explicación. Vea el tutorial de Kevin Murphy ^[3] donde y toman los valores "inteligente" y "deportivo".${\displaystyle X\perp \!\!\!\perp Y}$${\displaystyle W}$${\displaystyle X\cdot Y}$${\displaystyle W=0}$${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$${\displaystyle X}$${\displaystyle Y}$

Dos vectores aleatorios y son condicionalmente independientes dado un tercer vector aleatorio si y solo si son independientes en su distribución acumulativa condicional dada . Formalmente:${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{l})^{\mathrm {T} }}$${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{m})^{\mathrm {T} }}$${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }}$${\displaystyle \mathbf {Z} }$

${\displaystyle (\mathbf {X} \perp \!\!\!\perp \mathbf {Y} )\mid \mathbf {Z} \quad \iff \quad F_{\mathbf {X} ,\mathbf {Y} |\mathbf {Z} =\mathbf {z} }(\mathbf {x} ,\mathbf {y} )=F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )\cdot F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )\quad {\text{for all }}\mathbf {x} ,\mathbf {y} ,\mathbf {z} }$

( Ec.3 )

donde , y y las distribuciones acumulativas condicionales se definen de la siguiente manera.${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{l})^{\mathrm {T} }}$${\displaystyle \mathbf {y} =(y_{1},\ldots ,y_{m})^{\mathrm {T} }}$${\displaystyle \mathbf {z} =(z_{1},\ldots ,z_{n})^{\mathrm {T} }}$

${\displaystyle {\begin{aligned}F_{\mathbf {X} ,\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} ,\mathbf {y} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l},Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )&=\Pr(Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\end{aligned}}}$

Sea p la proporción de votantes que votarán "sí" en un próximo referéndum . Al realizar una encuesta de opinión , se eligen n votantes al azar de la población. Para i  = 1, ...,  n , sea Xi ₌  1 o 0, que corresponden, respectivamente, a si el i -ésimo votante elegido votará o no "sí".

En un enfoque frecuentista de la inferencia estadística, no se atribuiría ninguna distribución de probabilidad a p (a menos que las probabilidades pudieran interpretarse de alguna manera como frecuencias relativas de ocurrencia de algún evento o como proporciones de alguna población) y se diría que X ₁ , ..., X _n son variables aleatorias independientes .

En cambio, en un enfoque bayesiano de inferencia estadística, se asignaría una distribución de probabilidad a p independientemente de la inexistencia de cualquier interpretación de "frecuencia" de ese tipo, y se interpretarían las probabilidades como grados de creencia de que p está en cualquier intervalo al que se asigna una probabilidad. En ese modelo, las variables aleatorias X ₁ , ...,  X _n no son independientes, pero son condicionalmente independientes dado el valor de p . En particular, si se observa que una gran cantidad de las X son iguales a 1, eso implicaría una alta probabilidad condicional , dada esa observación, de que p esté cerca de 1 y, por lo tanto, una alta probabilidad condicional , dada esa observación, de que la próxima X que se observe sea igual a 1.

A partir de la definición básica se ha derivado un conjunto de reglas que rigen las declaraciones de independencia condicional. ^{[4] [5]}

Estas reglas fueron denominadas " Axiomas Grafoides " por Pearl y Paz, ^[6] porque se cumplen en grafos, donde se interpreta como: "Todos los caminos desde X a A son interceptados por el conjunto B ". ^[7]${\displaystyle X\perp \!\!\!\perp A\mid B}$

${\displaystyle X\perp \!\!\!\perp Y\quad \Rightarrow \quad Y\perp \!\!\!\perp X}$

Prueba:

Nótese que se requiere que demostremos si entonces . Nótese que si entonces se puede demostrar . Por lo tanto, como se requiere.${\displaystyle P(X|Y)=P(X)}$${\displaystyle P(Y|X)=P(Y)}$${\displaystyle P(X|Y)=P(X)}$${\displaystyle P(X,Y)=P(X)P(Y)}$${\displaystyle P(Y|X)=P(X,Y)/P(X)=P(X)P(Y)/P(X)=P(Y)}$

${\displaystyle X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\\X\perp \!\!\!\perp B\end{cases}}}$

Prueba

• ${\displaystyle p_{X,A,B}(x,a,b)=p_{X}(x)p_{A,B}(a,b)}$      (significado de )${\displaystyle X\perp \!\!\!\perp A,B}$
• ${\displaystyle \int _{B}p_{X,A,B}(x,a,b)\,db=\int _{B}p_{X}(x)p_{A,B}(a,b)\,db}$      (ignorar la variable B integrándola)
• ${\displaystyle p_{X,A}(x,a)=p_{X}(x)p_{A}(a)}$     

Una prueba similar muestra la independencia de X y B.

${\displaystyle X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\mid A\end{cases}}}$

Prueba

• Por suposición, .${\displaystyle \Pr(X)=\Pr(X\mid A,B)}$
• Debido a la propiedad de descomposición , .${\displaystyle X\perp \!\!\!\perp B}$${\displaystyle \Pr(X)=\Pr(X\mid B)}$
• Combinando las dos igualdades anteriores se obtiene , que establece .${\displaystyle \Pr(X\mid B)=\Pr(X\mid A,B)}$${\displaystyle X\perp \!\!\!\perp A\mid B}$

La segunda condición puede demostrarse de manera similar.

${\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp A,B}$

Prueba

Esta propiedad se puede demostrar observando , cada igualdad de las cuales se afirma mediante y , respectivamente.${\displaystyle \Pr(X\mid A,B)=\Pr(X\mid B)=\Pr(X)}$${\displaystyle X\perp \!\!\!\perp A\mid B}$${\displaystyle X\perp \!\!\!\perp B}$

Para distribuciones de probabilidad estrictamente positivas, ^[5] también se cumple lo siguiente:

${\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp Y\mid Z,W\\X\perp \!\!\!\perp W\mid Z,Y\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp W,Y\mid Z}$

Prueba

Por suposición:

${\displaystyle P(X|Z,W,Y)=P(X|Z,W)\land P(X|Z,W,Y)=P(X|Z,Y)\implies P(X|Z,Y)=P(X|Z,W)}$

Utilizando esta igualdad, junto con la Ley de probabilidad total aplicada a :${\displaystyle P(X|Z)}$

${\displaystyle {\begin{aligned}P(X|Z)&=\sum _{w\in W}P(X|Z,W=w)P(W=w|Z)\\[4pt]&=\sum _{w\in W}P(X|Y,Z)P(W=w|Z)\\[4pt]&=P(X|Z,Y)\sum _{w\in W}P(W=w|Z)\\[4pt]&=P(X|Z,Y)\end{aligned}}}$

Dado que y , se deduce que .${\displaystyle P(X|Z,W,Y)=P(X|Z,Y)}$${\displaystyle P(X|Z,Y)=P(X|Z)}$${\displaystyle P(X|Z,W,Y)=P(X|Z)\iff X\perp \!\!\!\perp Y,W|Z}$

Nota técnica: dado que estas implicaciones son válidas para cualquier espacio de probabilidad, seguirán siendo válidas si se considera un subuniverso condicionando todo a otra variable, digamos  K. Por ejemplo, también significaría que .${\displaystyle X\perp \!\!\!\perp Y\Rightarrow Y\perp \!\!\!\perp X}$${\displaystyle X\perp \!\!\!\perp Y\mid K\Rightarrow Y\perp \!\!\!\perp X\mid K}$

• Grafoide
• Dependencia condicional
• Teorema de De Finetti
• Expectativa condicional

• Medios relacionados con Independencia condicional en Wikimedia Commons