Aproximación de Kirkwood

La aproximación de superposición de Kirkwood fue introducida en 1935 por John G. Kirkwood como un medio para representar una distribución de probabilidad discreta . ^[1] La aproximación de Kirkwood para una función de densidad de probabilidad discreta está dada por${\displaystyle P(x_{1},x_{2},\ldots ,x_{n})}$

${\displaystyle P^{\prime }(x_{1},x_{2},\ldots ,x_{n})=\prod _{i=1}^{n-1}\left[\prod _{ {\mathcal {T}}_{i}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{i})\right]^{(-1)^{n-1- i}}={\frac {\prod _{{\mathcal {T}}_{n-1}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{n-1} )}{\frac {\prod _{{\mathcal {T}}_{n-2}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{n-2})} {\frac {\vdots }{\prod _{{\mathcal {T}}_{1}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{1})}}}}}$

dónde

${\displaystyle \prod _{{\mathcal {T}}_{i}\subseteq {\mathcal {V}}}p({\mathcal {T}}_{i})}$

es el producto de las probabilidades sobre todos los subconjuntos de variables de tamaño i en el conjunto de variables . Este tipo de fórmula ha sido considerada por Watanabe (1960) y, según Watanabe, también por Robert Fano. Para el caso de tres variables, se reduce simplemente a${\displaystyle \scriptstyle {\mathcal {V}}}$

${\displaystyle P^{\prime }(x_{1},x_{2},x_{3})={\frac {p(x_{1},x_{2})p(x_{2},x_{3})p(x_{1},x_{3})}{p(x_{1})p(x_{2})p(x_{3})}}}$

La aproximación de Kirkwood no produce, en general, una distribución de probabilidad válida (se viola la condición de normalización). Watanabe sostiene que, por este motivo, las expresiones informativas de este tipo no tienen sentido y, de hecho, se ha escrito muy poco sobre las propiedades de esta medida. La aproximación de Kirkwood es la contraparte probabilística de la interacción de información .

Judea Pearl (1988 §3.2.4) indica que una expresión de este tipo puede ser exacta en el caso de un modelo descomponible , es decir, una distribución de probabilidad que admita una estructura de grafo cuyos cliques formen un árbol . En tales casos, el numerador contiene el producto de las distribuciones conjuntas intra-clique y el denominador contiene el producto de las distribuciones de intersección de cliques.

• Jakulin, A. y Bratko, I. (2004), Cuantificación y visualización de interacciones de atributos: un enfoque basado en la entropía, Journal of Machine Learning Research , (enviado), págs. 38–43.
• Matsuda, Hiroyuki (1 de septiembre de 2000). "Naturaleza física de la información mutua de orden superior: correlaciones intrínsecas y frustración". Physical Review E . 62 (3). American Physical Society (APS): 3096–3102. Bibcode :2000PhRvE..62.3096M. doi :10.1103/physreve.62.3096. ISSN  1063-651X. PMID  11088803.
• Pearl, J. (1988). Razonamiento probabilístico en sistemas inteligentes: redes de inferencia plausible . San Mateo, CA: Morgan Kaufmann/Elsevier. doi :10.1016/c2009-0-27609-4. ISBN. 978-0-08-051489-5.
• Watanabe, Satosi (1960). "Análisis teórico de la información de la correlación multivariante". Revista IBM de investigación y desarrollo . 4 (1). IBM: 66–82. doi :10.1147/rd.41.0066. ISSN  0018-8646.