Factor de Bayes

Parte de una serie sobre
Estadísticas bayesianas
Posterior = Probabilidad × Anterior ÷ Evidencia
Fondo
Inferencia bayesiana Probabilidad bayesiana Teorema de Bayes Teorema de Bernstein-von Mises Coherencia Teorema de Cox El gobierno de Cromwell Principio de verosimilitud Principio de indiferencia Principio de máxima entropía
Construcción de modelos
Conjugado anterior Regresión lineal Bayes empírico Modelo jerárquico
Aproximación posterior
Cadena de Markov Monte Carlo Aproximación de Laplace Aproximaciones de Laplace anidadas integradas Inferencia variacional Cálculo bayesiano aproximado
Estimadores
Estimador bayesiano Intervalo creíble Estimación máxima a posteriori
Aproximación de evidencia
Límite inferior de evidencia Muestreo anidado
Evaluación del modelo
Factor de Bayes Promedio del modelo Predicción posterior
Portal de matemáticas
en a mi

El factor de Bayes es una relación de dos modelos estadísticos en competencia representados por su evidencia , y se utiliza para cuantificar el apoyo de un modelo sobre el otro. ^[1] Los modelos en cuestión pueden tener un conjunto común de parámetros, como una hipótesis nula y una alternativa, pero esto no es necesario; por ejemplo, también podría ser un modelo no lineal en comparación con su aproximación lineal . El factor de Bayes puede considerarse como un análogo bayesiano de la prueba de razón de verosimilitud , aunque utiliza la verosimilitud integrada (es decir, marginal) en lugar de la verosimilitud maximizada. Como tal, ambas cantidades solo coinciden bajo hipótesis simples (por ejemplo, dos valores de parámetros específicos). ^[2] Además, en contraste con la prueba de significancia de la hipótesis nula , los factores de Bayes respaldan la evaluación de la evidencia a favor de una hipótesis nula, en lugar de solo permitir que la nula sea rechazada o no. ^[3]

Aunque conceptualmente simple, el cálculo del factor de Bayes puede ser un desafío dependiendo de la complejidad del modelo y las hipótesis. ^[4] Dado que las expresiones de forma cerrada de la probabilidad marginal generalmente no están disponibles, se han sugerido aproximaciones numéricas basadas en muestras MCMC . ^[5] Para ciertos casos especiales, se pueden derivar expresiones algebraicas simplificadas; por ejemplo, la razón de densidad de Savage-Dickey en el caso de una hipótesis precisa (con restricciones de igualdad) contra una alternativa sin restricciones. ^{[6] [7]} Otra aproximación, derivada de la aplicación de la aproximación de Laplace a las probabilidades integradas, se conoce como el criterio de información bayesiano (BIC); ^[8] en grandes conjuntos de datos, el factor de Bayes se acercará al BIC a medida que la influencia de los valores anteriores disminuya. En conjuntos de datos pequeños, los valores anteriores generalmente importan y no deben ser impropios ya que el factor de Bayes no estará definido si cualquiera de las dos integrales en su razón no es finita.

El factor de Bayes es la relación de dos probabilidades marginales, es decir, las probabilidades de dos modelos estadísticos integrados sobre las probabilidades previas de sus parámetros. ^[9]

La probabilidad posterior de un modelo M dados los datos D viene dada por el teorema de Bayes :${\displaystyle \Pr(M|D)}$

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

El término clave dependiente de los datos representa la probabilidad de que se produzcan algunos datos bajo el supuesto del modelo M ; evaluarlo correctamente es la clave para la comparación de modelos bayesianos.${\displaystyle \Pr(D|M)}$

Dado un problema de selección de modelos en el que se desea elegir entre dos modelos sobre la base de datos observados D , la plausibilidad de los dos modelos diferentes M ₁ y M ₂ , parametrizados por los vectores de parámetros del modelo y , se evalúa mediante el factor de Bayes K dado por$estilo de visualización {\theta_{1}}$${\displaystyle \theta_{2}}$

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D)}{\Pr(M_{1})}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.}$

Cuando los dos modelos tienen la misma probabilidad previa, de modo que , el factor de Bayes es igual a la relación de las probabilidades posteriores de M ₁ y M ₂ . Si en lugar de la integral del factor de Bayes, se utiliza la probabilidad correspondiente a la estimación de máxima probabilidad del parámetro para cada modelo estadístico, entonces la prueba se convierte en una prueba de razón de verosimilitud clásica . A diferencia de una prueba de razón de verosimilitud, esta comparación de modelos bayesianos no depende de ningún conjunto único de parámetros, ya que integra todos los parámetros en cada modelo (con respecto a las probabilidades previas respectivas). Una ventaja del uso de factores de Bayes es que automáticamente, y de manera bastante natural, incluye una penalización por incluir demasiada estructura del modelo. ^[10] Por lo tanto, protege contra el sobreajuste . Para los modelos donde no está disponible una versión explícita de la probabilidad o es demasiado costosa de evaluar numéricamente, se puede utilizar el cálculo bayesiano aproximado para la selección del modelo en un marco bayesiano, ^[11] con la salvedad de que las estimaciones bayesianas aproximadas de los factores de Bayes a menudo están sesgadas. ^[12]${\displaystyle \Pr(M_{1})=\Pr(M_{2})}$

Otros enfoques son:

• tratar la comparación de modelos como un problema de decisión , calculando el valor esperado o el coste de cada elección de modelo;
• utilizar la longitud mínima del mensaje (MML).
• utilizar longitud mínima de descripción (MDL).

Un valor de K > 1 significa que M ₁ está más fuertemente respaldado por los datos bajo consideración que M ₂ . Nótese que la prueba de hipótesis clásica le da a una hipótesis (o modelo) el estatus preferente (la "hipótesis nula"), y solo considera evidencia en su contra . El hecho de que un factor de Bayes pueda producir evidencia a favor y no solo en contra de una hipótesis nula es una de las ventajas clave de este método de análisis. ^[13]

Harold Jeffreys proporcionó una escala ( escala de Jeffreys ) para la interpretación de : ^[14]${\estilo de visualización K}$

La segunda columna muestra los pesos de evidencia correspondientes en decihartleys (también conocidos como decibans ); se agregan bits en la tercera columna para mayor claridad. La tabla continúa en la otra dirección, de modo que, por ejemplo, es evidencia decisiva para .$Estilo de visualización K = 10-2$$Estilo de visualización M_{2}$

Kass y Raftery (1995) ofrecen una tabla alternativa, ampliamente citada: ^[10]

Según IJ Good , la diferencia apenas perceptible de los humanos en su vida cotidiana, cuando se trata de un cambio en el grado de creencia en una hipótesis, es de aproximadamente un factor de 1,3x, o 1 deciban, o 1/3 de un bit, o de 1:1 a 5:4 en razón de probabilidades. ^[15]

Supongamos que tenemos una variable aleatoria que produce un éxito o un fracaso. Queremos comparar un modelo M ₁ donde la probabilidad de éxito es q = 1 ⁄ 2 , y otro modelo M ₂ donde q es desconocido y tomamos una distribución previa para q que es uniforme en [0,1]. Tomamos una muestra de 200 y encontramos 115 éxitos y 85 fracasos. La probabilidad se puede calcular de acuerdo con la distribución binomial :

${\displaystyle {{200 \elige 115}q^{115}(1-q)^{85}}.}$

Así que tenemos para M ₁

${\displaystyle P(X=115\mid M_{1})={200 \elegir 115}\left({1 \sobre 2}\right)^{200}\approx 0,006}$

mientras que para M ₂ tenemos

${\displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \sobre 201}\aproximadamente 0,005}$

La relación es entonces 1,2, lo cual "apenas vale la pena mencionar", aunque apunta muy ligeramente hacia M ₁ .

Una prueba de hipótesis frecuentista de M ₁ (considerada aquí como una hipótesis nula ) habría producido un resultado muy diferente. Tal prueba dice que M ₁ debe rechazarse en el nivel de significación del 5%, ya que la probabilidad de obtener 115 o más éxitos de una muestra de 200 si q = 1 ⁄ 2 es 0,02, y como una prueba de dos colas de obtener una cifra tan extrema como o más extrema que 115 es 0,04. Tenga en cuenta que 115 está a más de dos desviaciones estándar de 100. Por lo tanto, mientras que una prueba de hipótesis frecuentista produciría resultados significativos en el nivel de significación del 5%, el factor de Bayes difícilmente considera que este sea un resultado extremo. Tenga en cuenta, sin embargo, que una previa no uniforme (por ejemplo, una que refleje el hecho de que espera que el número de éxitos y fracasos sea del mismo orden de magnitud) podría dar como resultado un factor de Bayes que esté más de acuerdo con la prueba de hipótesis frecuentista.

Una prueba clásica de razón de verosimilitud habría encontrado la estimación de máxima verosimilitud para q , es decir , de donde ${\displaystyle {\sombrero {q}}={\frac {115}{200}}=0,575}$

${\displaystyle \textstyle P(X=115\mid M_{2})={{200 \choose 115}{\hat {q}}^{115}(1-{\hat {q}})^{85}}\approx 0,06}$

(en lugar de promediar todos los q posibles ). Esto da una razón de verosimilitud de 0,1 y apunta hacia M ₂ .

M ₂ es un modelo más complejo que M ₁ porque tiene un parámetro libre que le permite modelar los datos con mayor precisión. La capacidad de los factores de Bayes para tener esto en cuenta es una razón por la que la inferencia bayesiana se ha propuesto como justificación teórica y generalización de la navaja de Occam , reduciendo los errores de tipo I. ^[16]

Por otra parte, el método moderno de verosimilitud relativa tiene en cuenta el número de parámetros libres en los modelos, a diferencia del cociente de verosimilitud clásico. El método de verosimilitud relativa podría aplicarse de la siguiente manera. El modelo M ₁ tiene 0 parámetros, por lo que su valor de criterio de información de Akaike (AIC) es . El modelo M ₂ tiene 1 parámetro, por lo que su valor de AIC es . Por lo tanto, M ₁ es aproximadamente 2 veces más probable que M ₂ para minimizar la pérdida de información. Por lo tanto, M ₂ es ligeramente preferido, pero M ₁ no puede excluirse.${\displaystyle 2\cdot 0-2\cdot \ln(0,005956)\aproximadamente 10,2467}$${\displaystyle 2\cdot 1-2\cdot \ln(0,056991)\aproximadamente 7,7297}$${\displaystyle \exp \left({\frac {7.7297-10.2467}{2}}\right)\approx 0.284}$

• Criterio de información de Akaike
• Cálculo bayesiano aproximado
• Criterio de información bayesiano
• Criterio de información de desviación
• La paradoja de Lindley
• Longitud mínima del mensaje
• Selección de modelo
• Valor E

Razones estadísticas

• Razón de probabilidades
• Riesgo relativo

• Bernardo, J.; Smith, AFM (1994). Teoría bayesiana . John Wiley. ISBN 0-471-92416-4.
• Denison, DGT; Holmes, CC; Mallick, BK; Smith, AFM (2002). Métodos bayesianos para clasificación y regresión no lineales . John Wiley. ISBN 0-471-49036-9.
• Dienes, Z. (2019). ¿Cómo sé qué predice mi teoría? Avances en métodos y prácticas en la ciencia psicológica doi :10.1177/2515245919876960
• Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). "Sección 9.6.5". Clasificación de patrones (2.ª ed.). Wiley. págs. 487–489. ISBN 0-471-05669-3.
• Gelman, A.; Carlin, J.; Stern, H.; Rubin, D. (1995). Análisis de datos bayesianos . Londres: Chapman & Hall . ISBN. 0-412-03991-5.
• Jaynes, ET (1994), Teoría de la probabilidad: la lógica de la ciencia , capítulo 24.
• Kadane, Joseph B.; Dickey, James M. (1980). "Teoría de la decisión bayesiana y simplificación de modelos". En Kmenta, Jan; Ramsey, James B. (eds.). Evaluación de modelos econométricos . Nueva York: Academic Press. págs. 245–268. ISBN 0-12-416550-8.
• Lee, PM (2012). Estadística bayesiana: una introducción . Wiley. ISBN 9781118332573.
• Richard, Mark; Vecer, Jan (2021). "Pruebas de eficiencia de los mercados de predicción: enfoque martingala, razón de verosimilitud y análisis factorial de Bayes". Riesgos . 9 (2): 31. doi : 10.3390/risks9020031 . hdl : 10419/258120 .
• Winkler, Robert (2003). Introducción a la inferencia y decisión bayesianas (2.ª ed.). Probabilística. ISBN 0-9647938-4-9.

• BayesFactor: un paquete R para calcular factores de Bayes en diseños de investigación comunes
• Calculadora de factores de Bayes: calculadora en línea para obtener factores de Bayes informados
• Calculadoras del factor Bayes Archivado el 7 de mayo de 2015 en Wayback Machine —versión web de gran parte del paquete BayesFactor