Prueba de Kolmogorov-Smirnov

La prueba de Kolmogorov-Smirnov ( prueba K-S o prueba KS ) es una prueba no paramétrica de la igualdad de distribuciones de probabilidad unidimensionales continuas (o discontinuas, véase la Sección 2.2) que se puede utilizar para comprobar si una muestra procede de una distribución de probabilidad de referencia dada (prueba K-S de una muestra) o para comprobar si dos muestras proceden de la misma distribución (prueba K-S de dos muestras). Intuitivamente, la prueba proporciona un método para responder cualitativamente a la pregunta "¿Qué probabilidad hay de que veamos una colección de muestras como esta si se extrajeran de esa distribución de probabilidad?" o, en el segundo caso, "¿Qué probabilidad hay de que veamos dos conjuntos de muestras como este si se extrajeran de la misma distribución de probabilidad (pero desconocida)?". Lleva el nombre de Andrey Kolmogorov y Nikolai Smirnov .

El estadístico de Kolmogorov-Smirnov cuantifica la distancia entre la función de distribución empírica de la muestra y la función de distribución acumulada de la distribución de referencia, o entre las funciones de distribución empírica de dos muestras. La distribución nula de este estadístico se calcula bajo la hipótesis nula de que la muestra se extrae de la distribución de referencia (en el caso de una muestra) o que las muestras se extraen de la misma distribución (en el caso de dos muestras). En el caso de una muestra, la distribución considerada bajo la hipótesis nula puede ser continua (véase la Sección 2), puramente discreta o mixta (véase la Sección 2.2). En el caso de dos muestras (véase la Sección 3), la distribución considerada bajo la hipótesis nula es una distribución continua pero no tiene restricciones. Sin embargo, la prueba de dos muestras también se puede realizar bajo condiciones más generales que permitan la discontinuidad, la heterogeneidad y la dependencia entre muestras. ^[1]

La prueba K–S de dos muestras es uno de los métodos no paramétricos más útiles y generales para comparar dos muestras, ya que es sensible a las diferencias tanto en la ubicación como en la forma de las funciones de distribución acumulativa empírica de las dos muestras.

La prueba de Kolmogorov-Smirnov se puede modificar para que sirva como prueba de bondad de ajuste . En el caso especial de la prueba de normalidad de la distribución, las muestras se estandarizan y se comparan con una distribución normal estándar. Esto es equivalente a establecer la media y la varianza de la distribución de referencia iguales a las estimaciones de la muestra, y se sabe que el uso de estas para definir la distribución de referencia específica cambia la distribución nula de la estadística de prueba (véase Prueba con parámetros estimados). Varios estudios han encontrado que, incluso en esta forma corregida, la prueba es menos poderosa para probar la normalidad que la prueba de Shapiro-Wilk o la prueba de Anderson-Darling . ^[2] Sin embargo, estas otras pruebas tienen sus propias desventajas. Por ejemplo, se sabe que la prueba de Shapiro-Wilk no funciona bien en muestras con muchos valores idénticos.

La función de distribución empírica F _n para n observaciones ordenadas independientes e idénticamente distribuidas (iid) X _i se define como

${\displaystyle F_{n}(x)={\frac {{\text{número de (elementos en la muestra}}\leq x)}{n}}={\frac {1}{n}}\sum _{i=1}^{n}1_{(-\infty ,x]}(X_{i}),}$

donde es la función indicadora , igual a 1 si e igual a 0 en caso contrario.${\displaystyle 1_{(-\infty ,x]}(X_{i})}$$Estilo de visualización X_{i}\leq x$

La estadística de Kolmogorov-Smirnov para una función de distribución acumulativa dada F ( x ) es

${\displaystyle D_{n}=\sup _{x}|F_{n}(x)-F(x)|}$

donde sup _x es el supremo del conjunto de distancias. Intuitivamente, la estadística toma la mayor diferencia absoluta entre las dos funciones de distribución en todos los valores x .

Según el teorema de Glivenko-Cantelli , si la muestra proviene de la distribución F ( x ), entonces D _n converge a 0 casi con seguridad en el límite cuando tiende a infinito. Kolmogorov reforzó este resultado al proporcionar efectivamente la tasa de esta convergencia (véase la distribución de Kolmogorov). El teorema de Donsker proporciona un resultado aún más sólido.${\estilo de visualización n}$

En la práctica, la estadística requiere una cantidad relativamente grande de puntos de datos (en comparación con otros criterios de bondad de ajuste, como la estadística de prueba de Anderson-Darling ) para rechazar adecuadamente la hipótesis nula.

La distribución de Kolmogorov es la distribución de la variable aleatoria

${\displaystyle K=\sup _{t\in [0,1]}|B(t)|}$

donde B ( t ) es el puente browniano . La función de distribución acumulativa de K está dada por ^[3]

${\displaystyle \operatorname {Pr} (K\leq x)=1-2\sum _{k=1}^{\infty }(-1)^{k-1}e^{-2k^{2} x^{2}}={\frac {\sqrt {2\pi }}{x}}\sum _{k=1}^{\infty }e^{-(2k-1)^{2}\ pi ^{2}/(8x^{2})},}$

que también puede expresarse mediante la función theta de Jacobi . Tanto la forma del estadístico de prueba de Kolmogorov–Smirnov como su distribución asintótica bajo la hipótesis nula fueron publicadas por Andrey Kolmogorov ^[4] , mientras que Nikolai Smirnov publicó una tabla de la distribución . ^[5] Las relaciones de recurrencia para la distribución del estadístico de prueba en muestras finitas están disponibles. ^[4]${\displaystyle \vartheta _ {01}(z=0;\tau =2ix^{2}/\pi )}$

Bajo la hipótesis nula de que la muestra proviene de la distribución hipotética F ( x ),

${\displaystyle {\sqrt {n}}D_{n}{\xrightarrow {n\to \infty }}\sup _{t}|B(F(t))|}$

en la distribución , donde B ( t ) es el puente browniano. Si F es continua, entonces, bajo la hipótesis nula, converge a la distribución de Kolmogorov, que no depende de F . Este resultado también puede conocerse como el teorema de Kolmogorov. $Estilo de visualización: raíz cuadrada de nD_{n}$

La precisión de este límite como aproximación a la función de distribución acumulada exacta de cuando es finito no es muy impresionante: incluso cuando , el error máximo correspondiente es de aproximadamente ; este error aumenta a cuando y a un valor totalmente inaceptable cuando . Sin embargo, un expediente muy simple de reemplazar por${\estilo de visualización K}$${\estilo de visualización n}$${\estilo de visualización n=1000}$${\estilo de visualización 0,9~\%}$${\estilo de visualización 2.6~\%}$${\estilo de visualización n=100}$${\estilo de visualización 7~\%}$${\estilo de visualización n=10}$${\estilo de visualización x}$

${\displaystyle x+{\frac {1}{6{\sqrt {n}}}}+{\frac {x-1}{4n}}}$

en el argumento de la función theta de Jacobi se reducen estos errores a , , y respectivamente; dicha precisión se consideraría normalmente más que adecuada para todas las aplicaciones prácticas. ^[6]${\estilo de visualización 0,003~\%}$${\estilo de visualización 0,027\%}$${\estilo de visualización 0,27~\%}$

La prueba de bondad de ajuste o prueba de Kolmogorov-Smirnov se puede construir utilizando los valores críticos de la distribución de Kolmogorov. Esta prueba es asintóticamente válida cuando rechaza la hipótesis nula en el nivel si${\displaystyle n\to \infty .}$${\estilo de visualización \alpha}$

${\displaystyle {\sqrt {n}}D_{n}>K_{\alpha },\,}$

donde se encuentra K _α

${\displaystyle \operatorname {Pr} (K\leq K_{\alpha })=1-\alpha .\,}$

La potencia asintótica de esta prueba es 1.

Algoritmos rápidos y precisos para calcular la función de distribución acumulada o su complemento para y arbitrarios están disponibles en:${\displaystyle \operatorname {Pr} (D_{n}\leq x)}$${\estilo de visualización n}$${\estilo de visualización x}$

• ^[7] y ^[8] para distribuciones nulas continuas con código en C y Java que se encuentran en. ^[7]

• ^[9] para distribución nula puramente discreta, mixta o continua implementada en el paquete KSgeneral ^[10] del proyecto R para computación estadística , que para una muestra dada también calcula la estadística de prueba KS y su valor p. Hay una implementación alternativa en C++ disponible en. ^[9]

Si la forma o los parámetros de F ( x ) se determinan a partir de los datos X _i los valores críticos determinados de esta manera no son válidos. En tales casos, puede requerirse Monte Carlo u otros métodos, pero se han preparado tablas para algunos casos. Se han publicado detalles para las modificaciones requeridas para la estadística de prueba y para los valores críticos para la distribución normal y la distribución exponencial , ^[11] y publicaciones posteriores también incluyen la distribución de Gumbel . ^[12] La prueba de Lilliefors representa un caso especial de esto para la distribución normal. La transformación logarítmica puede ayudar a superar los casos en los que los datos de la prueba de Kolmogorov no parecen ajustarse al supuesto de que provienen de la distribución normal.

Usando parámetros estimados, surge la pregunta de qué método de estimación se debe usar. Por lo general, este sería el método de máxima verosimilitud , pero, por ejemplo, para la distribución normal, MLE tiene un gran error de sesgo en sigma. El uso de un ajuste de momento o minimización de KS en su lugar tiene un gran impacto en los valores críticos, y también algún impacto en la potencia de prueba. Si necesitamos decidir para datos de Student-T con df = 2 a través de la prueba KS si los datos podrían ser normales o no, entonces una estimación de ML basada en H ₀ (los datos son normales, por lo que se usa la desviación estándar para la escala) daría una distancia KS mucho mayor que un ajuste con KS mínimo. En este caso, deberíamos rechazar H ₀ , que suele ser el caso con MLE, porque la desviación estándar de la muestra puede ser muy grande para datos T-2, pero con la minimización de KS podemos obtener todavía un KS demasiado bajo para rechazar H ₀ . En el caso de Student-T, una prueba KS modificada con estimación de KS en lugar de MLE, hace que la prueba KS sea de hecho ligeramente peor. Sin embargo, en otros casos, una prueba KS modificada de este tipo produce una potencia de prueba ligeramente mejor. ^{[ cita requerida ]}

Suponiendo que no es decreciente y es continua hacia la derecha, con un número contable (posiblemente infinito) de saltos, la estadística de prueba KS se puede expresar como:${\estilo de visualización F(x)}$

${\displaystyle D_{n}=\sup_{x}|F_{n}(x)-F(x)|=\sup_{0\leq t\leq 1}|F_{n}(F^{-1}(t))-F(F^{-1}(t))|.}$

De la continuidad derecha de , se sigue que y y por lo tanto, la distribución de depende de la distribución nula , es decir, ya no es libre de distribución como en el caso continuo. Por lo tanto, se ha desarrollado un método rápido y preciso para calcular la distribución exacta y asintótica de cuando es puramente discreta o mixta, ^[9] implementado en C++ y en el paquete KSgeneral ^[10] del lenguaje R . Las funciones , y calculan también la estadística de prueba KS y los valores p para distribuciones nulas puramente discretas, mixtas o continuas y tamaños de muestra arbitrarios. La prueba KS y sus valores p para distribuciones nulas discretas y tamaños de muestra pequeños también se calculan en ^[13] como parte del paquete dgof del lenguaje R. Los principales paquetes estadísticos entre los que se encuentran SAS , ^[14] Stata ^[15] implementan la prueba KS bajo el supuesto de que es continua, lo que es más conservador si la distribución nula en realidad no es continua (véase ^{[16] [17] [18]} ).${\estilo de visualización F(x)}$${\displaystyle F(F^{-1}(t))\geq t}$${\displaystyle F^{-1}(F(x))\leq x}$$Estilo de visualización D_{n}$${\estilo de visualización F(x)}$$Estilo de visualización D_{n}$${\estilo de visualización F(x)}$disc_ks_test()mixed_ks_test()cont_ks_test() PROC NPAR1WAY ksmirnov${\estilo de visualización F(x)}$

La prueba de Kolmogorov-Smirnov también se puede utilizar para comprobar si dos distribuciones de probabilidad unidimensionales subyacentes difieren. En este caso, la estadística de Kolmogorov-Smirnov es

${\displaystyle D_{n,m}=\sup _{x}|F_{1,n}(x)-F_{2,m}(x)|,}$

donde y son las funciones de distribución empírica de la primera y la segunda muestra respectivamente, y es la función suprema .$Estilo de visualización F_{1,n}$$Estilo de visualización F_{2,m}$${\estilo de visualización \sup}$

Para muestras grandes, la hipótesis nula se rechaza en el nivel si${\estilo de visualización \alpha}$

${\displaystyle D_{n,m}>c(\alpha ){\sqrt {\frac {n+m}{n\cdot m}}}.}$

Donde y son los tamaños de la primera y la segunda muestra respectivamente. El valor de se da en la tabla siguiente para los niveles más comunes de${\estilo de visualización n}$${\estilo de visualización m}$${\displaystyle c({\alpha })}$${\estilo de visualización \alpha}$

${\estilo de visualización \alpha}$	0,20	0,15	0,10	0,05	0,025	0,01	0,005	0,001
${\displaystyle c({\alpha })}$	1.073	1.138	1.224	1.358	1.48	1.628	1.731	1.949

y en general ^[19] por

${\displaystyle c\left(\alpha \right)={\sqrt {-\ln \left({\tfrac {\alpha }{2}}\right)\cdot {\tfrac {1}{2}}}},}$

para que la condición se lea

${\displaystyle D_{n,m}>{\sqrt {-\ln \left({\tfrac {\alpha }{2}}\right)\cdot {\tfrac {1+{\tfrac {m}{n}}}{2m}}}}.}$

Aquí, nuevamente, cuanto mayores sean los tamaños de muestra, más sensible será el límite mínimo: para una proporción dada de tamaños de muestra (por ejemplo ), el límite mínimo escala en el tamaño de cualquiera de las muestras de acuerdo con su raíz cuadrada inversa. ${\displaystyle m=n}$

Nótese que la prueba de dos muestras verifica si las dos muestras de datos provienen de la misma distribución. Esto no especifica cuál es esa distribución común (por ejemplo, si es normal o no normal). Nuevamente, se han publicado tablas de valores críticos. Una deficiencia de la prueba univariante de Kolmogorov-Smirnov es que no es muy poderosa porque está diseñada para ser sensible a todos los tipos posibles de diferencias entre dos funciones de distribución. Algunos argumentan ^{[20] [21]} que la prueba de Cucconi , originalmente propuesta para comparar simultáneamente la ubicación y la escala, puede ser mucho más poderosa que la prueba de Kolmogorov-Smirnov al comparar dos funciones de distribución.

Las pruebas KS de dos muestras se han aplicado en economía para detectar efectos asimétricos y estudiar experimentos naturales. ^[22]

Si bien la prueba de Kolmogorov-Smirnov se utiliza habitualmente para comprobar si una F ( x ) dada es la distribución de probabilidad subyacente de F _n ( x ), el procedimiento puede invertirse para dar límites de confianza sobre la propia F ( x ). Si se elige un valor crítico del estadístico de prueba D _α tal que P( D _n  >  D _α ) = α , entonces una banda de ancho ± D _α alrededor de F _n ( x ) contendrá completamente a F ( x ) con probabilidad 1 −  α .

Justel , Peña y Zamar (1997) propusieron una prueba de bondad de ajuste de Kolmogorov-Smirnov multivariada sin distribución ^[23] . La prueba utiliza un estadístico construido mediante la transformación de Rosenblatt y se desarrolló un algoritmo para calcularlo en el caso bivariado. También se presenta una prueba aproximada que se puede calcular fácilmente en cualquier dimensión.

Es necesario modificar la estadística de la prueba de Kolmogorov-Smirnov si se va a aplicar una prueba similar a datos multivariados . Esto no es sencillo porque la diferencia máxima entre dos funciones de distribución acumulativas conjuntas no suele ser la misma que la diferencia máxima de cualquiera de las funciones de distribución complementarias. Por lo tanto, la diferencia máxima variará según cuál de las otras dos posibles configuraciones se utilice. Se podría exigir que el resultado de la prueba utilizada no dependa de la elección que se haga.${\displaystyle \Pr(X<x\ly Y<y)}$${\displaystyle \Pr(X<x\ly Y>y)}$

Un enfoque para generalizar la estadística de Kolmogorov-Smirnov a dimensiones superiores que satisface la preocupación anterior es comparar las funciones de distribución acumuladas de las dos muestras con todos los ordenamientos posibles y tomar la más grande del conjunto de estadísticas KS resultantes. En d dimensiones, hay 2 ^d  − 1 de tales ordenamientos. Una de esas variaciones se debe a Peacock ^[24] (ver también Gosset ^[25] para una versión 3D) y otra a Fasano y Franceschini ^[26] (ver Lopes et al. para una comparación y detalles computacionales). ^[27] Los valores críticos para la estadística de prueba se pueden obtener mediante simulaciones, pero dependen de la estructura de dependencia en la distribución conjunta.

En una dimensión, la estadística de Kolmogorov-Smirnov es idéntica a la denominada discrepancia de estrella D, por lo que otra extensión nativa de KS a dimensiones superiores sería simplemente utilizar D también para dimensiones superiores. Desafortunadamente, la discrepancia de estrella es difícil de calcular en dimensiones superiores.

En 2021 se propuso la forma funcional del estadístico de prueba KS multivariante, que simplificó el problema de estimar las probabilidades de cola del estadístico de prueba KS multivariante, que es necesario para la prueba estadística. Para el caso multivariante, si F _i es el i -ésimo marginal continuo de una distribución de probabilidad con k variables, entonces

${\displaystyle {\sqrt {n}}D_{n}\xrightarrow {n\to \infty } \max _{1\leq i\leq k}\sup _{t}|B(F_{i}(t))|}$

Por lo tanto, la distribución límite no depende de las distribuciones marginales. ^[1]

La prueba de Kolmogorov-Smirnov se implementa en muchos programas de software. La mayoría de ellos implementan tanto la prueba de una como la de dos muestras.

• Mathematica tiene la prueba Kolmogorov-Smirnov.
• La caja de herramientas de estadística de MATLAB tiene kstest y kstest2 para pruebas de Kolmogorov-Smirnov de una muestra y de dos muestras, respectivamente.
• El paquete R "KSgeneral" ^[10] calcula las estadísticas de prueba KS y sus valores p bajo una distribución nula arbitraria, posiblemente discreta, mixta o continua.
• El paquete base de estadísticas de R implementa la prueba como ks.test {stats} en su paquete "stats".
• SAS implementa la prueba en su procedimiento PROC NPAR1WAY.
• En Python , el paquete SciPy implementa la prueba en la función scipy.stats.kstest. ^[28]
• SYSTAT (SPSS Inc., Chicago, Illinois)
• Java tiene una implementación de esta prueba proporcionada por Apache Commons . ^[29]
• KNIME tiene un nodo que implementa esta prueba basada en la implementación de Java mencionada anteriormente. ^[30]
• Julia tiene el paquete HypothesisTests.jl con la función ExactOneSampleKSTest(x::AbstractVector{<:Real}, d::UnivariateDistribution). ^[31]
• StatsDirect (StatsDirect Ltd, Manchester, Reino Unido) implementa todas las variantes comunes.
• Stata (Stata Corporation, College Station, TX) implementa la prueba en el comando ksmirnov (prueba de igualdad de distribuciones de Kolmogorov-Smirnov). ^[32]
• PSPP implementa la prueba en su KOLMOGOROV-SMIRNOV (o usando la función de acceso directo KS).
• El paquete de recursos de estadísticas reales para Excel ejecuta la prueba como KSCRIT y KSPROB. ^[33]

• Prueba de Lepage
• Prueba de Cucconi
• Prueba de Kuiper
• Prueba de Shapiro-Wilk
• Prueba de Anderson-Darling
• Prueba de Cramér-von Mises
• Métrica de Wasserstein

• Daniel, Wayne W. (1990). "Prueba de una muestra de Kolmogorov-Smirnov". Estadística no paramétrica aplicada (2ª ed.). Boston: PWS-Kent. págs. 319–330. ISBN 978-0-534-91976-4.
• Eadie, WT; D. Drijard; FE James; M. Roos; B. Sadoulet (1971). Métodos estadísticos en física experimental . Ámsterdam: Holanda Septentrional. pp. 269–271. ISBN 978-0-444-10117-4.
• Stuart, Alan; Ord, Keith; Arnold, Steven [F.] (1999). Inferencia clásica y el modelo lineal . Kendall's Advanced Theory of Statistics. Vol. 2A (sexta edición). Londres: Arnold. págs. 25.37–25.43. ISBN 978-0-340-66230-4.Señor 1687411  .
• Corder, GW; Foreman, DI (2014). Estadísticas no paramétricas: un enfoque paso a paso . Wiley. ISBN 978-1-118-84031-3.
• Stephens, MA (1979). "Prueba de ajuste para la distribución logística basada en la función de distribución empírica". Biometrika . 66 (3): 591–595. doi :10.1093/biomet/66.3.591.
• Kesemen, O.; Tiryaki, BK; Tezel, Ö.; Özkul, E. (2021). "Una nueva prueba de bondad de ajuste para la normalidad multivariante". Hacettepe Journal of Mathematics and Statistics . 50 : 872–894. doi : 10.15672/hujms.644516 .

• "Prueba de Kolmogorov-Smirnov", Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
• Breve introducción
• Explicación de la prueba KS
• Implementación de JavaScript de pruebas unilaterales y bilaterales
• Calculadora en línea con el examen KS
• Código C++ de código abierto para calcular la distribución de Kolmogorov y realizar la prueba KS
• Documento sobre la evaluación de la distribución de Kolmogorov; contiene implementación en C. Este es el método utilizado en Matlab .
• Documento sobre el cálculo de la distribución de Kolmogorov-Smirnov bilateral; cálculo de la función de distribución acumulativa (cdf) del estadístico KS en C o Java.
• Artículo Powerlaw: Un paquete Python para el análisis de distribuciones de cola pesada; Jeff Alstott, Ed Bullmore, Dietmar Plenz. Entre otras cosas, también realiza la prueba de Kolmogorov-Smirnov. El código fuente y los instaladores del paquete Powerlaw están disponibles en PyPi.