Coeficiente de correlación de Pearson

En estadística , el coeficiente de correlación de Pearson ( PCC ) ^[a] es un coeficiente de correlación que mide la correlación lineal entre dos conjuntos de datos. Es la relación entre la covarianza de dos variables y el producto de sus desviaciones estándar ; por lo tanto, es esencialmente una medida normalizada de la covarianza, de modo que el resultado siempre tiene un valor entre −1 y 1. Al igual que con la propia covarianza, la medida solo puede reflejar una correlación lineal de variables e ignora muchos otros tipos de relaciones o correlaciones. Como ejemplo simple, uno esperaría que la edad y la altura de una muestra de niños de una escuela primaria tuvieran un coeficiente de correlación de Pearson significativamente mayor que 0, pero menor que 1 (ya que 1 representaría una correlación irrealmente perfecta).

Fue desarrollado por Karl Pearson a partir de una idea relacionada introducida por Francis Galton en la década de 1880, y para la cual la fórmula matemática fue derivada y publicada por Auguste Bravais en 1844. ^{[b] [6] [7] [8] [9]} La denominación del coeficiente es, por tanto, un ejemplo de la Ley de Stigler .

El coeficiente de correlación de Pearson es la covarianza de las dos variables dividida por el producto de sus desviaciones estándar. La forma de la definición implica un "momento producto", es decir, la media (el primer momento respecto del origen) del producto de las variables aleatorias ajustadas a la media; de ahí el modificador momento producto en el nombre. ^{[ verificación necesaria ]}

El coeficiente de correlación de Pearson, cuando se aplica a una población , se representa comúnmente con la letra griega ρ (rho) y puede denominarse coeficiente de correlación de población o coeficiente de correlación de Pearson de población . Dado un par de variables aleatorias (por ejemplo, altura y peso), la fórmula para ρ ^[10] es ^[11]${\estilo de visualización (X,Y)}$

$${\displaystyle \rho _{X,Y}={\frac {\operatorname {cov} (X,Y)}{\sigma _{X}\sigma _{Y}}}}$$

dónde

• ${\displaystyle \operatorname {cov} }$es la covarianza
• ${\displaystyle \sigma _{X}}$es la desviación estándar de ${\displaystyle X}$
• ${\displaystyle \sigma _{Y}}$es la desviación estándar de .${\displaystyle Y}$

La fórmula para se puede expresar en términos de media y expectativa . Dado que ^[10]${\displaystyle \operatorname {cov} (X,Y)}$

${\displaystyle \operatorname {cov} (X,Y)=\operatorname {\mathbb {E} } [(X-\mu _{X})(Y-\mu _{Y})],}$

La fórmula para también se puede escribir como${\displaystyle \rho }$

$${\displaystyle \rho _{X,Y}={\frac {\operatorname {\mathbb {E} } [(X-\mu _{X})(Y-\mu _{Y})]}{\sigma _{X}\sigma _{Y}}}}$$

dónde

• ${\displaystyle \sigma _{Y}}$y se definen como arriba${\displaystyle \sigma _{X}}$
• ${\displaystyle \mu _{X}}$es la media de${\displaystyle X}$
• ${\displaystyle \mu _{Y}}$es la media de${\displaystyle Y}$
• ${\displaystyle \operatorname {\mathbb {E} } }$Es la expectativa.

La fórmula para se puede expresar en términos de momentos no centrados.${\displaystyle \rho }$

${\displaystyle {\begin{aligned}\mu _{X}={}&\operatorname {\mathbb {E} } [\,X\,]\\\mu _{Y}={}&\operatorname {\mathbb {E} } [\,Y\,]\\\sigma _{X}^{2}={}&\operatorname {\mathbb {E} } \left[\,\left(X-\operatorname {\mathbb {E} } [X]\right)^{2}\,\right]=\operatorname {\mathbb {E} } \left[\,X^{2}\,\right]-\left(\operatorname {\mathbb {E} } [\,X\,]\right)^{2}\\\sigma _{Y}^{2}={}&\operatorname {\mathbb {E} } \left[\,\left(Y-\operatorname {\mathbb {E} } [Y]\right)^{2}\,\right]=\operatorname {\mathbb {E} } \left[\,Y^{2}\,\right]-\left(\,\operatorname {\mathbb {E} } [\,Y\,]\right)^{2}\\&\operatorname {\mathbb {E} } [\,\left(X-\mu _{X}\right)\left(Y-\mu _{Y}\right)\,]=\operatorname {\mathbb {E} } [\,\left(X-\operatorname {\mathbb {E} } [\,X\,]\right)\left(Y-\operatorname {\mathbb {E} } [\,Y\,]\right)\,]=\operatorname {\mathbb {E} } [\,X\,Y\,]-\operatorname {\mathbb {E} } [\,X\,]\operatorname {\mathbb {E} } [\,Y\,]\,,\end{aligned}}}$

La fórmula para también se puede escribir como${\displaystyle \rho }$$${\displaystyle \rho _{X,Y}={\frac {\operatorname {\mathbb {E} } [\,X\,Y\,]-\operatorname {\mathbb {E} } [\,X\,]\operatorname {\mathbb {E} } [\,Y\,]}{{\sqrt {\operatorname {\mathbb {E} } \left[\,X^{2}\,\right]-\left(\operatorname {\mathbb {E} } [\,X\,]\right)^{2}}}~{\sqrt {\operatorname {\mathbb {E} } \left[\,Y^{2}\,\right]-\left(\operatorname {\mathbb {E} } [\,Y\,]\right)^{2}}}}}.}$$

El coeficiente de correlación de Pearson, cuando se aplica a una muestra , se representa comúnmente por y puede denominarse coeficiente de correlación de la muestra o coeficiente de correlación de Pearson de la muestra . Podemos obtener una fórmula para sustituyendo las estimaciones de las covarianzas y varianzas basadas en una muestra en la fórmula anterior. Dados datos pareados que constan de pares, se define como${\displaystyle r_{xy}}$${\displaystyle r_{xy}}$${\displaystyle \left\{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\right\}}$${\displaystyle n}$${\displaystyle r_{xy}}$

$${\displaystyle r_{xy}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{{\sqrt {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}{\sqrt {\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}}}}$$

dónde

• ${\displaystyle n}$¿Es el tamaño de la muestra?
• ${\displaystyle x_{i},y_{i}}$¿Los puntos de muestra individuales están indexados con i?
• ${\textstyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$(la media de la muestra); y análogamente para .${\displaystyle {\bar {y}}}$

Reordenando obtenemos esta fórmula ^[10] para :${\displaystyle r_{xy}}$

${\displaystyle r_{xy}={\frac {\sum _{i}x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{{\sqrt {\sum _{i}x_{i}^{2}-n{\bar {x}}^{2}}}~{\sqrt {\sum _{i}y_{i}^{2}-n{\bar {y}}^{2}}}}},}$

donde se definen como anteriormente.${\displaystyle n,x_{i},y_{i},{\bar {x}},{\bar {y}}}$

Reordenando nuevamente obtenemos esta fórmula para :${\displaystyle r_{xy}}$

${\displaystyle r_{xy}={\frac {n\sum x_{i}y_{i}-\sum x_{i}\sum y_{i}}{{\sqrt {n\sum x_{i}^{2}-\left(\sum x_{i}\right)^{2}}}~{\sqrt {n\sum y_{i}^{2}-\left(\sum y_{i}\right)^{2}}}}},}$

donde se definen como anteriormente.${\displaystyle n,x_{i},y_{i}}$

Esta fórmula sugiere un algoritmo conveniente de una sola pasada para calcular correlaciones de muestras, aunque dependiendo de los números involucrados, a veces puede ser numéricamente inestable .

Una expresión equivalente da la fórmula para la media de los productos de las puntuaciones estándar de la siguiente manera:${\displaystyle r_{xy}}$

${\displaystyle r_{xy}={\frac {1}{n-1}}\sum _{i=1}^{n}\left({\frac {x_{i}-{\bar {x}}}{s_{x}}}\right)\left({\frac {y_{i}-{\bar {y}}}{s_{y}}}\right)}$

dónde

• ${\displaystyle n,x_{i},y_{i},{\bar {x}},{\bar {y}}}$se definen como se indica más arriba y se definen a continuación${\displaystyle s_{x},s_{y}}$
• ${\textstyle \left({\frac {x_{i}-{\bar {x}}}{s_{x}}}\right)}$es la puntuación estándar (y análogamente para la puntuación estándar de ).${\displaystyle y}$

También existen fórmulas alternativas para . Por ejemplo, se puede utilizar la siguiente fórmula para :${\displaystyle r_{xy}}$${\displaystyle r_{xy}}$

${\displaystyle r_{xy}={\frac {\sum x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{(n-1)s_{x}s_{y}}}}$

dónde

• ${\displaystyle n,x_{i},y_{i},{\bar {x}},{\bar {y}}}$se definen como anteriormente y:
• ${\textstyle s_{x}={\sqrt {{\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$(la desviación estándar de la muestra ); y análogamente para .${\displaystyle s_{y}}$

Si es conjuntamente gaussiano , con media cero y varianza , entonces .${\displaystyle (X,Y)}$ ${\displaystyle \Sigma }$${\displaystyle \Sigma ={\begin{bmatrix}\sigma _{X}^{2}&\rho _{X,Y}\sigma _{X}\sigma _{Y}\\\rho _{X,Y}\sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\\\end{bmatrix}}}$

En condiciones de mucho ruido, extraer el coeficiente de correlación entre dos conjuntos de variables estocásticas no es trivial, en particular cuando el análisis de correlación canónica arroja valores de correlación degradados debido a las fuertes contribuciones del ruido. En otro lugar se ofrece una generalización del enfoque. ^[12]

En caso de falta de datos, Garren derivó el estimador de máxima verosimilitud . ^[13]

Algunas distribuciones (por ejemplo, distribuciones estables distintas de una distribución normal ) no tienen una varianza definida.

Los valores de los coeficientes de correlación de Pearson de la muestra y de la población están en o entre −1 y 1. Las correlaciones iguales a +1 o −1 corresponden a puntos de datos que se encuentran exactamente sobre una línea (en el caso de la correlación de la muestra), o a una distribución bivariada totalmente apoyada sobre una línea (en el caso de la correlación de la población). El coeficiente de correlación de Pearson es simétrico: corr( X , Y ) = corr( Y , X ).

Una propiedad matemática clave del coeficiente de correlación de Pearson es que es invariante ante cambios separados en la ubicación y la escala de las dos variables. Es decir, podemos transformar X en a + bX y transformar Y en c + dY , donde a , b , c y d son constantes con b , d > 0 , sin cambiar el coeficiente de correlación. (Esto es válido tanto para los coeficientes de correlación de Pearson de la población como de la muestra). Las transformaciones lineales más generales sí cambian la correlación: véase § Decorrelación de n variables aleatorias para una aplicación de esto.

El coeficiente de correlación varía de −1 a 1. Un valor absoluto de exactamente 1 implica que una ecuación lineal describe la relación entre X e Y perfectamente, con todos los puntos de datos en una línea . El signo de correlación está determinado por la pendiente de regresión : un valor de +1 implica que todos los puntos de datos se encuentran en una línea para la cual Y aumenta a medida que X aumenta, mientras que un valor de -1 implica una línea donde Y aumenta mientras que X disminuye. ^[14] Un valor de 0 implica que no hay dependencia lineal entre las variables. ^[15]

En términos más generales, ( X _i − X )( Y _i − Y ) es positivo si y solo si X _i e Y _i se encuentran en el mismo lado de sus respectivas medias. Por lo tanto, el coeficiente de correlación es positivo si X _i e Y _i tienden a ser simultáneamente mayores o simultáneamente menores que sus respectivas medias. El coeficiente de correlación es negativo ( anticorrelación ) si X _i e Y _i tienden a estar en lados opuestos de sus respectivas medias. Además, cuanto más fuerte sea una tendencia, mayor será el valor absoluto del coeficiente de correlación.

Rodgers y Nicewander ^[16] catalogaron trece formas de interpretar la correlación o funciones simples de la misma:

• Función de las puntuaciones brutas y medias
• Covarianza estandarizada
• Pendiente estandarizada de la recta de regresión
• Media geométrica de las dos pendientes de regresión
• Raíz cuadrada del cociente de dos varianzas
• Producto cruzado medio de variables estandarizadas
• Función del ángulo entre dos rectas de regresión estandarizadas
• Función del ángulo entre dos vectores variables
• Varianza reescalada de la diferencia entre puntuaciones estandarizadas
• Estimado a partir de la regla del globo
• Relacionado con las elipses bivariadas de isoconcentración
• Función de las estadísticas de prueba a partir de experimentos diseñados
• Razón de dos medias

Para datos no centrados, existe una relación entre el coeficiente de correlación y el ángulo φ entre las dos líneas de regresión, y = g _X ( x ) y x = g _Y ( y ) , obtenido al regresionar y sobre x y x sobre y respectivamente. (Aquí, φ se mide en sentido antihorario dentro del primer cuadrante formado alrededor del punto de intersección de las líneas si r > 0 , o en sentido antihorario desde el cuarto al segundo cuadrante si r < 0 .) Se puede demostrar ^[17] que si las desviaciones estándar son iguales, entonces r = sec φ − tan φ , donde sec y tan son funciones trigonométricas .

Para datos centrados (es decir, datos que han sido desplazados por las medias muestrales de sus respectivas variables de modo de tener un promedio de cero para cada variable), el coeficiente de correlación también puede verse como el coseno del ángulo θ entre los dos vectores observados en un espacio N -dimensional (para N observaciones de cada variable). ^[18]

Tanto los coeficientes de correlación centrados como los no centrados (no conformes con Pearson) se pueden determinar para un conjunto de datos. Como ejemplo, supongamos que se encuentra que cinco países tienen productos nacionales brutos de 1, 2, 3, 5 y 8 mil millones de dólares, respectivamente. Supongamos que se encuentra que estos mismos cinco países (en el mismo orden) tienen un 11%, 12%, 13%, 15% y 18% de pobreza. Entonces, sean x e y vectores ordenados de 5 elementos que contienen los datos anteriores: x = (1, 2, 3, 5, 8) e y = (0,11, 0,12, 0,13, 0,15, 0,18) .

Mediante el procedimiento habitual para encontrar el ángulo θ entre dos vectores (ver producto escalar ), el coeficiente de correlación no centrado es

${\displaystyle \cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left\|\mathbf {x} \right\|\left\|\mathbf {y} \right\|}}={\frac {2.93}{{\sqrt {103}}{\sqrt {0.0983}}}}=0.920814711.}$

Este coeficiente de correlación no centrado es idéntico a la similitud del coseno . Los datos anteriores se eligieron deliberadamente para que estuvieran perfectamente correlacionados: y = 0,10 + 0,01 x . Por lo tanto, el coeficiente de correlación de Pearson debe ser exactamente uno. Centrando los datos (desplazando x por ℰ( x ) = 3,8 e y por ℰ( y ) = 0,138 ) se obtiene x = (−2,8, −1,8, −0,8, 1,2, 4,2) e y = (−0,028, −0,018, −0,008, 0,012, 0,042) , de donde

${\displaystyle \cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left\|\mathbf {x} \right\|\left\|\mathbf {y} \right\|}}={\frac {0.308}{{\sqrt {30.8}}{\sqrt {0.00308}}}}=1=\rho _{xy},}$

Como se esperaba.

Varios autores han ofrecido pautas para la interpretación de un coeficiente de correlación. ^{[19] [20]} Sin embargo, todos estos criterios son en cierto modo arbitrarios. ^[20] La interpretación de un coeficiente de correlación depende del contexto y los propósitos. Una correlación de 0,8 puede ser muy baja si se está verificando una ley física utilizando instrumentos de alta calidad, pero puede considerarse muy alta en las ciencias sociales, donde puede haber una mayor contribución de los factores que complican la situación.

La inferencia estadística basada en el coeficiente de correlación de Pearson a menudo se centra en uno de los dos objetivos siguientes:

• Un objetivo es probar la hipótesis nula de que el verdadero coeficiente de correlación ρ es igual a 0, basado en el valor del coeficiente de correlación de muestra r .
• El otro objetivo es derivar un intervalo de confianza que, en un muestreo repetido, tenga una probabilidad dada de contener ρ .

A continuación se analizan los métodos para lograr uno o ambos de estos objetivos.

Las pruebas de permutación proporcionan un enfoque directo para realizar pruebas de hipótesis y construir intervalos de confianza. Una prueba de permutación para el coeficiente de correlación de Pearson implica los dos pasos siguientes:

1. Utilizando los datos pareados originales ( x _i ,  y _i ), redefina aleatoriamente los pares para crear un nuevo conjunto de datos ( x _i ,  y _i′ ), donde los i′ son una permutación del conjunto {1,..., n }. La permutación i′ se selecciona aleatoriamente, con probabilidades iguales en todas las n ! permutaciones posibles. Esto es equivalente a extraer los i′ aleatoriamente sin reemplazo del conjunto {1,..., n }. En el bootstrap , un enfoque estrechamente relacionado, los i y los i′ son iguales y se extraen con reemplazo de {1,..., n };
2. Construya un coeficiente de correlación r a partir de los datos aleatorios.

Para realizar la prueba de permutación, repita los pasos (1) y (2) una gran cantidad de veces. El valor p para la prueba de permutación es la proporción de los valores r generados en el paso (2) que son mayores que el coeficiente de correlación de Pearson que se calculó a partir de los datos originales. Aquí, "mayor" puede significar que el valor es mayor en magnitud o mayor en valor con signo, dependiendo de si se desea una prueba bilateral o unilateral .

El método bootstrap se puede utilizar para construir intervalos de confianza para el coeficiente de correlación de Pearson. En el método bootstrap "no paramétrico", se vuelven a muestrear n pares ( x _i ,  y _i ) "con reemplazo" a partir del conjunto observado de n pares, y se calcula el coeficiente de correlación r en función de los datos remuestreados. Este proceso se repite una gran cantidad de veces, y la distribución empírica de los valores r remuestreados se utiliza para aproximar la distribución de muestreo de la estadística. Un intervalo de confianza del 95 % para ρ se puede definir como el intervalo que abarca desde el percentil 2,5 hasta el 97,5 de los valores r remuestreados .

Si y son variables aleatorias, con una relación lineal simple entre ellas con un ruido normal aditivo (es decir, y = a + bx + e), entonces un error estándar asociado a la correlación es${\displaystyle x}$${\displaystyle y}$

${\displaystyle \sigma _{r}={\sqrt {\frac {1-r^{2}}{n-2}}}}$

donde es la correlación y el tamaño de la muestra. ^{[21] [22]}${\displaystyle r}$${\displaystyle n}$

Para pares de una distribución normal bivariada no correlacionada , la distribución de muestreo del coeficiente de correlación de Pearson estudentizado sigue la distribución t de Student con grados de libertad n  − 2. Específicamente, si las variables subyacentes tienen una distribución normal bivariada, la variable

${\displaystyle t={\frac {r}{\sigma _{r}}}=r{\sqrt {\frac {n-2}{1-r^{2}}}}}$

tiene una distribución t de Student en el caso nulo (correlación cero). ^[23] Esto se cumple aproximadamente en el caso de valores observados no normales si los tamaños de muestra son lo suficientemente grandes. ^[24] Para determinar los valores críticos para r se necesita la función inversa:

${\displaystyle r={\frac {t}{\sqrt {n-2+t^{2}}}}.}$

Alternativamente, se pueden utilizar enfoques asintóticos con muestras grandes.

Otro artículo temprano ^[25] proporciona gráficos y tablas para valores generales de ρ , para tamaños de muestra pequeños, y analiza enfoques computacionales.

En el caso en que las variables subyacentes no sean normales, la distribución de muestreo del coeficiente de correlación de Pearson sigue una distribución t de Student , pero los grados de libertad se reducen. ^[26]

Para los datos que siguen una distribución normal bivariada , la función de densidad exacta f ( r ) para el coeficiente de correlación de muestra r de una distribución normal bivariada es ^{[27] [28] [29]}

${\displaystyle f(r)={\frac {(n-2)\,\mathrm {\Gamma } (n-1)\left(1-\rho ^{2}\right)^{\frac {n-1}{2}}\left(1-r^{2}\right)^{\frac {n-4}{2}}}{{\sqrt {2\pi }}\,\operatorname {\Gamma } {\mathord {\left(n-{\tfrac {1}{2}}\right)}}(1-\rho r)^{n-{\frac {3}{2}}}}}{}_{2}\mathrm {F} _{1}{\mathord {\left({\tfrac {1}{2}},{\tfrac {1}{2}};{\tfrac {1}{2}}(2n-1);{\tfrac {1}{2}}(\rho r+1)\right)}}}$

donde es la función gamma y es la función hipergeométrica gaussiana .${\displaystyle \Gamma }$${\displaystyle {}_{2}\mathrm {F} _{1}(a,b;c;z)}$

En el caso especial cuando (correlación poblacional cero), la función de densidad exacta f ( r ) se puede escribir como${\displaystyle \rho =0}$

${\displaystyle f(r)={\frac {\left(1-r^{2}\right)^{\frac {n-4}{2}}}{\operatorname {\mathrm {B} } {\mathord {\left({\tfrac {1}{2}},{\tfrac {n-2}{2}}\right)}}}},}$

donde es la función beta , que es una forma de escribir la densidad de una distribución t de Student para un coeficiente de correlación de muestra estudentizado , como se muestra arriba.${\displaystyle \mathrm {B} }$

Los intervalos de confianza y las pruebas se pueden calcular a partir de una distribución de confianza . Una densidad de confianza exacta para ρ es ^[30]

$${\displaystyle \pi (\rho \mid r)={\frac {\nu (\nu -1)\Gamma (\nu -1)}{{\sqrt {2\pi }}\Gamma \left(\nu +{\frac {1}{2}}\right)}}\left(1-r^{2}\right)^{\frac {\nu -1}{2}}\cdot \left(1-\rho ^{2}\right)^{\frac {\nu -2}{2}}\cdot \left(1-r\rho \right)^{\frac {1-2\nu }{2}}\operatorname {F} \left({\tfrac {3}{2}},-{\tfrac {1}{2}};\nu +{\tfrac {1}{2}};{\tfrac {1+r\rho }{2}}\right)}$$

donde es la función hipergeométrica gaussiana y .${\displaystyle \operatorname {F} }$${\displaystyle \nu =n-1>1}$

En la práctica, los intervalos de confianza y las pruebas de hipótesis relativas a ρ se llevan a cabo normalmente utilizando la transformación estabilizadora de varianza , transformación de Fisher :${\displaystyle F}$

${\displaystyle F(r)\equiv {\tfrac {1}{2}}\,\ln \left({\frac {1+r}{1-r}}\right)=\operatorname {artanh} (r)}$

F ( r ) sigue aproximadamente una distribución normal con

${\displaystyle {\text{mean}}=F(\rho )=\operatorname {artanh} (\rho )}$    y error estándar ${\displaystyle ={\text{SE}}={\frac {1}{\sqrt {n-3}}},}$

donde n es el tamaño de la muestra. El error de aproximación es mínimo para un tamaño de muestra grande y pequeño y aumenta en caso contrario.${\displaystyle n}$${\displaystyle r}$${\displaystyle \rho _{0}}$

Usando la aproximación, una puntuación z es

${\displaystyle z={\frac {x-{\text{mean}}}{\text{SE}}}=[F(r)-F(\rho _{0})]{\sqrt {n-3}}}$

bajo la hipótesis nula de que , dado el supuesto de que los pares de muestras son independientes y se distribuyen de forma idéntica y siguen una distribución normal bivariada . Por lo tanto , se puede obtener un valor p aproximado a partir de una tabla de probabilidad normal. Por ejemplo, si se observa z  = 2,2 y se desea un valor p bilateral para probar la hipótesis nula de que , el valor p es 2 Φ(−2,2) = 0,028 , donde Φ es la función de distribución acumulativa normal estándar .${\displaystyle \rho =\rho _{0}}$${\displaystyle \rho =0}$

Para obtener un intervalo de confianza para ρ, primero calculamos un intervalo de confianza para F ( ):${\displaystyle \rho }$

${\displaystyle 100(1-\alpha )\%{\text{CI}}:\operatorname {artanh} (\rho )\in [\operatorname {artanh} (r)\pm z_{\alpha /2}{\text{SE}}]}$

La transformación inversa de Fisher devuelve el intervalo a la escala de correlación.

${\displaystyle 100(1-\alpha )\%{\text{CI}}:\rho \in [\tanh(\operatorname {artanh} (r)-z_{\alpha /2}{\text{SE}}),\tanh(\operatorname {artanh} (r)+z_{\alpha /2}{\text{SE}})]}$

Por ejemplo, supongamos que observamos r  = 0,7 con un tamaño de muestra de n = 50 y deseamos obtener un intervalo de confianza del 95 % para  ρ . El valor transformado es , por lo que el intervalo de confianza en la escala transformada es , o (0,5814, 1,1532). Al convertir de nuevo a la escala de correlación, obtenemos (0,5237, 0,8188).${\textstyle \operatorname {arctanh} \left(r\right)=0.8673}$${\displaystyle 0.8673\pm {\frac {1.96}{\sqrt {47}}}}$

El cuadrado del coeficiente de correlación de la muestra se denota típicamente como r ² y es un caso especial del coeficiente de determinación . En este caso, estima la fracción de la varianza en Y que se explica por X en una regresión lineal simple . Por lo tanto, si tenemos el conjunto de datos observados y el conjunto de datos ajustado , entonces, como punto de partida, la variación total en Y _i alrededor de su valor promedio se puede descomponer de la siguiente manera${\displaystyle Y_{1},\dots ,Y_{n}}$${\displaystyle {\hat {Y}}_{1},\dots ,{\hat {Y}}_{n}}$

${\displaystyle \sum _{i}(Y_{i}-{\bar {Y}})^{2}=\sum _{i}(Y_{i}-{\hat {Y}}_{i})^{2}+\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2},}$

donde son los valores ajustados del análisis de regresión. Esto se puede reorganizar para dar${\displaystyle {\hat {Y}}_{i}}$

${\displaystyle 1={\frac {\sum _{i}(Y_{i}-{\hat {Y}}_{i})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}+{\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}.}$

Los dos sumandos anteriores son la fracción de varianza en Y que se explica por X (derecha) y que no se explica por X (izquierda).

A continuación, aplicamos una propiedad de los modelos de regresión de mínimos cuadrados , según la cual la covarianza muestral entre y es cero. Por lo tanto, el coeficiente de correlación muestral entre los valores de respuesta observados y ajustados en la regresión se puede escribir (el cálculo se realiza bajo expectativas, supone estadísticas gaussianas)${\displaystyle {\hat {Y}}_{i}}$${\displaystyle Y_{i}-{\hat {Y}}_{i}}$

${\displaystyle {\begin{aligned}r(Y,{\hat {Y}})&={\frac {\sum _{i}(Y_{i}-{\bar {Y}})({\hat {Y}}_{i}-{\bar {Y}})}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\frac {\sum _{i}(Y_{i}-{\hat {Y}}_{i}+{\hat {Y}}_{i}-{\bar {Y}})({\hat {Y}}_{i}-{\bar {Y}})}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\frac {\sum _{i}[(Y_{i}-{\hat {Y}}_{i})({\hat {Y}}_{i}-{\bar {Y}})+({\hat {Y}}_{i}-{\bar {Y}})^{2}]}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\sqrt {\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}}.\end{aligned}}}$

De este modo

${\displaystyle r(Y,{\hat {Y}})^{2}={\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}}$

donde es la proporción de varianza en Y explicada por una función lineal de X.${\displaystyle r(Y,{\hat {Y}})^{2}}$

En la derivación anterior, el hecho de que

${\displaystyle \sum _{i}(Y_{i}-{\hat {Y}}_{i})({\hat {Y}}_{i}-{\bar {Y}})=0}$

se puede demostrar observando que las derivadas parciales de la suma residual de cuadrados ( RSS ) sobre β ₀ y β ₁ son iguales a 0 en el modelo de mínimos cuadrados, donde

${\displaystyle {\text{RSS}}=\sum _{i}(Y_{i}-{\hat {Y}}_{i})^{2}}$.

Al final, la ecuación se puede escribir como

${\displaystyle r(Y,{\hat {Y}})^{2}={\frac {{\text{SS}}_{\text{reg}}}{{\text{SS}}_{\text{tot}}}}}$

dónde

• ${\displaystyle {\text{SS}}_{\text{reg}}=\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}$
• ${\displaystyle {\text{SS}}_{\text{tot}}=\sum _{i}(Y_{i}-{\bar {Y}})^{2}}$.

El símbolo se llama suma de cuadrados de regresión, también llamada suma de cuadrados explicada , y es la suma total de cuadrados (proporcional a la varianza de los datos).${\displaystyle {\text{SS}}_{\text{reg}}}$${\displaystyle {\text{SS}}_{\text{tot}}}$

El coeficiente de correlación de Pearson de la población se define en términos de momentos y, por lo tanto, existe para cualquier distribución de probabilidad bivariada para la que se define la covarianza de la población y las varianzas marginales de la población están definidas y son distintas de cero. Algunas distribuciones de probabilidad, como la distribución de Cauchy , tienen una varianza indefinida y, por lo tanto, ρ no está definido si X o Y siguen dicha distribución. En algunas aplicaciones prácticas, como las que involucran datos que se sospecha que siguen una distribución de cola pesada , esta es una consideración importante. Sin embargo, la existencia del coeficiente de correlación generalmente no es una preocupación; por ejemplo, si el rango de la distribución está acotado, ρ siempre está definido.

• Si el tamaño de la muestra es moderado o grande y la población es normal, entonces, en el caso de la distribución normal bivariada , el coeficiente de correlación de la muestra es la estimación de máxima verosimilitud del coeficiente de correlación de la población, y es asintóticamente imparcial y eficiente , lo que significa aproximadamente que es imposible construir una estimación más precisa que el coeficiente de correlación de la muestra.
• Si el tamaño de la muestra es grande y la población no es normal, entonces el coeficiente de correlación de la muestra permanece aproximadamente imparcial, pero puede no ser eficiente.
• Si el tamaño de la muestra es grande, entonces el coeficiente de correlación de la muestra es un estimador consistente del coeficiente de correlación de la población siempre que las medias, varianzas y covarianzas de la muestra sean consistentes (lo cual se garantiza cuando se puede aplicar la ley de los grandes números ).
• Si el tamaño de la muestra es pequeño, entonces el coeficiente de correlación de la muestra r no es una estimación imparcial de ρ . ^[10] En su lugar, se debe utilizar el coeficiente de correlación ajustado: consulte la definición en otra parte de este artículo.
• Las correlaciones pueden ser diferentes para datos dicotómicos desequilibrados cuando hay un error de varianza en la muestra. ^[31]

Al igual que muchas estadísticas de uso común, la estadística de muestra r no es robusta , ^[32] por lo que su valor puede ser engañoso si hay valores atípicos . ^{[33] [34]} Específicamente, el PMCC no es distributivamente robusto, ^[35] ni resistente a los valores atípicos ^[32] (ver Estadísticas robustas § Definición ). La inspección del diagrama de dispersión entre X e Y generalmente revelará una situación en la que la falta de robustez podría ser un problema, y ​​en tales casos puede ser aconsejable utilizar una medida robusta de asociación. Sin embargo, tenga en cuenta que, si bien la mayoría de los estimadores robustos de asociación miden la dependencia estadística de alguna manera, generalmente no son interpretables en la misma escala que el coeficiente de correlación de Pearson.

La inferencia estadística del coeficiente de correlación de Pearson es sensible a la distribución de los datos. Se pueden aplicar pruebas exactas y pruebas asintóticas basadas en la transformación de Fisher si los datos se distribuyen de forma aproximadamente normal, pero pueden resultar engañosas en caso contrario. En algunas situaciones, se puede aplicar el método bootstrap para construir intervalos de confianza y se pueden aplicar pruebas de permutación para realizar pruebas de hipótesis. Estos enfoques no paramétricos pueden dar resultados más significativos en algunas situaciones en las que no se cumple la normalidad bivariada. Sin embargo, las versiones estándar de estos enfoques se basan en la intercambiabilidad de los datos, lo que significa que no hay ordenamiento ni agrupamiento de los pares de datos que se analizan que pueda afectar el comportamiento de la estimación de la correlación.

Un análisis estratificado es una forma de tener en cuenta la falta de normalidad bivariada o de aislar la correlación resultante de un factor mientras se controla otro. Si W representa la pertenencia a un grupo u otro factor que es deseable controlar, podemos estratificar los datos en función del valor de W y luego calcular un coeficiente de correlación dentro de cada estrato. Las estimaciones a nivel de estrato se pueden combinar para estimar la correlación general mientras se controla W. [ ^36]

Se pueden calcular variaciones del coeficiente de correlación para distintos fines. A continuación se ofrecen algunos ejemplos.

El coeficiente de correlación muestral r no es una estimación imparcial de ρ . Para los datos que siguen una distribución normal bivariada , la expectativa E[ r ] para el coeficiente de correlación muestral r de una distribución normal bivariada es ^[37]

${\displaystyle \operatorname {\mathbb {E} } \left[r\right]=\rho -{\frac {\rho \left(1-\rho ^{2}\right)}{2n}}+\cdots ,\quad }$Por lo tanto, r es un estimador sesgado de${\displaystyle \rho .}$

El estimador único imparcial de varianza mínima r _adj viene dado por ^[38]

${\displaystyle r_{\text{adj}}=r\,\mathbf {_{2}F_{1}} \left({\frac {1}{2}},{\frac {1}{2}};{\frac {n-1}{2}};1-r^{2}\right),}$

( 1 )

dónde:

• ${\displaystyle r,n}$se definen como arriba,
• ${\displaystyle \mathbf {_{2}F_{1}} (a,b;c;z)}$es la función hipergeométrica gaussiana .

Se puede obtener un estimador aproximadamente insesgado r _adj ^{[ cita requerida ]} truncando E[ r ] y resolviendo esta ecuación truncada:

${\displaystyle r=\operatorname {\mathbb {E} } [r]\approx r_{\text{adj}}-{\frac {r_{\text{adj}}\left(1-r_{\text{adj}}^{2}\right)}{2n}}.}$

( 2 )

Una solución aproximada ^{[ cita requerida ]} para la ecuación ( 2 ) es

${\displaystyle r_{\text{adj}}\approx r\left[1+{\frac {1-r^{2}}{2n}}\right],}$

( 3 )

donde en ( 3 )

• ${\displaystyle r,n}$se definen como arriba,
• r _adj es un estimador subóptimo, ^{[ cita necesaria ] [ aclaración necesaria ]}
• r _adj también se puede obtener maximizando log( f ( r )),
• r _adj tiene una varianza mínima para valores grandes de n ,
• r _adj tiene un sesgo de orden 1 ⁄ ( n − 1) .

Otro coeficiente de correlación ajustado propuesto ^[10] es ^{[ cita requerida ]}

${\displaystyle r_{\text{adj}}={\sqrt {1-{\frac {(1-r^{2})(n-1)}{(n-2)}}}}.}$

r _adj ≈ r para valores grandes de  n .

Supongamos que las observaciones que se van a correlacionar tienen distintos grados de importancia que se pueden expresar con un vector de peso w . Para calcular la correlación entre los vectores x e y con el vector de peso w (todos de longitud  n ), ^{[39] [40]}

• Media ponderada:$${\displaystyle \operatorname {m} (x;w)={\frac {\sum _{i}w_{i}x_{i}}{\sum _{i}w_{i}}}.}$$
• Covarianza ponderada$${\displaystyle \operatorname {cov} (x,y;w)={\frac {\sum _{i}w_{i}\cdot (x_{i}-\operatorname {m} (x;w))(y_{i}-\operatorname {m} (y;w))}{\sum _{i}w_{i}}}.}$$
• Correlación ponderada$${\displaystyle \operatorname {corr} (x,y;w)={\frac {\operatorname {cov} (x,y;w)}{\sqrt {\operatorname {cov} (x,x;w)\operatorname {cov} (y,y;w)}}}.}$$

La correlación reflexiva es una variante de la correlación de Pearson en la que los datos no están centrados alrededor de sus valores medios. ^{[ cita requerida ]} La correlación reflexiva poblacional es

${\displaystyle \operatorname {corr} _{r}(X,Y)={\frac {\operatorname {\mathbb {E} } [\,X\,Y\,]}{\sqrt {\operatorname {\mathbb {E} } [\,X^{2}\,]\cdot \operatorname {\mathbb {E} } [\,Y^{2}\,]}}}.}$

La correlación reflexiva es simétrica, pero no es invariante bajo la traducción:

${\displaystyle \operatorname {corr} _{r}(X,Y)=\operatorname {corr} _{r}(Y,X)=\operatorname {corr} _{r}(X,bY)\neq \operatorname {corr} _{r}(X,a+bY),\quad a\neq 0,b>0.}$

La correlación reflexiva de muestra es equivalente a la similitud del coseno :

${\displaystyle rr_{xy}={\frac {\sum x_{i}y_{i}}{\sqrt {(\sum x_{i}^{2})(\sum y_{i}^{2})}}}.}$

La versión ponderada de la correlación reflexiva de la muestra es

${\displaystyle rr_{xy,w}={\frac {\sum w_{i}x_{i}y_{i}}{\sqrt {(\sum w_{i}x_{i}^{2})(\sum w_{i}y_{i}^{2})}}}.}$

La correlación escalada es una variante de la correlación de Pearson en la que el rango de los datos se restringe intencionalmente y de manera controlada para revelar correlaciones entre componentes rápidos en series de tiempo . ^[41] La correlación escalada se define como la correlación promedio entre segmentos cortos de datos.

Sea el número de segmentos que pueden caber en la longitud total de la señal para una escala dada :${\displaystyle K}$${\displaystyle T}$${\displaystyle s}$

${\displaystyle K=\operatorname {round} \left({\frac {T}{s}}\right).}$

Luego, la correlación escalada a lo largo de todas las señales se calcula como${\displaystyle {\bar {r}}_{s}}$

${\displaystyle {\bar {r}}_{s}={\frac {1}{K}}\sum \limits _{k=1}^{K}r_{k},}$

donde es el coeficiente de correlación de Pearson para el segmento .${\displaystyle r_{k}}$${\displaystyle k}$

Al elegir el parámetro , se reduce el rango de valores y se filtran las correlaciones en escalas de tiempo largas, revelando únicamente las correlaciones en escalas de tiempo cortas. De esta manera, se eliminan las contribuciones de los componentes lentos y se conservan las de los componentes rápidos.${\displaystyle s}$

Una métrica de distancia para dos variables X e Y, conocida como distancia de Pearson, se puede definir a partir de su coeficiente de correlación como ^[42]

${\displaystyle d_{X,Y}=1-\rho _{X,Y}.}$

Teniendo en cuenta que el coeficiente de correlación de Pearson se encuentra entre [−1, +1], la distancia de Pearson se encuentra en [0, 2]. La distancia de Pearson se ha utilizado en análisis de conglomerados y detección de datos para comunicaciones y almacenamiento con ganancia y desplazamiento desconocidos. ^[43]

La "distancia" de Pearson definida de esta manera asigna una distancia mayor que 1 a las correlaciones negativas. En realidad, tanto las correlaciones positivas fuertes como las negativas son significativas, por lo que se debe tener cuidado cuando se utiliza la "distancia" de Pearson para el algoritmo del vecino más cercano, ya que dicho algoritmo solo incluirá vecinos con correlación positiva y excluirá vecinos con correlación negativa. Alternativamente, se puede aplicar una distancia de valor absoluto, , que tendrá en cuenta tanto las correlaciones positivas como las negativas. La información sobre la asociación positiva y negativa se puede extraer por separado, más adelante.${\displaystyle d_{X,Y}=1-|\rho _{X,Y}|}$

Para las variables X = { x ₁ ,..., x _n } e Y = { y ₁ ,..., y _n } que están definidas en el círculo unitario [0, 2π) , es posible definir un análogo circular del coeficiente de Pearson. ^[44] Esto se hace transformando los puntos de datos en X e Y con una función seno de modo que el coeficiente de correlación se dé como:

${\displaystyle r_{\text{circular}}={\frac {\sum _{i=1}^{n}\sin(x_{i}-{\bar {x}})\sin(y_{i}-{\bar {y}})}{{\sqrt {\sum _{i=1}^{n}\sin(x_{i}-{\bar {x}})^{2}}}{\sqrt {\sum _{i=1}^{n}\sin(y_{i}-{\bar {y}})^{2}}}}}}$

donde y son las medias circulares de X e  Y. Esta medida puede ser útil en campos como la meteorología, donde la dirección angular de los datos es importante.${\displaystyle {\bar {x}}}$${\displaystyle {\bar {y}}}$

Si una población o un conjunto de datos se caracteriza por más de dos variables, un coeficiente de correlación parcial mide la fuerza de dependencia entre un par de variables que no se explica por la forma en que ambas cambian en respuesta a variaciones en un subconjunto seleccionado de las otras variables.

Para dos observables, y , en un sistema cuántico bipartito, el coeficiente de correlación de Pearson se define como ^{[45] [46]}${\displaystyle X}$${\displaystyle Y}$

${\displaystyle \mathbb {Cor} (X,Y)={\frac {\mathbb {E} [X\otimes Y]-\mathbb {E} [X]\cdot \mathbb {E} [Y]}{\sqrt {\mathbb {V} [X]\cdot \mathbb {V} [Y]}}}\,,}$

dónde

• ${\displaystyle \mathbb {E} [X]}$es el valor esperado del observable ,${\displaystyle X}$
• ${\displaystyle \mathbb {E} [Y]}$es el valor esperado del observable ,${\displaystyle Y}$
• ${\displaystyle \mathbb {E} [X\otimes Y]}$es el valor esperado del observable ,${\displaystyle X\otimes Y}$
• ${\displaystyle \mathbb {V} [X]}$es la varianza del observable , y${\displaystyle X}$
• ${\displaystyle \mathbb {V} [Y]}$es la varianza del observable .${\displaystyle Y}$

${\displaystyle \mathbb {Cor} (X,Y)}$es simétrico, es decir , y su valor absoluto es invariante bajo transformaciones afines.${\displaystyle \mathbb {Cor} (X,Y)=\mathbb {Cor} (Y,X)}$

Siempre es posible eliminar las correlaciones entre todos los pares de un número arbitrario de variables aleatorias mediante una transformación de datos, incluso si la relación entre las variables no es lineal. Cox y Hinkley presentan este resultado para distribuciones de población. ^[47]

Existe un resultado correspondiente para reducir las correlaciones de muestra a cero. Supongamos que se observa m veces un vector de n variables aleatorias . Sea X una matriz donde es la j -ésima variable de la observación i . Sea una matriz cuadrada de m por m con cada elemento 1. Entonces D son los datos transformados de modo que cada variable aleatoria tiene media cero, y T son los datos transformados de modo que todas las variables tienen media cero y correlación cero con todas las demás variables – la matriz de correlación de muestra de T será la matriz identidad. Esto tiene que ser dividido por la desviación estándar para obtener la varianza unitaria. Las variables transformadas no estarán correlacionadas, aunque pueden no ser independientes .${\displaystyle X_{i,j}}$${\displaystyle Z_{m,m}}$

${\displaystyle D=X-{\frac {1}{m}}Z_{m,m}X}$

${\displaystyle T=D(D^{\mathsf {T}}D)^{-{\frac {1}{2}}},}$

donde un exponente de −+1 ⁄ 2 representa lade la matriz inversa de una matriz. La matriz de correlación de T será la matriz identidad. Si una nueva observación de datos x es un vector fila de n elementos, entonces se puede aplicar la misma transformación a x para obtener los vectores transformados d y t :

${\displaystyle d=x-{\frac {1}{m}}Z_{1,m}X,}$

${\displaystyle t=d(D^{\mathsf {T}}D)^{-{\frac {1}{2}}}.}$

Esta decorrelación está relacionada con el análisis de componentes principales para datos multivariados.

• El paquete base de estadísticas de Rcor(x, y) implementa el coeficiente de correlación con , o (con el valor P también) con cor.test(x, y).
• La biblioteca Python de SciPy a través de pearsonr(x, y).
• La biblioteca Python Pandas implementa el cálculo del coeficiente de correlación de Pearson como la opción predeterminada para el método pandas.DataFrame.corr
• Wolfram Mathematica a través de la función de correlación, o (con el valor P) con CorrelationTest.
• La biblioteca Boost C++ a través de la función correlation_coefficient.
• Excel tiene una función correl(array1, array2) incorporada para calcular el coeficiente de correlación de Pearson.

• Cuarteto de Anscombe
• Asociación (estadísticas)
• Coeficiente de coligación
  • La Q de Yule
  • La Y de Yule
• Coeficiente de correlación múltiple
• Coeficiente de correlación de concordancia
• Correlación y dependencia
• Relación de correlación
• Desatenuación
• Correlación de distancia
• Coeficiente de información máxima
• Correlación múltiple
• Distribuido normalmente y no correlacionado no implica independencia
• Razón de probabilidades
• Correlación parcial
• Correlación policórica
• Relación de recuento de cuadrantes
• Coeficiente RV
• Coeficiente de correlación de rangos de Spearman

Wikiversidad tiene recursos de aprendizaje sobre correlación lineal

• "coco". comparandocorrelaciones.org .– Una interfaz web gratuita y un paquete R para la comparación estadística de dos correlaciones dependientes o independientes con variables superpuestas o no superpuestas.
• "Correlación". nagysandor.eu .– una simulación Flash interactiva sobre la correlación de dos variables distribuidas normalmente.
• "Calculadora de coeficiente de correlación". hackmath.net . Regresión lineal.
• "Valores críticos para el coeficiente de correlación de Pearson" (PDF) . frank.mtsu.edu/~dkfuller .– mesa grande.
• "Adivina la correlación".– Un juego en el que los jugadores adivinan qué tan correlacionadas están dos variables en un diagrama de dispersión, para comprender mejor el concepto de correlación.