Coeficiente de correlação de Pearson
Em estatística, o coeficiente de correlação de Pearson (PCC), também conhecido como r de Pearson, o coeficiente de correlação de momento-produto de Pearson (PPMCC), ou simplesmente o coeficiente de correlação sem qualificadores, é um coeficiente de correlação que mede a correlação linear entre dois conjuntos de dados. É a razão entre a covariância de duas variáveis e o produto dos seus desvios padrão; assim, é essencialmente uma medição normalizada da covariância, de modo que o resultado tem sempre um valor entre -1 e 1. Uma diferença fundamental é que, ao contrário da covariância, este coeficiente de correlação não tem unidades, permitindo a comparação da força da associação conjunta entre diferentes pares de variáveis aleatórias que não têm necessariamente as mesmas unidades. Como com a própria covariância, a medida só pode refletir uma correlação linear das variáveis e ignora muitos outros tipos de relações ou correlações. Como exemplo simples, seria de esperar que a idade e a altura de uma amostra de crianças de uma escola tivessem um coeficiente de correlação de Pearson significativamente maior do que 0, mas menor do que 1.
Foi desenvolvido por Karl Pearson a partir de uma ideia relacionada introduzida por Francis Galton na década de 1880, e para o qual a fórmula matemática foi derivada e publicada por Auguste Bravais em 1844.[nota 1] A nomeação do coeficiente é, portanto, um exemplo da Lei de Stigler.
O coeficiente de correlação pode ser derivado deslocando os valores dos dados x e y para que cada um tenha média zero sobre a população de n indivíduos, coletando cada conjunto de dados para formar as coordenadas de um vetor n-dimensional e calculando o cosseno entre essas duas direções vetoriais. Esta expressão é, portanto, um número entre -1 e 1 e é igual à unidade sempre que os dois vetores são colineares, ou seja, quando os valores individuais de x e y obedecem a uma relação linear consistente. As fórmulas abaixo podem ser derivadas do produto interno e das fórmulas de comprimento para vetores.
O coeficiente de correlação de Pearson é a covariância das duas variáveis dividida pelo produto dos seus desvios padrão. A definição formal envolve um "momento-produto", ou seja, a média (o primeiro momento em relação à origem) do produto das variáveis aleatórias ajustadas pela média.[verificar]
Para uma população
O coeficiente de correlação de Pearson, quando aplicado a uma população, é comumente representado pela letra grega ρ (rho) e pode ser referido como o coeficiente de correlação populacional ou o coeficiente de correlação populacional de Pearson. Dado um par de variáveis aleatórias ( X , Y ) {\displaystyle (X,Y)} (por exemplo, Altura e Peso), a fórmula para ρ é ρ X , Y = cov ( X , Y ) σ X σ Y {\displaystyle \rho _{X,Y}={\frac {\operatorname {cov} (X,Y)}{\sigma _{X}\sigma _{Y}}}} A fórmula para cov ( X , Y ) {\displaystyle \operatorname {cov} (X,Y)} pode ser expressa em termos de média e expectativa. Uma vez que a fórmula para ρ {\displaystyle \rho } também pode ser escrita como
Para uma amostra
O coeficiente de correlação de Pearson, quando aplicado a uma amostra, é comumente representado por r x y {\displaystyle r_{xy}} e pode ser referido como o coeficiente de correlação amostral ou o coeficiente de correlação amostral de Pearson. Podemos obter uma fórmula para r x y {\displaystyle r_{xy}} substituindo as estimativas das covariâncias e variâncias baseadas numa amostra na fórmula acima. Dados emparelhados { ( x 1 , y 1 ) , … , ( x n , y n ) } {\displaystyle \left\{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\right\}} consistindo em n {\displaystyle n} pares, r x y {\displaystyle r_{xy}} é definido como r x y = ∑ i = 1 n ( x i − x ¯ ) ( y i − y ¯ ) ∑ i = 1 n ( x i − x ¯ ) 2 ∑ i = 1 n ( y i − y ¯ ) 2 {\displaystyle r_{xy}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{{\sqrt {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}{\sqrt {\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}}}}
Para distribuições conjuntamente gaussianas
Se ( X , Y ) {\displaystyle (X,Y)} é conjuntamente gaussiana, com média zero e variância Σ {\displaystyle \Sigma } , então Σ = [ σ X 2 ρ X , Y σ X σ Y ρ X , Y σ X σ Y σ Y 2 ] {\displaystyle \Sigma ={\begin{bmatrix}\sigma _{X}^{2}&\rho _{X,Y}\sigma _{X}\sigma _{Y}\\\rho _{X,Y}\sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\\\end{bmatrix}}} .
Questões práticas
Sob condições de ruído intenso, extrair o coeficiente de correlação entre dois conjuntos de variáveis estocásticas não é trivial. Este problema é conhecido como diluição de regressão. Sob a teoria clássica dos testes, a correção é ρ x ′ y ′ = ρ x y ρ x x ′ ρ y y ′ {\textstyle \rho _{x'y'}={\frac {\rho _{xy}}{\sqrt {\rho _{xx^{\prime }}\rho _{yy^{\prime }}}}}} , embora a estimativa da confiabilidade (ou equivalentemente os níveis de ruído σ ϵ x , σ ϵ y {\textstyle \sigma _{\epsilon _{x}},\sigma _{\epsilon _{y}}} ) seja necessária. A Análise de correlação canónica tem um problema análogo. Uma generalização da abordagem para CCA, e com um método para estimar o nível de ruído, é fornecida noutro local.
Os valores dos coeficientes de correlação amostral e populacional de Pearson estão entre -1 e 1 inclusive. Correlações iguais a +1 ou -1 correspondem a pontos de dados situados exatamente numa linha (no caso da correlação amostral), ou a uma distribuição bivariada inteiramente suportada numa linha (no caso da correlação populacional). O coeficiente de correlação de Pearson é simétrico: corr(X,Y) = corr(Y,X). Uma propriedade matemática fundamental do coeficiente de correlação de Pearson é que ele é invariante sob mudanças separadas de localização e escala nas duas variáveis. Isto é, podemos transformar X para a + bX e transformar Y para c + dY, onde a, b, c e d são constantes com b, d > 0, sem alterar o coeficiente de correlação. (Isto vale tanto para os coeficientes de correlação amostral quanto populacional de Pearson.) Transformações lineares mais gerais alteram a correlação: veja Descorrelação de n variáveis aleatórias para uma aplicação disto. Em particular, pode ser útil notar que corr(-X,Y) = -corr(X,Y)
O coeficiente de correlação varia de -1 a 1. Um valor absoluto exatamente igual a 1 implica que uma equação linear descreve perfeitamente a relação entre X e Y, com todos os pontos de dados situados numa linha. O sinal da correlação é determinado pela inclinação da regressão: um valor de +1 implica que todos os pontos de dados estão numa linha em que Y aumenta à medida que X aumenta, enquanto um valor de -1 implica uma linha em que Y aumenta enquanto X diminui. Um valor de 0 implica que não há dependência linear entre as variáveis. Mais geralmente, (Xi − X)(Yi − Y) é positivo se e somente se Xi e Yi estiverem do mesmo lado das suas respetivas médias. Assim, o coeficiente de correlação é positivo se Xi e Yi tenderem a ser simultaneamente maiores ou simultaneamente menores do que as suas respetivas médias. O coeficiente de correlação é negativo (ant correlação) se Xi e Yi tenderem a estar em lados opostos das suas respetivas médias. Além disso, quanto mais forte for qualquer uma das tendências, maior será o valor absoluto do coeficiente de correlação.
Interpretação geométrica
Para dados não centrados, existe uma relação entre o coeficiente de correlação e o ângulo φ entre as duas linhas de regressão, y = gX(x) e x = gY(y), obtidas pela regressão de y em x e de x em y, respetivamente. (Aqui, φ é medido no sentido anti-horário dentro do primeiro quadrante formado em torno do ponto de interseção das linhas se r > 0, ou no sentido anti-horário do quarto ao segundo quadrante se r < 0.) Pode-se mostrar que, se os desvios padrão são iguais, então r = sec φ − tan φ, onde sec e tan são funções trigonométricas. Para dados centrados (ou seja, dados que foram deslocados pelas médias amostrais das suas respetivas variáveis de modo a terem uma média zero para cada variável), o coeficiente de correlação também pode ser visto como o cosseno do ângulo θ entre os dois vetores observados no espaço N-dimensional (para N observações de cada variável).
Interpretação da magnitude de uma correlação
Vários autores ofereceram diretrizes para a interpretação de um coeficiente de correlação. No entanto, todos esses critérios são, de certa forma, arbitrários. A interpretação de um coeficiente de correlação depende do contexto e dos propósitos. Uma correlação de 0,8 pode ser muito baixa se se estiver a verificar uma lei física usando instrumentos de alta qualidade, mas pode ser considerada muito alta nas ciências sociais, onde pode haver uma maior contribuição de fatores complicadores.
A inferência estatística baseada no coeficiente de correlação de Pearson frequentemente se concentra num dos dois objetivos seguintes: Métodos para atingir um ou ambos os objetivos são discutidos abaixo.
Usando um teste de permutação
Testes de permutação fornecem uma abordagem direta para realizar testes de hipóteses e construir intervalos de confiança. Um teste de permutação para o coeficiente de correlação de Pearson envolve os dois passos seguintes: Para realizar o teste de permutação, repetir os passos (1) e (2) um grande número de vezes. O p-valor para o teste de permutação é a proporção dos valores de r gerados no passo (2) que são maiores do que o coeficiente de correlação de Pearson calculado a partir dos dados originais. Aqui, "maior" pode significar que o valor é maior em magnitude, ou maior em valor sinalizado, dependendo se se deseja um bilateral ou unilateral.
Usando bootstrap
O bootstrap pode ser usado para construir intervalos de confiança para o coeficiente de correlação de Pearson. No bootstrap "não paramétrico", n pares (xi, yi) são reamostrados "com reposição" do conjunto observado de n pares, e o coeficiente de correlação r é calculado com base nos dados reamostrados. Este processo é repetido um grande número de vezes, e a distribuição empírica dos valores de r reamostrados é usada para aproximar a distribuição amostral da estatística. Um intervalo de confiança de 95% para ρ pode ser definido como o intervalo que vai do percentil 2,5 ao 97,5 dos valores de r reamostrados.
Erro padrão
Se x {\displaystyle x} e y {\displaystyle y} são variáveis aleatórias, com uma relação linear simples entre elas com um ruído normal aditivo (ou seja, y= a + bx + e), então um erro padrão associado à correlação é onde r {\displaystyle r} é a correlação e n {\displaystyle n} o tamanho da amostra.
Teste usando a distribuição t de Student
Para pares de uma distribuição normal bivariada não correlacionada, a distribuição amostral do coeficiente de correlação studentizado de Pearson segue a distribuição t de Student com graus de liberdade n − 2. Especificamente, se as variáveis subjacentes têm uma distribuição normal bivariada, a variável tem uma distribuição t de Student no caso nulo (correlação zero). Isto vale aproximadamente no caso de valores observados não normais se os tamanhos de amostra forem suficientemente grandes. Para determinar os valores críticos para r, a função inversa é necessária: Alternativamente, abordagens assintóticas de grandes amostras podem ser usadas. Outro artigo antigo fornece gráficos e tabelas para valores gerais de ρ, para pequenos tamanhos de amostra, e discute abordagens computacionais.
Usando a distribuição exata
Para dados que seguem uma distribuição normal bivariada, a função densidade exata f(r) para o coeficiente de correlação amostral r de uma normal bivariada é onde Γ {\displaystyle \Gamma } é a função gama e 2 F 1 ( a , b ; c ; z ) {\displaystyle {}_{2}\mathrm {F} _{1}(a,b;c;z)} é a função hipergeométrica gaussiana. No caso especial em que ρ = 0 {\displaystyle \rho =0} (correlação populacional zero), a função densidade exata f(r) pode ser escrita como onde B {\displaystyle \mathrm {B} } é a função beta, que é uma forma de escrever a densidade de uma distribuição t de Student para um coeficiente de correlação amostral studentizado, como acima.
Usando a transformação de Fisher
Na prática, intervalos de confiança e testes de hipóteses relativos a ρ são geralmente realizados usando a transformação de Fisher, F {\displaystyle F} : F(r) segue aproximadamente uma distribuição normal com onde n é o tamanho da amostra. O erro de aproximação é menor para um grande tamanho de amostra n {\displaystyle n} e pequeno r {\displaystyle r} e ρ 0 {\displaystyle \rho _{0}} e aumenta caso contrário. sob a hipótese nula de que ρ = ρ 0 {\displaystyle \rho =\rho _{0}} , dada a suposição de que os pares da amostra são independentes e identicamente distribuídos e seguem uma distribuição normal bivariada. Assim, um p-valor aproximado pode ser obtido a partir de uma tabela de probabilidade normal. Por exemplo, se z = 2,2 é observado e um p-valor bilateral é desejado para testar a hipótese nula de que ρ = 0 {\displaystyle \rho =0} , o p-valor é 2Φ(−2,2) = 0,028, onde Φ é a função de distribuição acumulada normal padrão.
O quadrado do coeficiente de correlação amostral é tipicamente denotado por r2 e é um caso especial do coeficiente de determinação. Neste caso, estima a fração da variância em Y que é explicada por X numa regressão linear simples. Portanto, se tivermos o conjunto de dados observado Y 1 , … , Y n {\displaystyle Y_{1},\dots ,Y_{n}} e o conjunto de dados ajustado Y ^ 1 , … , Y ^ n {\displaystyle {\hat {Y}}_{1},\dots ,{\hat {Y}}_{n}} , então, como ponto de partida, a variação total nos Yi em torno do seu valor médio pode ser decomposta da seguinte forma onde os Y ^ i {\displaystyle {\hat {Y}}_{i}} são os valores ajustados da análise de regressão. Isto pode ser reorganizado para dar As duas parcelas acima são a fração da variância em Y que é explicada por X (direita) e a que não é explicada por X (esquerda). A seguir, aplicamos uma propriedade dos modelos de regressão de mínimos quadrados, de que a covariância amostral entre Y ^ i {\displaystyle {\hat {Y}}_{i}} e Y i − Y ^ i {\displaystyle Y_{i}-{\hat {Y}}_{i}} é zero. Assim, o coeficiente de correlação amostral entre os valores observados e ajustados na regressão pode ser escrito como
Existência
O coeficiente de correlação populacional de Pearson é definido em termos de [[momento (matemática)|momentos] e, portanto, existe para qualquer distribuição de probabilidade bivariada para a qual a populacional covariância é definida e as variâncias populacionais marginais são definidas e não nulas. Algumas distribuições de probabilidade, como a distribuição de Cauchy, têm variância indefinida e, portanto, ρ não é definido se X ou Y seguirem tal distribuição. Em algumas aplicações práticas, como aquelas que envolvem dados suspeitos de seguir uma distribuição de cauda pesada, esta é uma consideração importante. No entanto, a existência do coeficiente de correlação geralmente não é uma preocupação; por exemplo, se o intervalo da distribuição for limitado, ρ está sempre definido.
Robustez
Como muitas estatísticas comumente usadas, a estatística amostral r não é robusta, portanto, seu valor pode ser enganoso se outliers estiverem presentes. Especificamente, o PMCC não é robusto em termos de distribuição, nem resistente a outliers (veja Estatística robusta). A inspeção do gráfico de dispersão entre X e Y geralmente revelará uma situação onde a falta de robustez pode ser um problema, e nesses casos pode ser aconselhável usar uma medida robusta de associação. Note, no entanto, que embora a maioria dos estimadores robustos de associação meçam dependência estatística de alguma forma, geralmente não são interpretáveis na mesma escala que o coeficiente de correlação de Pearson.
Variações do coeficiente de correlação podem ser calculadas para diferentes finalidades. Aqui estão alguns exemplos. Se uma população ou conjunto de dados for caracterizado por mais de duas variáveis, um coeficiente de correlação parcial mede a força da dependência entre um par de variáveis que não é explicada pela forma como ambas mudam em resposta a variações num subconjunto selecionado das outras variáveis. Para dois observáveis, X {\displaystyle X} e Y {\displaystyle Y} , num sistema quântico bipartido, o coeficiente de correlação de Pearson é definido como C o r ( X , Y ) {\displaystyle \mathbb {Cor} (X,Y)} é simétrico, ou seja, C o r ( X , Y ) = C o r ( Y , X ) {\displaystyle \mathbb {Cor} (X,Y)=\mathbb {Cor} (Y,X)} , e o seu valor absoluto é invariante sob transformações afins.
Coeficiente de correlação ajustado
O coeficiente de correlação amostral r não é uma estimativa não enviesada de ρ. Para dados que seguem uma distribuição normal bivariada, a expectativa E[r] para o coeficiente de correlação amostral r de uma normal bivariada é O único estimador de variância mínima não enviesado radj é dado por Um estimador aproximadamente não enviesado radj pode ser obtido[carece de fontes?] truncando E[r] e resolvendo esta equação truncada: Uma solução aproximada[carece de fontes?] para a equação (2) é Outro coeficiente de correlação ajustado proposto é[carece de fontes?]
Coeficiente de correlação ponderado
Suponha que as observações a serem correlacionadas tenham diferentes graus de importância que podem ser expressos com um vetor de pesos w. Para calcular a correlação entre os vetores x e y com o vetor de pesos w (todos de comprimento n),
Coeficiente de correlação reflexivo
O coeficiente de correlação reflexivo é uma variante da correlação de Pearson na qual os dados não são centrados em torno dos seus valores médios.[carece de fontes?] A correlação reflexiva populacional é A correlação reflexiva é simétrica, mas não é invariante sob translação: A correlação reflexiva amostral é equivalente à semelhança do cosseno: A versão ponderada da correlação reflexiva amostral é
Coeficiente de correlação escalado
A correlação escalada é uma variante da correlação de Pearson na qual o intervalo dos dados é restrito intencionalmente e de forma controlada para revelar correlações entre componentes rápidos em séries temporais. A correlação escalada é definida como a correlação média ao longo de segmentos curtos de dados. Seja K {\displaystyle K} o número de segmentos que podem ser ajustados ao comprimento total do sinal T {\displaystyle T} para uma dada escala s {\displaystyle s} : A correlação escalada em todos os sinais r ¯ s {\displaystyle {\bar {r}}_{s}} é então calculada como onde r k {\displaystyle r_{k}} é o coeficiente de correlação de Pearson para o segmento k {\displaystyle k} .
Distância de Pearson
Uma métrica de distância para duas variáveis X e Y conhecida como distância de Pearson pode ser definida a partir do seu coeficiente de correlação como Considerando que o coeficiente de correlação de Pearson se situa entre [−1, +1], a distância de Pearson situa-se em [0, 2]. A distância de Pearson tem sido usada em análise de clusters e deteção de dados para comunicações e armazenamento com ganho e deslocamento desconhecidos. A "distância" de Pearson definida desta forma atribui distância maior do que 1 a correlações negativas. Na realidade, tanto a correlação positiva forte quanto as correlações negativas são significativas, portanto, deve-se ter cuidado quando a "distância" de Pearson é usada para o algoritmo do vizinho mais próximo, pois tal algoritmo só incluirá vizinhos com correlação positiva e excluirá vizinhos com correlação negativa. Alternativamente, uma distância de valor absoluto, d X , Y = 1 − | ρ X , Y | {\displaystyle d_{X,Y}=1-|\rho _{X,Y}|} , pode ser aplicada, a qual levará em conta tanto correlações positivas quanto negativas. A informação sobre a associação positiva e negativa pode ser extraída separadamente, mais tarde.
Coeficiente de correlação circular
Para variáveis X = {x1,...,xn} e Y = {y1,...,yn} que estão definidas no círculo unitário 0, 2π, é possível definir um análogo circular do coeficiente de Pearson. Isto é feito transformando os pontos de dados em X e Y com uma função seno de modo que o coeficiente de correlação seja dado por: onde x ¯ {\displaystyle {\bar {x}}} e y ¯ {\displaystyle {\bar {y}}} são as médias circulares de X e Y. Esta medida pode ser útil em campos como a meteorologia, onde a direção angular dos dados é importante.
É sempre possível remover as correlações entre todos os pares de um número arbitrário de variáveis aleatórias usando uma transformação de dados, mesmo que a relação entre as variáveis seja não linear. Uma apresentação deste resultado para distribuições populacionais é dada por Cox & Hinkley. Existe um resultado correspondente para reduzir as correlações amostrais a zero. Suponha que um vetor de n variáveis aleatórias é observado m vezes. Seja X uma matriz onde X i , j {\displaystyle X_{i,j}} é a j-ésima variável da observação i. Seja Z m , m {\displaystyle Z_{m,m}} uma matriz quadrada m por m com cada elemento 1. Então D são os dados transformados de modo que cada variável aleatória tenha média zero, e T são os dados transformados de modo que todas as variáveis tenham média zero e correlação zero com todas as outras variáveis – a matriz de correlação amostral de T será a matriz identidade. Isto tem que ser ainda dividido pelo desvio padrão para obter variância unitária. As variáveis transformadas serão não correlacionadas, embora possam não ser independentes.
