Correlação
Em probabilidade e estatística, correlação, dependência ou associação é qualquer relação estatística entre duas variáveis e correlação é qualquer relação dentro de uma ampla classe de relações estatísticas que envolva dependência entre duas variáveis. Por exemplo, a correlação entre a estatura dos pais e a estatura dos pais e dos filhos. Embora seja comumente denotada como a medida de relação entre duas variáveis aleatórias, correlação não implica causalidade. Em alguns casos, correlação não identifica dependência entre as variáveis. Em geral, há pares de variáveis que apresentam forte dependência estatística, mas que possuem correlação nula. Para este casos, são utilizadas outras medidas de dependência.
Os conceitos de correlação e de regressão originaram—se nos anos de 1880 com Sir Francis Galton (1822 – 1911), de acordo com sua autobiografia Memories of My Life, publicada em 1890. Em seus estudos sobre o diâmetro das sementes das ervilhas—de—cheiro, Galton chegou à equação de reversão à média: y − y ¯ = r ( x − x ¯ ) {\displaystyle y-{\bar {y}}=r(x-{\bar {x}})} , em que x {\displaystyle x} são o diâmetro das sementes das plantas filhas, y {\displaystyle y} são o diâmetro das sementes das plantas pais e r {\displaystyle r} é a reversão (posteriormente, regressão). Em suas pesquisas sobre a comparação entre estaturas de pais e filhos, Galton usou o termo regressão pela primeira vez para denotar a regressão à média da população observada. Com base na análise da tábua de frequência bidimensional representada pelas alturas dos filhos adultos e meio—pais (média do pai e da mãe), Galton chegou à fórmula da superfície da representação gráfica (atualmente, a fórmula da função normal bidimensional) e à expressão da co—relação (atualmente, correlação) como conseqüência das variações devidas a causas comuns.
Weldon e Pearson
A expressão de correlação foi modificada pelo professor de Zoologia em Cambridge Walter Frank Raphael Weldon (1860 – 1906), que incorporou o sinal positivo e o sinal negativo a partir da análise das dimensões de 22 pares de órgãos de várias espécies de camarões. Entretanto, a atual fórmula do coeficiente de correlação foi determinada em 1896 por Karl Pearson (1857 – 1936). Em Mathematical Contributions to the Theory of Evolution, Pearson publicou entre 1893 e 1912 suas contribuições para a análise de regressão, o coeficiente de correlação e o teste qui—quadrado de significância estatística. Especialmente, o coeficiente de correlação produto—momento de Pearson com foi desenvolvido com base em um conjunto de dados sobre estatura de pais e filhos (inicialmente coletados por Galton), tornando—se a primeira medida de força de associação em estatística.
Edgeworth
Em 1892, Francis Ysidro Edgeworth (1845 – 1926) publicou parte do seu trabalho sobre correlação em Philosophical Magazine com base nas contribuições prévias de Galton. Nos artigos Correlated Averages e The Law of Error and Correlated Averages, Edgeworth introduziu o termo coeficiente de correlação, forneceu a primeira análise matemática de correlação e mostrou sua relação com a distribuição multivariada normal. Entre 1893 e 1895, Edgeworth publicou a continuação do seu trabalho sobre correlação na Philosophical Magazine e na Journal of the Royal Statistcal Society. Por exemplo, o resumo de Recent Contributions to thew Theory of Statistics, que culminou em quatro importantes trabalhos Statistics on Unprogressive Communities, The Assymetrical Probability Curve, The Compound Law of Error e Supplementary Notes on Statistics.
Os diferentes setores da sociedade utilizam amostras θ {\displaystyle \theta } de populações α {\displaystyle \alpha } , em vez de populações de dados α {\displaystyle \alpha } , para auxiliar nas análises dos objetivos das suas áreas de conhecimento. Isto ocorre porque um conjunto reduzido de dados ( θ < α {\displaystyle \theta <\alpha } ) torna o processo mais econômico e mais rápido do ponto de vista matemático. Isto deve–se aos erros de arredondamentos dos cálculos que são feitos em estatística, considerando que uma grande quantidade de dados envolve mais cálculos que uma pequena quantidade de dados.
Correlação populacional
A correlação populacional trata da medida da direção e do grau com que as variáveis X {\displaystyle X} e Y {\displaystyle Y} se associam linearmente em uma população. O coeficiente de correlação populacional ρ X , Y {\displaystyle \rho _{X,Y}} entre duas variáveis X {\displaystyle X} e Y {\displaystyle Y} com valores esperados μ X {\displaystyle \mu _{X}} e μ Y {\displaystyle \mu _{Y}} e desvios padrão σ X {\displaystyle \sigma _{X}} e σ Y {\displaystyle \sigma _{Y}} é definido como: ρ X , Y ≡ c o r r ( x , y ) = c o v ( X , Y ) σ X σ Y = E [ ( X − μ X ) ( Y − μ Y ) ] σ X σ Y , {\displaystyle \rho _{X,Y}\equiv \mathrm {corr} (x,y)={\mathrm {cov} (X,Y) \over \sigma _{X}\sigma _{Y}}={E[(X-\mu _{X})(Y-\mu _{Y})] \over \sigma _{X}\sigma _{Y}},}
Correlação amostral
A correlação amostral trata da medida da direção e do grau com que as variáveis X {\displaystyle X} e Y {\displaystyle Y} se associam linearmente em uma amostra. Karl Pearson desenvolveu o coeficiente amostral a partir de uma ideia semelhante, porém ligeiramente diferente da de Francis Galton. Então, o coeficiente amostral pode ser chamado de coeficiente produto–momento de Pearson, coeficiente de correlação de Pearson ou simplesmente coeficiente de correlação, que é a medida mais conhecida de dependência entre duas variáveis quantitativa. Para uma série de n {\displaystyle n} medições de X {\displaystyle X} e Y {\displaystyle Y} , x i {\displaystyle x_{i}} e y i {\displaystyle y_{i}} para i = 1 , 2 , . . . , n {\displaystyle i=1,2,...,n} , o coeficiente de correlação da amostra pode ser usado para estimar o coeficiente de correlação de Pearson da população r {\displaystyle r} entre X {\displaystyle X} e Y {\displaystyle Y} . Então, o coeficiente de correlação da amostra é escrito como:
Imagem: ALBERT-LÁSZLÓ BARABÁSI · BY · Openverse
Coeficiente de correlação η {\displaystyle \eta } (ETA)
O coeficiente de correlação η {\displaystyle \eta } (ETA) ou razão de correlação mede a intensidade de associação entre variável dependente e independente para casos não–lineares. Isto é, trata a relação de uma variável quantitativa y {\displaystyle y} e outra variável categórica ou nominal x {\displaystyle x} . Expressa–se em percentagem. Assume valores entre 0 e 1. O coeficiente de correlação η {\displaystyle \eta } é dado pela expressão matemática: η 2 ( G | X ) = V a r ( E ( G | X ) ) V a r ( G ) {\displaystyle \eta ^{2}(G|X)={\frac {\mathbb {Var} (\mathbb {E} (G|X))}{\mathbb {Var} (G)}}} Onde, G = G ( x 1 , x 2 , x 3 , . . . , x n ) {\displaystyle G=G(x_{1},x_{2},x_{3},...,x_{n})} é uma função. Ou seja, Y = G {\displaystyle Y=G} .
Correlação de postos de Spearman
A correlação de postos de Spearman é utilizada para a relação entre dados não–lineares. Quando os dados de uma amostra são ordenados de forma crescente, obtém–se uma condição de ordem para que cada elemento ordenado seja um posto. A correlação de postos de Spearman é dada pela expressão matemática: r s = 1 − 6 ⋅ ∑ i = 1 n d i 2 n 3 − n {\displaystyle r_{s}=1-{\frac {6\cdot \sum _{i=1}^{n}d_{i}^{2}}{n^{3}-n}}} , em que d i = r x i − r y i {\displaystyle d_{i}=r_{x_{i}}-r_{y_{i}}} , cm que r x i {\displaystyle r_{x_{i}}} e r y i {\displaystyle r_{y_{i}}} variando de 1 a n {\displaystyle n} , sendo n {\displaystyle n} a quantidade de elementos da amostra.
Correlação de postos de Kendall
A correlação de postos de Kendall, também conhecido como τ {\displaystyle \tau } de Kendall, é uma medida a partir de uma amostra de dados ordenados como a correlação de postos de Spearman. A vantagem de τ {\displaystyle \tau } de Kendall é a generalização para um coeficiente de correlação parcial. A correlação τ {\displaystyle \tau } de Kendall é dada pela expressão matemática: τ = n c − n d 1 2 n ( n − 1 ) {\displaystyle \tau ={\frac {n_{c}-n_{d}}{{\frac {1}{2}}n(n-1)}}} , em que n c {\displaystyle n_{c}} são os números de pares concordantes, n d {\displaystyle n_{d}} são os números de pares discordantes e n {\displaystyle n} é a quantidade de elementos da amostra.
Imagem: Albert-László Barabási · BY-SA · Openverse
Coeficientes de correlação como correlação de postos de Spearman e τ {\displaystyle \tau } de Kendall medem a como uma variável aumenta enquanto outra variável também aumenta, sem exigir que o aumento seja representado por uma relação linear. Se, à medida que uma variável aumenta, uma outra variável diminui, os coeficientes de correlação de postos serão negativos. É comum considerar estes coeficientes de correlação de postos como alternativas ao coeficiente de correlação de Pearson, usado tanto para reduzir a quantidade de cálculo quanto para tornar o coeficiente menos sensível para distribuições não normais. Entretanto, esta visão tem pouca base matemática, na medida em que coeficientes de correlação de postos medem um tipo de relação diferente do coeficiente de correlação de Pearson e são melhor vistos como medidas de um tipo de associação diferente em vez de medidas alternativas do coeficiente de correlação da população.
Imagem: anabananasplit · BY-NC-SA · Openverse
A regressão linear estuda a relação entre muitas ou poucas variáveis. A relação entre duas variáveis é chamada de regressão linear simples. A relação entre mais de duas variáveis é chamada de regressão linear múltipla.
Regressão linear simples
A regressão linear simples estuda a relação entre uma variável independente x {\displaystyle x} e outra variável dependente y {\displaystyle y} , ambas quantitativas. A regressão linear resulta em uma equação sobre o comportamento das variáveis x {\displaystyle x} e y {\displaystyle y} : y i = α + β x i + ε i {\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}} , em que y i {\displaystyle y_{i}} é a variável resposta associada a i {\displaystyle i} –ésima observação de y {\displaystyle y} , x i {\displaystyle x_{i}} é a i {\displaystyle i} –ésima observação do valor independente e fixado para a variável independente x {\displaystyle x} , ε i {\displaystyle \varepsilon _{i}} é o erro aleatório para i {\displaystyle i} –ésima observação e, α {\displaystyle \alpha } e β {\displaystyle \beta } são os parâmetros que precisam ser estimados.
Método dos mínimos quadrados
O cálculo do coeficiente de correlação entre duas variáveis é dado pelo ajuste linear. Para o cálculo das características da linha, o erro cometido ao representar a relação entre as variáveis precisa ser o menor possível. Embora não seja o único critério possível, na maioria das vezes minimiza–se a soma de todos os erros cometidos ao quadrado. Isto é chamado de ajuste para o método dos mínimos quadrados, que resulta na linha de regressão (quanto melhor a qualidade de representação da relação entre as variáveis pela linha de regressão, maior a associação do coeficiente de correlação linear). O método dos mínimos quadrados é uma forma ágil para determinar os parâmetros desconhecidos para uma equação resultante de uma regressão linear, uma vez que minimiza a soma dos quadrados dos resíduos. O método dos mínimos quadrados é útil se os resíduos tiverem distribuição normal.
Imagem: Anne Algers · BY-SA · Openverse
Área comercial (correlação linear)
O setor comercial procura investir em propagandas para aumentar as vendas. Um gráfico de dispersão mostra se há uma correlação linear entre vendas e custo de propaganda. Supondo que uma empresa A {\displaystyle A} tem o cenário conforme a tabela abaixo. A partir do gráfico de dispersão da tabela acima, encontra–se uma correlação linear que mostra uma tendência entre investimento em propaganda e retorno positivo em vendas. É possível estimar um retorno de vendas com um aumento no custo em propaganda pelo cálculo matricial por meio da equação geral da reta a x + b = c {\displaystyle ax+b=c} , em que x {\displaystyle x} são os valores independentes que correspondem aos custos de propaganda e c {\displaystyle c} são os valores de retorno tratados para o cálculo do vetor chamado na tabela A de lucro sobre cada item. Esse cálculo é uma generalização método dos mínimos quadrados.
Área da saúde (correlação não linear)
Para se manter saudável, o consumo de água é indispensável. Uma gestora pública solicita à uma consultoria para verificar se há relação entre o consumo de água e a massa corporal de uma pessoa. A tabela B mostra indivíduos que fazem o consumo de água. Com a elaboração do diagrama de dispersão sobre a Tabela B, torna-se intuitivo pela plotagem (visualização) a não linearização entre massa e consumo de água. Embora necessárias, a intuição e a visualização não são suficientes para provar que não há relação linear. Dessa forma, o cálculo pelo coeficiente de Pearson facilita a demonstração da ausência de linearização para o objetivo da gestora pública. Para o cálculo é utilizado neste exemplo a segunda versão do coeficiente de Pearson, embora visualmente a fórmula seja mais extensa, ela é mais direta. Então,
Imagem: Scm2020ifusp · BY-SA · Openverse
A informação fornecida por um coeficiente de correlação não é suficiente para definir a estrutura de dependência entre variáveis. O coeficiente de correlação define completamente a estrutura de dependência apenas em casos particulares como uma distribuição normal multivariada. No caso de distribuições elípticas, caracteriza as (hiper)elipses de igual densidade. Entretanto, não caracteriza completamente a estrutura de dependência. Por exemplo, os graus de liberdade de uma distribuição t multivariada determinam o nível de dependência de cauda. Correlação da distância — Foi introduzida para endereçar a deficiência da correlação de Pearson que pode ser 0 para variáveis dependentes. Uma correlação de distância igual a 0 implica independência. Coeficiente de dependência randomizado — É uma medida baseada em cópula computacionalmente eficiente da dependência entre variáveis multivariadas. O coeficiente de dependência randomizado é invariante em relação a escalas não lineares de variáveis e é capaz de descobrir uma ampla variedade de padrões de associação funcionais e assume o valor 0 na independência.
Imagem: Ederporto · BY-SA · Openverse
O grau de dependência entre as variáveis X {\displaystyle X} e Y {\displaystyle Y} não depende da escala, na qual as variáveis são expressas. Isto é, quando se analisa a relação entre X {\displaystyle X} e Y {\displaystyle Y} , a maior parte das medidas de correlação não são afetadas pela transformação de X {\displaystyle X} em a + b X {\displaystyle a+bX} e de Y {\displaystyle Y} em c + d Y {\displaystyle c+dY} , em que a , b , c , d {\displaystyle a,b,c,d} são constantes (sendo b , d {\displaystyle b,d} positivos). Isto é verdade para algumas estatísticas de correlação, assim como para os análogos da sua população. Algumas estatísticas de correlação como o coeficiente de correlação de postos também são invariantes para transformações monótonas de distribuições marginais de X {\displaystyle X} e/ou Y {\displaystyle Y} . A maioria das medidas de correlação são sensíveis à maneira pela qual X {\displaystyle X} e Y {\displaystyle Y} são amostradas. As dependências tendem a ser mais fortes se vistas sobre uma variedade mais ampla de valores. Portanto, se for considerado o coeficiente de correlação entre as alturas dos pais e filhos entre todos os homens adultos e isto for comparado com o mesmo coeficiente de correlação calculado quando os pais selecionado têm entre 1,65m e 1,70m de altura, a correlação será mais fraca no último caso. Várias técnicas que foram desenvolvidas que tentam corrigir a restrição do intervalo em uma ou em ambas as variável são comumente usadas em metanálise. As equações do caso III e do caso II de Thorndike são as mais comuns.
A matriz de correlação de n {\displaystyle n} variáveis X 1 , . . . , X n {\displaystyle X_{1},...,X_{n}} é a matriz n × n {\displaystyle n\times n} , cujo i , j {\displaystyle i,j} -ésimo elemento da matriz é corr ( X i , X j ) {\displaystyle \operatorname {corr} (X_{i},X_{j})} . Se as medidas de correlação usadas são coeficientes de produto—momento, a matriz de correlação é igual a matriz de covariância das variáveis padronizadas X i σ ( X i ) {\displaystyle {\frac {X_{i}}{\sigma (X_{i})}}} para i = 1 , . . . , n {\displaystyle i=1,...,n} . Isto é aplicado tanto para matriz de correlações populacionais (caso em que σ {\displaystyle \sigma } denota o desvio padrão populacional) quanto para matriz de correlações amostrais (caso em que σ {\displaystyle \sigma } denota o desvio padrão amostral). Consequentemente, cada uma é necessariamente uma matriz semidefinida—positiva. Além disso, a matriz de correlação é estritamente definida positiva se nenhuma variável puder ter todos os seus valores exatamente gerados como uma combinação linear dos outros. A matriz de correlação é simétrica porque a correlação entre X i {\displaystyle X_{i}} e Y j {\displaystyle Y_{j}} é igual a correlação entre X j {\displaystyle X_{j}} e Y i {\displaystyle Y_{i}} . Por exemplo, uma matriz de correlação aparece, por exemplo, na fórmula para o coeficiente de correlação múltipla ( R {\displaystyle R} ), uma medida de qualidade de ajuste em regressão múltipla: R 2 = c T R X X − 1 c {\displaystyle R^{2}=c^{T}R_{XX}^{-1}c} , onde c {\displaystyle c} é o vetor de correlações entre as variáveis independentes X n {\displaystyle X_{n}} e a variável dependente Y i {\displaystyle Y_{i}} e R X X {\displaystyle R_{XX}} é a matriz de correlação.
Interpretação
É igual a 1, se uma das variáveis é uma função linear crescente da outra variável. É igual a -1, se uma variável é uma função decrescente. Os valores intermédios fornecem informações sobre o grau de dependência linear entre as duas variáveis. Quanto mais próximo o coeficiente estiver dos valores extremos -1 e 1, mais forte é a correlação linear entre as variáveis. Uma correlação igual a 0 significa que as variáveis não estão linearmente correlacionadas, mas podem estar correlacionado de forma não linear. O coeficiente de correlação não é sensível às unidades de cada variável. Por exemplo, o coeficiente de correlação linear entre a idade e o peso de uma pessoa será a mesma idade medida em semanas, meses ou anos. Entretanto, este coeficiente de correlação é extremamente sensível à presença de outliers no conjunto de dados (valores muito discrepantes, que podem ser considerados exceções).
Dependência
É sempre possível calcular um coeficiente de correlação para variáveis (exceto para casos muito especiais), mas este coeficiente de correlação nem sempre é capaz de explicar a relação entre as variáveis. Em uma tentativa de julgar a existência de uma relação linear entre duas variáveis, não é adequado julgar as correlações quando as relações entre elas não são lineares ou quando os dados são muito heterogêneos, uma vez que não há uma relação de causa e efeito entre as variáveis. Se as duas variáveis aleatórias forem completamente independentes, então a correlação entre elas é nula. Entretanto, o inverso não necessariamente é verdadeiro, isto é, coeficiente de correlação nulo não não necessariamente implica independência entre as variáveis, pois se as variáveis apresentarem uma relação não linear ( Y = X 2 {\displaystyle Y=X^{2}} , por exemplo), o coeficiente de correlação será nulo, mesmo sendo relacionadas. Estas considerações são ilustradas pelos seguintes exemplos no domínio de estatísticas:
Imagem: Juliana Yamacita · BY-SA · Openverse
Em geral, o estudo da relação entre as variáveis deve ser acompanhado de gráficos descritivos para a apreensão dos dados à disposição para evitar incorrer os limites estritamente técnicos dos cálculos utilizados. Entretanto, quando se trata de se concentrar nas ligações entre diversas variáveis, as representações gráficas podem não ser possíveis ou podem não ter os dados dispersos de uma forma que seja imediatamente possível identificar a correlação. Os cálculos podem então ajudar a simplificar as interpretações possíveis sobre as ligações entre as variáveis e/ou indicarem as principais hipóteses necessárias para boas leituras.
Correlação e causalidade
A expressão correlação não implica causalidade significa que correlação não pode ser usada para a relação causal entre as variáveis. Por exemplo, a quantidade de queimaduras de sol pode estar fortemente correlacionada ao número de óculos de sol vendidos em uma cidade litorânea, mas nenhum fenômeno é provavelmente a causa do outro. Entretanto, por mais que a expressão não signifique que as correlações não podem indicar a potencial existência de relações causais, as causas subjacentes à correlação (se houver) podem ser indiretas e desconhecidas. Por exemplo, a correlação entre idade e altura em crianças é clara. No entanto, a correlação entre humor e saúde nas pessoas é menos óbvia. A afirmação correta é a melhora do humor leva à melhora da saúde, a boa saúde leva ao bom humor ou ambas? Em outras palavras, uma correlação pode ser tomada como evidência de uma possível relação causal, mas não pode indicar qual é a relação causal.
Correlação e linearidade
IO coeficiente de correlação de Pearson indica a força de uma relação linear entre duas variáveis, mas seu valor geralmente não caracteriza completamente sua relação. Em particular, se a média condicional de Y {\displaystyle Y} dado X {\displaystyle X} , denotado E ( Y | X ) {\displaystyle E(Y|X)} , não for linear em X {\displaystyle X} , o coeficiente de correlação não determinará completamente E ( Y | X ) {\displaystyle E(Y|X)} . A imagem ao lado mostra gráficos de dispersão do quarteto de Anscombe, um conjunto de quatro pares diferentes de variáveis criadas por Francis Anscombe. As quatro variáveis y {\displaystyle y} têm a mesma média (7,5), variância (4,12), correlação (0,816) e regressão linear ( y = 3 + 0 , 5 x ) {\displaystyle (y=3+0,5x)} . Entretanto, a distribuição das variáveis é muito diferente. De acordo com os gráficos ao lado, o coeficiente de correlação como uma estatística de resumo não pode substituir a análise visual dos dados. Nota–se que os exemplos às vezes indicam que o coeficiente de correlação de Pearson presume que os dados seguem uma distribuição normal. No entanto, isto não é verdade.
