Coeficiente de determinação
O coeficiente de determinação, também chamado de R², é uma medida de ajuste de um modelo estatístico linear generalizado, como a regressão linear simples ou múltipla, aos valores observados de uma variável aleatória. O R² varia entre 0 e 1, por vezes sendo expresso em termos percentuais. Nesse caso, expressa a quantidade da variância dos dados que é explicada pelo modelo linear. Assim, quanto maior o R², mais explicativo é o modelo linear, ou seja, melhor ele se ajusta à amostra. Por exemplo, um R² = 0,8234 significa que o modelo linear explica 82,34% da variância da variável dependente a partir do regressores incluídas naquele modelo linear.
S Q tot = ∑ i = 1 n ( y i − y ¯ ) 2 , {\displaystyle SQ_{\text{tot}}=\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2},} onde n {\displaystyle n} é o numero de observações; Partindo de que y i {\displaystyle y_{i}} é o valor observado e y ¯ {\displaystyle {\bar {y}}} é a média das observações, esta equação dá-nos a Soma Total dos Quadrados, ou seja, a soma dos quadrados das diferenças entre a média e cada valor observado. S Q res = ∑ i = 1 n ( y i − y i ^ ) 2 , {\displaystyle SQ_{\text{res}}=\sum _{i=1}^{n}(y_{i}-{\hat {y_{i}}})^{2},} onde y i ^ {\displaystyle {\hat {y_{i}}}} é o valor estimado (previsão) de y i {\displaystyle y_{i}} . Esta equação é a soma dos quadrados dos resíduos, que calcula a parte que não é explicada pelo modelo. S Q exp = ∑ i = 1 n ( y i ^ − y ¯ ) 2 , {\displaystyle SQ_{\text{exp}}=\sum _{i=1}^{n}({\hat {y_{i}}}-{\bar {y}})^{2},} onde y i ^ {\displaystyle {\hat {y_{i}}}} é o valor estimado (previsão) de y i {\displaystyle y_{i}} .
A inclusão de inúmeras variáveis, mesmo que tenham muito pouco poder explicativo sobre a variável dependente, aumentarão o valor de R². Isto incentiva a inclusão indiscriminada de variáveis, prejudicando o princípio da parcimônia (ver de forma mais ampla em navalha de Ockhan). Para combater esta tendência, podemos usar uma medida alternativa do coeficiente de determinação, que penaliza a inclusão de regressores pouco explicativos. Trata-se do R² ajustado: R 2 ¯ = 1 − n − 1 n − ( k + 1 ) ( 1 − R 2 ) , {\displaystyle {\bar {R^{2}}}=1-{\frac {n-1}{n-(k+1)}}\left(1-R^{2}\right),} onde ( k + 1 ) {\displaystyle (k+1)\,\!} representa o número de variáveis explicativas mais a constante. Note que a inclusão de mais variáveis com pouco poder explicativo prejudica o valor do R² ajustado, porque aumenta k {\displaystyle k} uma unidade, sem aumentar substancialmente o R 2 {\displaystyle R^{2}} .
Para provarmos que o Coeficiente de Determinação equivale ao quadrado do Coeficiente de Correlação, precisamos provar inicialmente:
Teorema 1
S Q tot = n . ( y 2 ¯ − y ¯ 2 ) {\displaystyle SQ_{\text{tot}}=n.{\biggl (}{\overline {y^{2}}}-{\overline {y}}^{2}{\biggr )}} S Q tot = ( y 1 − y ¯ ) 2 + ( y 2 − y ¯ ) 2 + ⋯ + ( y n − y ¯ ) 2 {\displaystyle SQ_{\text{tot}}=(y_{1}-{\overline {y}})^{2}+(y_{2}-{\overline {y}})^{2}+\cdots +(y_{n}-{\overline {y}})^{2}} = ( y 1 2 − 2. y 1 . y ¯ + y ¯ 2 ) + ⋯ + ( y n 2 − 2. y n . y ¯ + y ¯ 2 ) {\displaystyle =(y_{1}^{2}-2.y_{1}.{\overline {y}}+{\overline {y}}^{2})+\cdots +(y_{n}^{2}-2.y_{n}.{\overline {y}}+{\overline {y}}^{2})} = ( ∑ y 2 ) − ( 2. y ¯ . ∑ y ) + ( n . y ¯ 2 ) {\displaystyle ={\bigl (}\sum {y^{2}}{\bigr )}-{\bigl (}2.{\overline {y}}.\sum {y}{\bigr )}+{\bigl (}n.{\overline {y}}^{2}{\bigr )}}
Teorema 2
S Q r e s = n . ( x ¯ . y ¯ − x y ¯ ) 2 x ¯ 2 − x 2 ¯ + S Q t o t {\displaystyle SQ_{res}=n.{\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{{\overline {x}}^{2}-{\overline {x^{2}}}}}+SQ_{tot}} Inicialmente, precisamos reescrever a expressão do valor estimado pela Regressão Linear: y ^ k = A . x k + B {\displaystyle {\hat {y}}_{k}=A.x_{k}+B} = A . x k + ( y ¯ − A . x ¯ ) {\displaystyle =A.x_{k}+({\overline {y}}-A.{\overline {x}})} = A . ( x k − x ¯ ) + y ¯ {\displaystyle =A.(x_{k}-{\overline {x}})+{\overline {y}}} S Q r e s = ( y ^ 1 − y 1 ) 2 + ( y ^ 2 − y 2 ) 2 + ⋯ + ( y ^ n − y n ) 2 {\displaystyle SQ_{res}=({\hat {y}}_{1}-y_{1})^{2}+({\hat {y}}_{2}-y_{2})^{2}+\cdots +({\hat {y}}_{n}-y_{n})^{2}}
