平方和分解与$R^2$的界

上面最小二乘定理给出的两个正规方程为 $\sum_{i=1}^n e_i=0$ 与 $\sum_{i=1}^n x_ie_i=0$,其中 $e_i=y_i-\hat y_i$。由于 $\hat y_i=\hat\beta_0+\hat\beta_1x_i$ 是 $1$ 与 $x_i$ 的线性组合,两个正规方程结合给出 $\sum_{i=1}^n e_i\hat y_i=\hat\beta_0\sum_{i=1}^n e_i+\hat\beta_1\sum_{i=1}^n x_ie_i=0$。再结合 $\sum e_i=0$,得到 $\sum_{i=1}^n e_i(\hat y_i-\bar y)=\sum e_i\hat y_i-\bar y\sum e_i=0$。

现在展开 $SST=\sum_{i=1}^n(y_i-\bar y)^2=\sum_{i=1}^n\big((y_i-\hat y_i)+(\hat y_i-\bar y)\big)^2=\sum e_i^2+2\sum e_i(\hat y_i-\bar y)+\sum(\hat y_i-\bar y)^2$。交叉项由刚证明的正交性消去,剩下 $SST=SSE+SSR$。

由于 $SSE=\sum e_i^2\ge0$ 且 $SSR=\sum(\hat y_i-\bar y)^2\ge0$,将 $SST=SSR+SSE$ 除以 $SST>0$ 得 $R^2=SSR/SST\in[0,1]$。

最后,$\hat y_i-\bar y=\hat\beta_1(x_i-\bar x)$(因为 $\hat y_i=\hat\beta_0+\hat\beta_1x_i$ 且 $\bar y=\hat\beta_0+\hat\beta_1\bar x$),故 $SSR=\hat\beta_1^2S_{xx}$。代入 $\hat\beta_1=S_{xy}/S_{xx}$ 得 $SSR=S_{xy}^2/S_{xx}$,又 $SST=S_{yy}=\sum(y_i-\bar y)^2$,故 $R^2=\dfrac{S_{xy}^2}{S_{xx}S_{yy}}=\left(\dfrac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}\right)^2=r^2$,即样本相关系数的平方。