回归分析

残差平方和是关于 $b_0$ 与 $b_1$ 的光滑(二次、凸)函数,因此其最小值恰好出现在两个偏导数同时为零之处——这与通过让碗在各个方向上的坡度都为零来找到碗底是同一个思路。

记 $Q(b_0,b_1)=\sum_{i=1}^n (y_i-b_0-b_1x_i)^2$。对 $b_0$ 求偏导并令其为零:$\dfrac{\partial Q}{\partial b_0}=-2\sum_{i=1}^n(y_i-b_0-b_1x_i)=0$,化简得第一正规方程 $\sum_{i=1}^n y_i = nb_0+b_1\sum_{i=1}^n x_i$,即 $b_0=\bar y-b_1\bar x$。

对 $b_1$ 求偏导并令其为零:$\dfrac{\partial Q}{\partial b_1}=-2\sum_{i=1}^n x_i(y_i-b_0-b_1x_i)=0$,即第二正规方程 $\sum_{i=1}^n x_iy_i = b_0\sum_{i=1}^n x_i+b_1\sum_{i=1}^n x_i^2$。

将第一式 $b_0=\bar y-b_1\bar x$ 代入第二式:$\sum_{i=1}^n x_iy_i = (\bar y-b_1\bar x)n\bar x+b_1\sum_{i=1}^n x_i^2 = n\bar x\bar y+b_1\left(\sum_{i=1}^n x_i^2-n\bar x^2\right)$。整理分离出 $b_1$:$b_1\left(\sum_{i=1}^n x_i^2-n\bar x^2\right)=\sum_{i=1}^n x_iy_i-n\bar x\bar y$。

直接的代数展开表明 $\sum_{i=1}^n x_i^2-n\bar x^2=\sum_{i=1}^n(x_i-\bar x)^2=S_{xx}$,$\sum_{i=1}^n x_iy_i-n\bar x\bar y=\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)=S_{xy}$,故 $b_1=S_{xy}/S_{xx}$。代回即得 $b_0=\bar y-b_1\bar x$。由于 $Q$ 是当 $|b_0|,|b_1|\to\infty$ 时无限增长的二次型平方和,这个唯一的驻点必是全局最小值。

最小二乘拟合的残差总是与拟合值不相关,因为定义 $\hat\beta_0,\hat\beta_1$ 的正规方程恰恰就是强制这一点成立的条件。正是这种正交性,使得总变差能干净地分解为"被解释"部分与"剩余"部分,而没有交叉项。

上面最小二乘定理给出的两个正规方程为 $\sum_{i=1}^n e_i=0$ 与 $\sum_{i=1}^n x_ie_i=0$,其中 $e_i=y_i-\hat y_i$。由于 $\hat y_i=\hat\beta_0+\hat\beta_1x_i$ 是 $1$ 与 $x_i$ 的线性组合,两个正规方程结合给出 $\sum_{i=1}^n e_i\hat y_i=\hat\beta_0\sum_{i=1}^n e_i+\hat\beta_1\sum_{i=1}^n x_ie_i=0$。再结合 $\sum e_i=0$,得到 $\sum_{i=1}^n e_i(\hat y_i-\bar y)=\sum e_i\hat y_i-\bar y\sum e_i=0$。

现在展开 $SST=\sum_{i=1}^n(y_i-\bar y)^2=\sum_{i=1}^n\big((y_i-\hat y_i)+(\hat y_i-\bar y)\big)^2=\sum e_i^2+2\sum e_i(\hat y_i-\bar y)+\sum(\hat y_i-\bar y)^2$。交叉项由刚证明的正交性消去,剩下 $SST=SSE+SSR$。

由于 $SSE=\sum e_i^2\ge0$ 且 $SSR=\sum(\hat y_i-\bar y)^2\ge0$,将 $SST=SSR+SSE$ 除以 $SST>0$ 得 $R^2=SSR/SST\in[0,1]$。

最后,$\hat y_i-\bar y=\hat\beta_1(x_i-\bar x)$(因为 $\hat y_i=\hat\beta_0+\hat\beta_1x_i$ 且 $\bar y=\hat\beta_0+\hat\beta_1\bar x$),故 $SSR=\hat\beta_1^2S_{xx}$。代入 $\hat\beta_1=S_{xy}/S_{xx}$ 得 $SSR=S_{xy}^2/S_{xx}$,又 $SST=S_{yy}=\sum(y_i-\bar y)^2$,故 $R^2=\dfrac{S_{xy}^2}{S_{xx}S_{yy}}=\left(\dfrac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}\right)^2=r^2$,即样本相关系数的平方。