普通最小二乘估计量

记 $Q(b_0,b_1)=\sum_{i=1}^n (y_i-b_0-b_1x_i)^2$。对 $b_0$ 求偏导并令其为零:$\dfrac{\partial Q}{\partial b_0}=-2\sum_{i=1}^n(y_i-b_0-b_1x_i)=0$,化简得第一正规方程 $\sum_{i=1}^n y_i = nb_0+b_1\sum_{i=1}^n x_i$,即 $b_0=\bar y-b_1\bar x$。

对 $b_1$ 求偏导并令其为零:$\dfrac{\partial Q}{\partial b_1}=-2\sum_{i=1}^n x_i(y_i-b_0-b_1x_i)=0$,即第二正规方程 $\sum_{i=1}^n x_iy_i = b_0\sum_{i=1}^n x_i+b_1\sum_{i=1}^n x_i^2$。

将第一式 $b_0=\bar y-b_1\bar x$ 代入第二式:$\sum_{i=1}^n x_iy_i = (\bar y-b_1\bar x)n\bar x+b_1\sum_{i=1}^n x_i^2 = n\bar x\bar y+b_1\left(\sum_{i=1}^n x_i^2-n\bar x^2\right)$。整理分离出 $b_1$:$b_1\left(\sum_{i=1}^n x_i^2-n\bar x^2\right)=\sum_{i=1}^n x_iy_i-n\bar x\bar y$。

直接的代数展开表明 $\sum_{i=1}^n x_i^2-n\bar x^2=\sum_{i=1}^n(x_i-\bar x)^2=S_{xx}$,$\sum_{i=1}^n x_iy_i-n\bar x\bar y=\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)=S_{xy}$,故 $b_1=S_{xy}/S_{xx}$。代回即得 $b_0=\bar y-b_1\bar x$。由于 $Q$ 是当 $|b_0|,|b_1|\to\infty$ 时无限增长的二次型平方和,这个唯一的驻点必是全局最小值。