通常最小二乗推定量

$Q(b_0,b_1)=\sum_{i=1}^n (y_i-b_0-b_1x_i)^2$ とおく。$b_0$ に関する偏微分を0とすると:$\dfrac{\partial Q}{\partial b_0}=-2\sum_{i=1}^n(y_i-b_0-b_1x_i)=0$、これは第一正規方程式 $\sum_{i=1}^n y_i = nb_0+b_1\sum_{i=1}^n x_i$、すなわち $b_0=\bar y-b_1\bar x$ に簡約される。

$b_1$ に関する偏微分を0とすると:$\dfrac{\partial Q}{\partial b_1}=-2\sum_{i=1}^n x_i(y_i-b_0-b_1x_i)=0$、第二正規方程式 $\sum_{i=1}^n x_iy_i = b_0\sum_{i=1}^n x_i+b_1\sum_{i=1}^n x_i^2$。

第一式の $b_0=\bar y-b_1\bar x$ を第二式に代入すると:$\sum_{i=1}^n x_iy_i = (\bar y-b_1\bar x)n\bar x+b_1\sum_{i=1}^n x_i^2 = n\bar x\bar y+b_1\left(\sum_{i=1}^n x_i^2-n\bar x^2\right)$。整理して $b_1$ を分離する:$b_1\left(\sum_{i=1}^n x_i^2-n\bar x^2\right)=\sum_{i=1}^n x_iy_i-n\bar x\bar y$。

直接の代数展開により $\sum_{i=1}^n x_i^2-n\bar x^2=\sum_{i=1}^n(x_i-\bar x)^2=S_{xx}$、$\sum_{i=1}^n x_iy_i-n\bar x\bar y=\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)=S_{xy}$ となるので、$b_1=S_{xy}/S_{xx}$。これを戻すと $b_0=\bar y-b_1\bar x$ が得られる。$Q$ は $|b_0|,|b_1|\to\infty$ で際限なく増加する二次形式の平方和であるから、この唯一の停留点が大域的最小値である。