Ước lượng bình phương tối thiểu thông thường

Đặt $Q(b_0,b_1)=\sum_{i=1}^n (y_i-b_0-b_1x_i)^2$. Lấy đạo hàm riêng theo $b_0$ và cho bằng 0: $\dfrac{\partial Q}{\partial b_0}=-2\sum_{i=1}^n(y_i-b_0-b_1x_i)=0$, rút gọn thành phương trình chuẩn thứ nhất $\sum_{i=1}^n y_i = nb_0+b_1\sum_{i=1}^n x_i$, tức $b_0=\bar y-b_1\bar x$.

Lấy đạo hàm riêng theo $b_1$ và cho bằng 0: $\dfrac{\partial Q}{\partial b_1}=-2\sum_{i=1}^n x_i(y_i-b_0-b_1x_i)=0$, phương trình chuẩn thứ hai $\sum_{i=1}^n x_iy_i = b_0\sum_{i=1}^n x_i+b_1\sum_{i=1}^n x_i^2$.

Thay $b_0=\bar y-b_1\bar x$ từ phương trình đầu vào phương trình thứ hai: $\sum_{i=1}^n x_iy_i = (\bar y-b_1\bar x)n\bar x+b_1\sum_{i=1}^n x_i^2 = n\bar x\bar y+b_1\left(\sum_{i=1}^n x_i^2-n\bar x^2\right)$. Sắp xếp lại để tách $b_1$: $b_1\left(\sum_{i=1}^n x_i^2-n\bar x^2\right)=\sum_{i=1}^n x_iy_i-n\bar x\bar y$.

Khai triển đại số trực tiếp cho thấy $\sum_{i=1}^n x_i^2-n\bar x^2=\sum_{i=1}^n(x_i-\bar x)^2=S_{xx}$ và $\sum_{i=1}^n x_iy_i-n\bar x\bar y=\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)=S_{xy}$, nên $b_1=S_{xy}/S_{xx}$. Thay ngược lại cho $b_0=\bar y-b_1\bar x$. Vì $Q$ là tổng bình phương dạng toàn phương tăng không giới hạn khi $|b_0|,|b_1|\to\infty$, điểm dừng duy nhất này chính là cực tiểu toàn cục.