回帰分析

残差平方和は $b_0$ と $b_1$ に関して滑らかな(二次で凸な)関数であるから、その最小値はちょうど両方の偏微分が0になる点で見つかる——お椀の底を、あらゆる方向の傾きを0にすることで見つけるのと同じ発想である。

$Q(b_0,b_1)=\sum_{i=1}^n (y_i-b_0-b_1x_i)^2$ とおく。$b_0$ に関する偏微分を0とすると:$\dfrac{\partial Q}{\partial b_0}=-2\sum_{i=1}^n(y_i-b_0-b_1x_i)=0$、これは第一正規方程式 $\sum_{i=1}^n y_i = nb_0+b_1\sum_{i=1}^n x_i$、すなわち $b_0=\bar y-b_1\bar x$ に簡約される。

$b_1$ に関する偏微分を0とすると:$\dfrac{\partial Q}{\partial b_1}=-2\sum_{i=1}^n x_i(y_i-b_0-b_1x_i)=0$、第二正規方程式 $\sum_{i=1}^n x_iy_i = b_0\sum_{i=1}^n x_i+b_1\sum_{i=1}^n x_i^2$。

第一式の $b_0=\bar y-b_1\bar x$ を第二式に代入すると:$\sum_{i=1}^n x_iy_i = (\bar y-b_1\bar x)n\bar x+b_1\sum_{i=1}^n x_i^2 = n\bar x\bar y+b_1\left(\sum_{i=1}^n x_i^2-n\bar x^2\right)$。整理して $b_1$ を分離する:$b_1\left(\sum_{i=1}^n x_i^2-n\bar x^2\right)=\sum_{i=1}^n x_iy_i-n\bar x\bar y$。

直接の代数展開により $\sum_{i=1}^n x_i^2-n\bar x^2=\sum_{i=1}^n(x_i-\bar x)^2=S_{xx}$、$\sum_{i=1}^n x_iy_i-n\bar x\bar y=\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)=S_{xy}$ となるので、$b_1=S_{xy}/S_{xx}$。これを戻すと $b_0=\bar y-b_1\bar x$ が得られる。$Q$ は $|b_0|,|b_1|\to\infty$ で際限なく増加する二次形式の平方和であるから、この唯一の停留点が大域的最小値である。

最小二乗による残差は、当てはめ値と常に無相関である。なぜなら $\hat\beta_0,\hat\beta_1$ を定める正規方程式こそが、まさにこれを強制する条件だからである。この直交性こそが、総変動を交差項なしに「説明される」部分と「残りの」部分へきれいに分解させる理由である。

上で示した最小二乗定理の2つの正規方程式は $\sum_{i=1}^n e_i=0$ と $\sum_{i=1}^n x_ie_i=0$ を与える(ただし $e_i=y_i-\hat y_i$)。$\hat y_i=\hat\beta_0+\hat\beta_1x_i$ は $1$ と $x_i$ の線形結合であるから、両正規方程式を組み合わせると $\sum_{i=1}^n e_i\hat y_i=\hat\beta_0\sum_{i=1}^n e_i+\hat\beta_1\sum_{i=1}^n x_ie_i=0$ が得られる。$\sum e_i=0$ と合わせると $\sum_{i=1}^n e_i(\hat y_i-\bar y)=\sum e_i\hat y_i-\bar y\sum e_i=0$。

次に $SST=\sum_{i=1}^n(y_i-\bar y)^2=\sum_{i=1}^n\big((y_i-\hat y_i)+(\hat y_i-\bar y)\big)^2=\sum e_i^2+2\sum e_i(\hat y_i-\bar y)+\sum(\hat y_i-\bar y)^2$ を展開する。交差項は今示した直交性により消え、$SST=SSE+SSR$ が残る。

$SSE=\sum e_i^2\ge0$、$SSR=\sum(\hat y_i-\bar y)^2\ge0$ であるから、$SST=SSR+SSE$ を $SST>0$ で割ると $R^2=SSR/SST\in[0,1]$ が得られる。

最後に、$\hat y_i-\bar y=\hat\beta_1(x_i-\bar x)$(なぜなら $\hat y_i=\hat\beta_0+\hat\beta_1x_i$、$\bar y=\hat\beta_0+\hat\beta_1\bar x$ であるから)なので $SSR=\hat\beta_1^2S_{xx}$。$\hat\beta_1=S_{xy}/S_{xx}$ を代入すると $SSR=S_{xy}^2/S_{xx}$、$SST=S_{yy}=\sum(y_i-\bar y)^2$ であるから、$R^2=\dfrac{S_{xy}^2}{S_{xx}S_{yy}}=\left(\dfrac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}\right)^2=r^2$、すなわち標本相関係数の二乗となる。