MathLabs
定理証明済み

平方和分解と$R^2$の範囲

内容

単回帰において SST=SSR+SSESST=SSR+SSE が成り立ち、したがって 0≤R2≤10\le R^2\le 1 である。さらに R2R^2 は xx と yy の標本相関係数 rr の二乗に等しい:R2=r2R^2=r^2。

なぜ正しいのか?

最小二乗による残差は、当てはめ値と常に無相関である。なぜなら β^0,β^1\hat\beta_0,\hat\beta_1 を定める正規方程式こそが、まさにこれを強制する条件だからである。この直交性こそが、総変動を交差項なしに「説明される」部分と「残りの」部分へきれいに分解させる理由である。

証明の概略

上で示した最小二乗定理の2つの正規方程式は ∑i=1nei=0\sum_{i=1}^n e_i=0 と ∑i=1nxiei=0\sum_{i=1}^n x_ie_i=0 を与える(ただし ei=yi−y^ie_i=y_i-\hat y_i)。y^i=β^0+β^1xi\hat y_i=\hat\beta_0+\hat\beta_1x_i は 11 と xix_i の線形結合であるから、両正規方程式を組み合わせると ∑i=1neiy^i=β^0∑i=1nei+β^1∑i=1nxiei=0\sum_{i=1}^n e_i\hat y_i=\hat\beta_0\sum_{i=1}^n e_i+\hat\beta_1\sum_{i=1}^n x_ie_i=0 が得られる。∑ei=0\sum e_i=0 と合わせると ∑i=1nei(y^i−yˉ)=∑eiy^i−yˉ∑ei=0\sum_{i=1}^n e_i(\hat y_i-\bar y)=\sum e_i\hat y_i-\bar y\sum e_i=0。

次に SST=∑i=1n(yi−yˉ)2=∑i=1n((yi−y^i)+(y^i−yˉ))2=∑ei2+2∑ei(y^i−yˉ)+∑(y^i−yˉ)2SST=\sum_{i=1}^n(y_i-\bar y)^2=\sum_{i=1}^n\big((y_i-\hat y_i)+(\hat y_i-\bar y)\big)^2=\sum e_i^2+2\sum e_i(\hat y_i-\bar y)+\sum(\hat y_i-\bar y)^2 を展開する。交差項は今示した直交性により消え、SST=SSE+SSRSST=SSE+SSR が残る。

SSE=∑ei2≥0SSE=\sum e_i^2\ge0、SSR=∑(y^i−yˉ)2≥0SSR=\sum(\hat y_i-\bar y)^2\ge0 であるから、SST=SSR+SSESST=SSR+SSE を SST>0SST>0 で割ると R2=SSR/SST∈[0,1]R^2=SSR/SST\in[0,1] が得られる。

最後に、y^i−yˉ=β^1(xi−xˉ)\hat y_i-\bar y=\hat\beta_1(x_i-\bar x)(なぜなら y^i=β^0+β^1xi\hat y_i=\hat\beta_0+\hat\beta_1x_i、yˉ=β^0+β^1xˉ\bar y=\hat\beta_0+\hat\beta_1\bar x であるから)なので SSR=β^12SxxSSR=\hat\beta_1^2S_{xx}。β^1=Sxy/Sxx\hat\beta_1=S_{xy}/S_{xx} を代入すると SSR=Sxy2/SxxSSR=S_{xy}^2/S_{xx}、SST=Syy=∑(yi−yˉ)2SST=S_{yy}=\sum(y_i-\bar y)^2 であるから、R2=Sxy2SxxSyy=(SxySxxSyy)2=r2R^2=\dfrac{S_{xy}^2}{S_{xx}S_{yy}}=\left(\dfrac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}\right)^2=r^2、すなわち標本相関係数の二乗となる。

この定理を使うトピック

回帰分析

ステップごとの証明

この定理のステップごとの証明はまだありません。