估计

取平均消除了系统性偏差:在许多假想样本上取平均,$\bar X$ 恰好落在真实总体均值 $\mu$ 处,既不系统性偏高也不系统性偏低。

根据定义,$\bar X = \frac{1}{n}\sum_{i=1}^{n} X_i$。期望是线性算子,因此可以分配到求和及常数因子 $\frac{1}{n}$ 上:$E[\bar X] = \frac{1}{n}\sum_{i=1}^{n} E[X_i]$。

由于每个 $X_i$ 都来自同一总体,对 $n$ 项中的每一项都有 $E[X_i] = \mu$,于是求和化简为 $\frac{1}{n}\sum_{i=1}^{n} \mu = \frac{1}{n}(n\mu) = \mu$。

因此对任意样本量 $n$ 都有 $E[\bar X] = \mu$:无论样本大小,样本均值都是无偏的。这只是关于抽样分布中心的结论——该分布的离散程度 $\operatorname{Var}(\bar X) = \sigma^2/n$ 仍会随 $n$ 增大而缩小,这正是下面置信区间所用到的。

中心极限定理表明,当 $n$ 较大时,标准化后的样本均值表现得像标准正态变量,因此我们可以用正态分位数 $z_{\alpha/2}$ 来夹住 $\mu$,无论原始总体的形状如何,都能获得已知的长期成功率。

由中心极限定理,$\frac{\bar X - \mu}{\sigma/\sqrt n}$ 在 $n$$\to\infty$ 时依分布收敛于 $N(0,1)$。所以当 $n$ 较大时,$-z_{\alpha/2} \le \frac{\bar X - \mu}{\sigma/\sqrt n} \le z_{\alpha/2}$ 以约 $1-\alpha$ 的概率成立,其中 $z_{\alpha/2}$ 是使 $N(0,1)$ 每个尾部留下概率 $\alpha/2$ 的值。

将不等式三边都乘以 $\frac{\sigma}{\sqrt n}$$>0$(不改变不等号方向):$-z_{\alpha/2}\frac{\sigma}{\sqrt n} \le \bar X - \mu \le z_{\alpha/2}\frac{\sigma}{\sqrt n}$。

所有边都减去 $\bar X$,再乘以 $-1$(不等号方向翻转):$\bar X - z_{\alpha/2}\frac{\sigma}{\sqrt n} \le \mu \le \bar X + z_{\alpha/2}\frac{\sigma}{\sqrt n}$。这正是置信区间公式:由于原来的概率命题以约 $1-\alpha$ 的概率成立,重新整理后的这个区间也以同样的概率包含 $\mu$。