Skip to content
Notes

概率论-参数估计

参数估计

点估计

用样本 X1,X2,⋯ ,XnX_{1},X_{2},\cdots, X_{n} 构造的统计量 θ^(X1,X2,⋯ ,Xn)\hat \theta (X_{1},X_{2},\cdots, X_{n}) 来估计未知参数 θ\theta 称为点估计，统计量 θ^(X1,X2,⋯ ,Xn)\hat \theta (X_{1},X_{2},\cdots, X_{n}) 称为估计量

设 θ^\hat\theta 是 θ\theta 的估计量，如果 E(θ^)=θE(\hat\theta)=\theta，则称 θ^=θ^(X1,X2,⋯ ,Xn)\hat\theta= \hat \theta (X_{1},X_{2},\cdots, X_{n}) 是未知参数 θ\theta 的无偏估计量

设 θ^1\hat\theta_{1} 和 θ^2\hat\theta_{2} 都是 θ\theta 的无偏估计量，且 D(θ^1)⩽D(θ^2)D(\hat\theta_{1}) \leqslant D(\hat\theta_{2})，则称 θ^1\hat\theta_{1} 比 θ^2\hat\theta_{2} 更有效

设 θ^(X1,X2,⋯ ,Xn)\hat\theta(X_{1},X_{2},\cdots,X_{n}) 是 θ\theta 的估计，如果 θ^\hat\theta 依概率收敛于 θ\theta，则称 θ^(X1,X2,⋯ ,Xn)\hat\theta(X_{1},X_{2},\cdots,X_{n}) 是 θ\theta 的一致估计量

与切比雪夫不等式相关的表示形式：对任意 ε>0\displaystyle \varepsilon> 0

lim⁡n→∞P{∣θ^−θ∣⩾ε}=0\displaystyle \lim_{n\to\infty} P{\left\lbrace{\left|\hat{\theta}-\theta\right|}\geqslant\varepsilon\right\rbrace}= 0

一致估计的一个等价条件（可以作为证明方法）

{Eθ^=θDθ^=0\displaystyle {\left\lbrace\begin{matrix*}[l] E\hat{\theta}=\theta\\ D\hat{\theta}= 0\\\end{matrix*}\right.}

估计量的求法和区间估计

矩估计法

设总体 X\displaystyle{ X } 的分布含有未知参数 θ1,θ2,⋯ ,θk\theta_{1},\theta_{2},\cdots, \theta_{k}，αl=E(Xl)\alpha_{l}=E(X^{l}) 存在，显然它是 θ1,θ2,⋯ ,θk\theta_{1},\theta_{2},\cdots, \theta_{k} 的函数，记作 αl(θ1,θ2,⋯ ,θk),l=1,2,⋯ ,k\alpha_{l}(\theta_{1},\theta_{2},\cdots, \theta_{k}),l=1,2,\cdots,k，样本的 l\displaystyle{ l } 阶原点矩为

A=1n∑i=1nXilA={1 \over n} \sum\limits_{i=1}^{n}X_{i}^{l}

令 αl(θ1,θ2,⋯ ,θk)=Al,l=1,2,⋯ ,k\alpha_{l}(\theta_{1},\theta_{2},\cdots, \theta_{k})=A_{l},l=1,2,\cdots,k，从这 k\displaystyle{ k } 个方程组中，可以解得 θ1,θ2,⋯ ,θk\theta_{1},\theta_{2},\cdots, \theta_{k}

最大似然估计法

对于离散型总体 X\displaystyle{ X }，其概率分布为 P{X=ai}=p(ai,θ),i=1,2,⋯P\{ X=a_{i} \}=p(a_{i},\theta),i=1,2,\cdots，称函数

L(θ)=L(x1,x2,⋯ ,xn;θ)=∏i=1np(xi;θ)L(\theta)=L(x_{1},x_{2},\cdots, x_{n};\theta)= \prod_{i=1}^{n}p(x_{i};\theta)

为参数 θ\theta 的似然函数

对于连续型总体 X\displaystyle{ X }，概率密度为 f(x;θ)f(x;\theta)，则称函数

L(θ)=L(x1,x2,⋯ ,xn;θ)=∏i=1nf(xi;θ)L(\theta)=L(x_{1},x_{2},\cdots, x_{n};\theta)= \prod_{i=1}^{n}f(x_{i};\theta)

为参数 θ\theta 的似然函数

对于给定样本值 (x1,x2,⋯ ,xn)(x_{1},x_{2},\cdots,x_n)，使似然函数 L\displaystyle{ L } 达到最大值的参数值 θ^=θ^(x1,x2,⋯ ,xn)\hat\theta=\hat\theta(x_{1},x_{2},\cdots,x_n) 称为参数 θ\theta 的最大似然估计值，对应的使似然函数 L(X1,X2,⋯ ,Xn;θ)L(X_{1},X_{2},\cdots, X_{n};\theta) 达到最大值的参数值 θ^=θ^(X1,X2,⋯ ,Xn)\hat\theta=\hat\theta(X_{1},X_{2},\cdots, X_{n}) 称为 θ\theta 的最大似然估计量

通常可以通过

∂L(θ)∂θ or ∂ln⁡F(θ)∂θ{\partial L(\theta) \over \partial \theta} \text{ or } {\partial \ln F(\theta) \over \partial \theta}

求解得到 θ^\hat\theta，有时不一定是驻点，这时不能用这个方程求解。

X∼N(μ,σ2)X \sim N(\mu, \sigma^{2})，从总体中取样本 X1,X2,⋯ ,XnX_{1},X_{2},\cdots, X_{n}，求 (1) μ,σ2\mu,\sigma^{2} 的矩估计 (2) 极大似然估计

(1) 计算一阶和二阶矩

E(X)=μE(X2)=D(X)+(EX)2=σ2+μ2\begin{aligned} E(X) & = \mu \\ E(X^{2}) & = D(X) + (EX)^{2} = \sigma^{2}+\mu^{2}\\ \end{aligned}{μ=X‾σ2+μ2=1n∑i=1nXi2\begin{cases} \mu = \overline{X} \\ \sigma^{2}+\mu^{2}=\displaystyle {1 \over n} \sum\limits_{i=1}^{n}X_{i}^{2} \end{cases}

得到

μ^=X‾σ2^=1n∑i=1nXi2−X‾2=1n(∑i=1nXi2−nX‾2)=1n∑i=1n(Xi−X‾)2\begin{aligned} \hat\mu & = \overline{X} \\ \hat {\sigma^{2} } &= {1 \over n} \sum\limits_{i=1}^{n} X_{i}^{2}-\overline{X} ^ {2} = {1 \over n} \left( \sum\limits_{i=1}^{n}X_{i}^{2}-n\overline{X}^{2} \right) \\ &= {1 \over n}\sum\limits_{i=1}^{n}(X_{i}-\overline{X})^{2} \end{aligned}

(2) X\displaystyle{ X } 的概率密度分布

f(x)=12πσe−(x−μ)22σ2f(x) = {1 \over \sqrt {2\pi} \sigma } e^{-{ (x-\mu)^{2} \over 2 \sigma^2} }L(μ,σ2)=(12πσ)2exp⁡{−12σ2∑i=1n(Xi−μ)2}ln⁡L(μ,σ2)=−n2ln⁡(2π)−n2ln⁡(σ2)−12σ2∑i=1n(Xi−μ)2\begin{aligned} L(\mu, \sigma^{2}) & = \left( {1 \over \sqrt{2\pi} \sigma } \right)^{2} \exp \left\{ -{1 \over 2 \sigma^{2} } \sum\limits_{i=1}^{n} (X_{i}-\mu)^{2} \right\} \\ \ln L(\mu, \sigma^{2}) & = -{n\over 2} \ln(2 \pi)-{n\over 2} \ln(\sigma^{2}) - {1 \over 2 \sigma^{2} } \sum\limits_{i=1}^{n}(X_{i}-\mu)^{2} \\ \end{aligned}{∂ln⁡L∂μ=1σ2∑i=1n(Xi−μ)=0∂ln⁡L∂σ2=−n21σ2+12(σ2)2∑i=1n(Xi−μ)2=0\begin{cases} \displaystyle{\partial \ln L \over \partial \mu } = {1 \over \sigma^{2} } \sum\limits_{i=1}^{n} (X_{i}-\mu)=0 \\ \displaystyle{\partial \ln L \over \partial \sigma^{2} } = - {n \over 2 }{1 \over \sigma^{2} } + {1 \over 2 (\sigma^{2} ) ^ {2} } \sum\limits_{i=1}^{n}(X_{i}-\mu)^{2}=0 \end{cases}

解得

{μ^=X‾σ2^=1n∑i=1n(Xi−X‾)2 \begin{cases} \hat\mu =\overline{X} \\ \hat{\sigma^{2} } = \displaystyle{1 \over n} \sum\limits_{i=1}^{n}(X_{i}-\overline{X})^{2} \end{cases}

一致估计量

设 θ^\displaystyle \hat{\theta} 是 θ\displaystyle \theta 的估计量，若对 ∀ε>0\displaystyle \forall\varepsilon> 0，有 lim⁡n→∞P(∣θ^−θ∣<ε)=1\displaystyle \lim_{n\to\infty} P{\left({\left|\hat{\theta}-\theta\right|}<\varepsilon\right)}= 1，或 lim⁡n→∞P(∣θ^−θ∣≥ε)=0\displaystyle \lim_{n\to\infty} P{\left({\left|\hat{\theta}-\theta\right|}\ge\varepsilon\right)}= 0，则 θ^\displaystyle \hat{\theta} 是 θ\displaystyle \theta 的一致估计量。

证明方法

{lim⁡n→∞Eθ^=θlim⁡n→∞Dθ^=0\displaystyle {\left\lbrace\begin{matrix*}[l]\underset{n\to\infty}{\lim} E\hat{\theta}=\theta\\\underset{n\to\infty}{\lim} D\hat{\theta}= 0\\\end{matrix*}\right.}

区间估计

置信区间

设 θ\theta 是总体 X\displaystyle{ X } 的未知参数，X1,X2,⋯ ,XnX_{1},X_{2},\cdots,X_{n} 是来自总体 X\displaystyle{ X } 的样本，对于给定的 α(0<α<1)\alpha(0<\alpha<1)，如果两个统计量 θ1,θ2\theta_{1},\theta_{2} 满足

P(θ1<θ<θ2)=1−αP(\theta_{1}< \theta < \theta_{2}) = 1-\alpha

则称随机区间 (θ1,θ2)(\theta_{1},\theta_{2}) 为参数 θ\theta 的置信水平为 1−α1-\alpha 的置信区间。

一个正态总体参数的区间估计

设总体 X∼N(μ,σ2)X \sim N(\mu, \sigma^{2})，Xi\displaystyle{ X _{ i } } 是来自 X\displaystyle{ X } 的样本，X‾\overline{X} 是样本均值，S2\displaystyle{ S ^{ 2 } } 为样本方差

未知参数条件1−α1-\alpha 置信区间
μ\muσ2\sigma^2 已知(X‾−uα/2σn,X‾+uα/2σn)\displaystyle\left(\overline{X}-u_{\alpha/2}{\sigma\over\sqrt{n} },\overline{X}+u_{\alpha/2}{\sigma\over\sqrt{n} }\right)
μ\muσ2\sigma^2 未知(X‾−tα/2(n−1)Sn,X‾+tα/2(n−1)Sn)\displaystyle\left( \overline{X} - t_{\alpha/2}(n-1){S \over \sqrt{n} } , \overline{X}+t_{\alpha/2}(n-1){S \over \sqrt{n} } \right)
σ2\sigma^2((n−1)S2χα/22(n−1),(n−1)S2χ1−α/22(n−1))\displaystyle \left( {(n-1) S^{2} \over \chi _{\alpha/2}^{2}(n-1) },{(n-1) S^{2} \over \chi _{1-\alpha/2}^{2}(n-1) } \right)
两个正态总体参数的区间估计

X∼N(μ1,σ12),Y∼N(μ2,σ22)X\sim N(\mu_{1},\sigma_{1}^{2}),Y\sim N(\mu_{2},\sigma_{2}^{2})

Sw=(n1−1)S12+(n2−1)S22n1+n2−2S_{w}=\sqrt {(n_{1}-1)S_{1}^{2} + (n_{2}-1)S_{2}^{2} \over n_{1}+n_{2}-2}
未知参数条件1−α1-\alpha 置信区间
μ1−μ2\mu_{1}-\mu_{2}σ12,σ22\sigma_{1}^{2},\sigma_{2}^{2} 已知(X‾−Y‾−uα/2σ12n1+σ22n1,X‾−Y‾+uα/2σ12n1+σ22n1)\displaystyle\left( \overline{X} - \overline{Y} -u_{\alpha/2} \sqrt{ {\sigma_{1}^{2} \over n_{1} } + {\sigma_{2}^{2} \over n_{1} } } ,\overline{X} - \overline{Y} +u_{\alpha/2} \sqrt{ {\sigma_{1}^{2} \over n_{1} } + {\sigma_{2}^{2} \over n_{1} } } \right)
μ1−μ2\mu_{1}-\mu_{2}σ2\sigma^{2} 未知但 σ12=σ22\sigma_{1}^{2}=\sigma_{2}^{2}(X‾−Y‾−tα/2(n1+n2−2)Sw1n1+1n2,X‾−Y‾+tα/2(n1+n2−2)Sw1n1+1n2)\begin{aligned}\left(\overline{X} - \overline{Y}-t_{\alpha/2} (n_{1}+n_{2}-2)S_{w}\sqrt{ {1\over n_{1} } +{1\over n_{2} } } ,\right.\\ \left.\overline{X} - \overline{Y}+t_{\alpha/2} (n_{1}+n_{2}-2)S_{w}\sqrt{ {1\over n_{1} } +{1\over n_{2} } } \right)\end{aligned}
σ12/σ22\sigma_{1}^{2} / \sigma_{2}^{2}(S12S22F1−α/2(n1−1,n2−1),S12S22Fα/2(n1−1,n2−1))\left( {S_{1}^{2}\over S_{2}^{2} } F_{1-\alpha/2} (n_{1}-1,n_{2}-1), {S_{1}^{2}\over S_{2}^{2} } F_{\alpha/2} (n_{1}-1,n_{2}-1) \right)

假设检验

假设分为原假设和备择假设

显著性检验
  • 根据问题提出原假设 H{0}\displaystyle{ H _{ \left\lbrace 0 \right\rbrace } }
  • 给出显著性水平 α(0<α<1)\alpha(0<\alpha<1)
  • 确定检验统计量及拒绝域形式
  • 按犯第一类错误的概率等于 α\alpha 求出拒绝域 W\displaystyle{ W }
  • 根据样本值计算检验统计量 T\displaystyle{ T } 的观测值 t\displaystyle{ t }，当 t∈Wt \in W 时，拒绝原假设；否则，接受原假设
H0\displaystyle{ H _{ 0 } } 正确H0\displaystyle{ H _{ 0 } } 错误
拒绝 H0\displaystyle{ H _{ 0 } }第一类错误正确
接受 H0\displaystyle{ H _{ 0 } }正确第二类错误

检验 μ\mu

σ2\sigma^{2} 已知，H0:μ=μ0H_{0}:\mu=\mu_{0}
U=X‾−μ0σ/nU={\overline{X} -\mu_{0} \over \sigma/ \sqrt{n} }

H0\displaystyle{ H _{ 0 } } 为真时检验统计量的分布 N(0,1)\displaystyle{ N \left( 0 , 1 \right) }

σ2\sigma^{2} 未知，H0:μ=μ0H_{0}:\mu=\mu_{0}
T=X‾−μ0S/nT={\overline{X}-\mu_{0}\over S/ \sqrt n }

H0\displaystyle{ H _{ 0 } } 为真时检验统计量的分布 N(0,1)\displaystyle{ N \left( 0 , 1 \right) }

检验 σ2\sigma^{2}

μ\mu 已知，H0:σ2=σ02H_{0}:\sigma^2=\sigma_0^2
χ2=∑i=1n(Xi−μ)2σ02\chi^{2} = {\sum\limits_{i=1}^{n}(X_{i}-\mu)^{2} \over \sigma_{0}^{2} }

H0\displaystyle{ H _{ 0 } } 为真时检验统计量的分布 χ2(n)\chi^2(n)

μ\mu 未知，H0:σ2=σ02H_0:\sigma^2=\sigma_0^2
χ2=(n−1)S2σ02\chi^{2}={(n-1)S^{2} \over \sigma_{0}^{2} }

H0\displaystyle{ H _{ 0 } } 为真时检验统计量的分布 χ2(n−1)\chi^2(n-1)

检验 μ1−μ2\mu_1-\mu_2

σ12,σ22\sigma_1^2,\sigma_2^2 已知，H0:μ1−μ2=μ0H_{0}:\mu_1-\mu_2=\mu_0
U=X‾−Y‾−μ0σ12n1+σ22n2U={\overline{X} -\overline{Y} - \mu_{0} \over \sqrt{ {\sigma_{1}^{2} \over n_{1} } + {\sigma_{2}^{2} \over n_{2} } } }

H0\displaystyle{ H _{ 0 } } 为真时检验统计量的分布 N(0,1)\displaystyle{ N \left( 0 , 1 \right) }

σ12,σ22\sigma_{1}^{2},\sigma_{2}^{2} 未知，但 σ12=σ22\sigma_{1}^{2}=\sigma_{2}^{2}，H0:μ1−μ2=μ0H_{0}:\mu_{1}-\mu_{2}=\mu_{0}
T=X‾−Y‾−μ0Sw1n1+1n2,Sw=(n1−1)S12+(n2−1)S22n1+n2−2T={ \overline{X} -\overline{Y} -\mu_{0} \over S_{w}\sqrt{ {1 \over n_{1} } + {1 \over n_{2} } } }, S_{w}=\sqrt {(n_{1}-1)S_{1}^{2} + (n_{2}-1)S_{2}^{2} \over n_{1}+n_{2}-2}

H0\displaystyle{ H _{ 0 } } 为真时检验统计量的分布 t(n1+n2−2)\displaystyle{ t \left( n _{ 1 } + n _{ 2 } - 2 \right) }

检验 σ12−σ22\sigma_{1}^{2}-\sigma_{2}^{2}

μ1,μ2\mu_{1},\mu_{2} 已知，H0:σ12=σ22H_{0}:\sigma_{1}^{2}=\sigma_{2}^{2}
F=∑i=1n1(Xi−μ1)2n1/∑j=1n2(Xj−μ2)2n2F = {\sum\limits_{i=1}^{n_{1} } (X_{i}-\mu_{1})^{2} \over n_{1} } /{\sum\limits_{j=1}^{n_{2} } (X_{j}-\mu_{2})^{2} \over n_{2} }

H0\displaystyle{ H _{ 0 } } 为真时检验统计量的分布 F(n{1},n{2})\displaystyle{ F \left( n _{ \left\lbrace 1 \right\rbrace } , n _{ \left\lbrace 2 \right\rbrace } \right) }

σ12,σ22\sigma_{1}^{2},\sigma_{2}^{2} 未知，H0:σ12=σ22H_{0}:\sigma_{1}^{2}=\sigma_{2}^{2}
F=S12S22F={S_{1}^{2}\over S_{2}^{2} }

H0\displaystyle{ H _{ 0 } } 为真时检验统计量的分布 F(n1−1,n2−1)\displaystyle{ F \left( n _{ 1 } - 1 , n _{ 2 } - 1 \right) }