Skip to content
Notes

概率论-随机变量数字特征

随机变量的数字特征

期望

离散型

随机变量 X\displaystyle{ X } 的概率分布为

P{X=xk}=pk,k=1,2,⋯P\{X=x_{k}\}=p_{k},k=1,2,\cdots

如果级数 ∑k=1+∞xkpk\displaystyle \sum_{k= 1}^{+\infty} x_{k} p_{k} 绝对收敛，则称此级数为随机变量 X\displaystyle{ X } 的数学期望或均值，记作 E(X)\displaystyle{ E \left( X \right) }

连续型

设随机变量 X\displaystyle{ X } 的概率密度为 f(x)\displaystyle{ f \left( x \right) }，如果积分 ∫−∞+∞xf(x)dx\displaystyle\int_{-\infty}^{+\infty}xf(x) \mathrm{d} x 绝对收敛，则称此积分为随机变量 X\displaystyle{ X } 的数学期望或均值，记作 E(X)\displaystyle{ E \left( X \right) }

性质
  • 常数 C\displaystyle{ C } 有 E(C)=C\displaystyle{ E \left( C \right) = C }
  • E(CX)=CE(X)\displaystyle{ E \left( C X \right) = C E \left( X \right) }
  • E(X±Y)=E(X)±E(Y)E(X \pm Y)=E(X) \pm E(Y)
  • X,Y\displaystyle{ X , Y } 相互独立，有 E(XY)=E(X)E(Y)\displaystyle{ E \left( X Y \right) = E \left( X \right) E \left( Y \right) }

方差

设 X\displaystyle{ X } 是随机变量，如果 E(X−EX){2}\displaystyle{ E \left( X - E X \right) ^{ \left\lbrace 2 \right\rbrace } } 存在，则称之为 X\displaystyle{ X } 的方差，记作 D(X)\displaystyle{ D \left( X \right) }，而 D(X)\sqrt{D(X)} 称为标准差

性质
  • 常数 C\displaystyle{ C } 有 D(C)=0\displaystyle{ D \left( C \right) = 0 }
  • D(aX+b)=a2D(X)\displaystyle{ D \left( a X + b \right) = a ^{ 2 } D \left( X \right) }
  • X,Y\displaystyle{ X , Y } 相互独立，D(X±Y)=D(X)+D(Y)\displaystyle{ D \left( X \pm Y \right) = D \left( X \right) + D \left( Y \right) }

方差公式

D(X)=EX2−(EX)2\displaystyle{ D \left( X \right) = E X ^{ 2 } - \left( E X \right) ^{ 2 } }

由于 D(X)⩾0D(X) \geqslant 0，故

EX2⩾(EX)2EX^{2} \geqslant (EX)^{2}
分布均值方差
0-1 分布p\displaystyle{ p }p(1−p)\displaystyle{ p \left( 1 - p \right) }
X∼B(n,p)X \sim B(n,p)np\displaystyle{ n p }np(1−p)\displaystyle{ n p \left( 1 - p \right) }
X∼P(λ)X\sim P(\lambda)λ\lambdaλ\lambda
P(X=k)=p(1−p){k−1}\displaystyle{ P \left( X = k \right) = p \left( 1 - p \right) ^{ \left\lbrace k - 1 \right\rbrace } }1p\displaystyle{ \frac{ 1 }{ p } }1−pp2\displaystyle{ \frac{ 1 - p }{ p ^{ 2 } } }
X∼U(a,b)X\sim U(a,b)a+b2\displaystyle{ \frac{ a + b }{ 2 } }(b−a){2}12\displaystyle{ \frac{ \left( b - a \right) ^{ \left\lbrace 2 \right\rbrace } }{ 12 } }
X∼e(λ)X\sim e(\lambda)1/λ1 /\lambda1/λ21/\lambda^2
X∼N(μ,σ2)X \sim N(\mu, \sigma^{2})μ\muσ2\sigma^{2}

矩 & 协方差 & 相关系数

矩

  • X\displaystyle{ X } 的 k\displaystyle{ k } 阶原点矩 E(Xk),k=1,2,⋯E(X^{k}),k=1,2,\cdots
  • X\displaystyle{ X } 的 k\displaystyle{ k } 阶中心矩 E(X−E(Xk)),k=1,2,⋯E(X-E(X^{k})),k=1,2,\cdots
  • X\displaystyle{ X } 和 Y\displaystyle{ Y } 的 k+l\displaystyle{ k + l } 阶混合矩 E(XkYl),k,l=1,2,⋯E(X^{k}Y^{l}),k,l=1,2,\cdots
  • X\displaystyle{ X } 和 Y\displaystyle{ Y } 的 k+l\displaystyle{ k + l } 阶混合中心矩 E[(X−EX)k(Y−EY)l],k,l=1,2,⋯E[(X-EX)^{k}(Y-EY)^{l}], k,l=1,2,\cdots

协方差

Cov(X,Y)=E[(X−EX)(Y−EY)]\text{Cov}(X,Y)=E[(X-EX)(Y-EY)]

协方差为零，可以得到 X,Y\displaystyle{ X , Y } 不相关

性质
  • Cov(X,Y)=EXY−EXEY\text{Cov}(X,Y)=EXY-EXEY
  • D(X±Y)=DX+DY±2Cov(X,Y)D(X \pm Y)=DX+DY \pm 2 \text{Cov}(X,Y)
  • Cov(X,Y)=Cov(Y,X)\text{Cov}(X,Y)=\text{Cov}(Y,X)
  • Cov(aX,bY)=abCov(X,Y)\text{Cov}(aX,bY)=ab \text{Cov}(X,Y)
  • Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)\text{Cov}(X_{1}+X_{2},Y)=\text{Cov}(X_{1},Y)+\text{Cov}(X_{2},Y)

相关系数

随机变量 X,Y\displaystyle{ X , Y }，如果 D(X)D(Y)≠0D(X)D(Y) \ne 0，则

ρXY=Cov(X,Y)D(X)D(Y))\rho_{XY} = {\text{Cov}(X,Y) \over \sqrt{D(X)D(Y))}}

称为相关系数。如果 D(X)D(Y)=0\displaystyle{ D \left( X \right) D \left( Y \right) = 0 }，则 ρXY=0\rho_{XY}=0. 如果 ρXY=0\rho_{XY}=0，则称 X\displaystyle{ X } 和 Y\displaystyle{ Y } 不相关

性质
  • ∣ρXY∣⩽1|\rho_{XY}| \leqslant 1
  • ∣ρXY∣=1|\rho_{XY}|=1 充要条件是存在常数 a,b\displaystyle{ a , b }，其中 a≠0a \ne 0，使得 P(Y=aX+b)=1\displaystyle{ P \left( Y = a X + b \right) = 1 }
  • 独立可以推出不相关
  • 不相关不能推出独立
  • 二维正态分布的独立和不相关等价

大数定律和中心极限定理

切比雪夫不等式

设随机变量 X\displaystyle{ X } 的数学期望 E(X)\displaystyle{ E \left( X \right) } 和方差 D(X)\displaystyle{ D \left( X \right) } 存在，则对任意 ε>0\varepsilon > 0，总有

P{∣X−EX∣⩾ε}⩽D(X)ε2P\{|X -EX| \geqslant \varepsilon \} \leqslant {D(X) \over \varepsilon^{2} }

设 X1,X2,⋯ ,Xn,⋯X_{1},X_{2},\cdots,X_{n},\cdots 是一个随机变量序列，A\displaystyle{ A } 是常数，如果对任意 ε>0\varepsilon >0，有

lim⁡n→∞P{∣Xn−A∣<ε}=1\lim_{n \to \infty} P\{|X_{n} - A | < \varepsilon \} = 1

则称随机变量序列依概率收敛于常数 A\displaystyle{ A }，记作 Xn→PAX_{n} \xrightarrow{\quad P\quad} A

切比雪夫大数定律

设 X1,X2,⋯ ,Xn,⋯X_{1},X_{2},\cdots,X_{n},\cdots 为两两不相关的随机变量序列，存在常数 C\displaystyle{ C }，使 D(Xi)⩽C(i=1,2,⋯ )D(X_{i}) \leqslant C (i=1,2,\cdots)，则对任意 ε>0\varepsilon > 0，有

lim⁡n→∞P{∣1n∑i=1nXi−1n∑i=1nE(Xi)∣<ε}=1\lim_{n \to \infty} P\left\{ \left| {1 \over n} \sum\limits_{i=1}^{n}X_{i}- {1 \over n}\sum\limits_{i=1}^{n}E(X_{i}) \right| < \varepsilon \right\}=1

伯努力大数定律

设随机变量 Xn∼B(n,p),n=1,2,⋯X_{n} \sim B(n,p), n=1,2,\cdots，则对于任意 ε>0\varepsilon > 0，有

lim⁡n→∞P{∣Xnn−p∣<ε}=1\lim_{n \to \infty} P \left\{ \left| {X_{n} \over n} -p \right| <\varepsilon \right\}=1

辛钦大数定律

设随机变量 X1,X2,⋯ ,Xn,⋯X_{1},X_{2},\cdots,X_{n},\cdots 独立同分布，具有数学期望 E(Xi)=μE(X_{i})=\mu，则对任意 ε>0\varepsilon > 0 有

lim⁡n→∞P{∣1n∑i=1nXi−μ∣<ε}=1\lim_{n \to \infty} P \left\{ \left| {1 \over n} \sum\limits_{i=1}^{n}X_{i}-\mu \right| < \varepsilon \right\}=1

棣莫弗——拉普拉斯中心极限定理

设随机变量 Xn∼B(n,p),n=1,2,⋯X_{n} \sim B(n,p),n=1,2,\cdots，则对于任意实数 x\displaystyle{ x } 有

lim⁡n→∞P{Xn−npnp(1−p)⩽x}=Φ(x)\lim_{n \to \infty}P \left\{ { X_{n} - np \over \sqrt{np(1-p)} } \leqslant x \right\} = {\it\Phi}(x)

其中， Φ(x){\it \Phi} (x) 是标准正态的分布函数

Caution

定理表明，当 n\displaystyle{ n } 充分大时，服从 B(n,p)\displaystyle{ B \left( n , p \right) } 的随机变量 X{n}\displaystyle{ X _{ \left\lbrace n \right\rbrace } } 经标准化后得到 Xn−npnp(1−p)\displaystyle \frac{X_{n}- n p}{\sqrt{n p{\left( 1- p\right)} } } 近似服从标准正态分布 N(0,1)\displaystyle{ N \left( 0 , 1 \right) }，或者说 Xn∼⋅N(np,np(1−p))X_{n} \overset{\cdot}{\sim}N(np, np(1-p))