第五章 随机变量的数字特征
第五章 随机变量的数字特征
5.1 数学期望
5.1.1 离散型随机变量 \(X\) 的数学期望
定义
设 \(X\) 的分布律为：\(P\{X=x_k\}=p_k,\quad k = 1, 2, \dots\)
若级数 \(\sum\limits_{k=1}^{\infty}x_kp_k\) 绝对收敛（即\(\sum\limits_{k=1}^{\infty}|x_k|p_k\) 收敛）
则称级数 \(\sum\limits_{k=1}^\infty x_kp_k\) 为 \(X\) 的数学期望，记为 \[ E(X)=EX=\sum\limits_{k=1}^{\infty}x_kp_k \]
5.1.2 离散型随机变量 \(X\) 的函数的数学期望
定理
设 \(Y=g(X)\)，\(g(x)\) 是连续函数，随机变量 \(X\) 是离散型随机变量，\(P\{X=x_k\}=p_k,\quad k=1,2,\dots\)
若级数 \(\sum\limits_{k=1}^\infty g(x_k)p_k\) 绝对收敛，则有 \[ EY=Eg(X)=\sum\limits_{k=1}^{\infty}g(x_k)p_k \]
5.1.3 连续型随机变量 \(X\) 的数学期望
定义
设 \(X\) 的概率密度为 \(f(x)\)，若积分 \(\int_{-\infty}^{+\infty}x\cdot f(x)\ \mathrm{d}x\) 绝对收敛（即\(\int^{+\infty}_{-\infty}|x|f(x)\ \mathrm{d}x\) 收敛），则称积分 \(\int_{-\infty}^{+\infty}x\cdot f(x)\ \mathrm{d}x\) 为 \(X\) 的数学期望，记为
\[ EX=\int_{-\infty}^{+\infty}x\cdot f(x)\ \mathrm{d}x \]
5.1.4 连续型随机变量 \(X\) 的函数的数学期望
定理
设 \(Y=g(X)\)，\(g(x)\) 是连续函数，随机变量 \(X\) 的概率密度为 \(f(x)\)，若积分 \(\int^{+\infty}_{-\infty}g(x)\cdot f(x)\ \mathrm{d}x\) 绝对收敛，则随机变量 \(Y=g(X)\) 的数学期望 \[ EY=Eg(X)=\int^{+\infty}_{-\infty}g(x)\cdot f(x)\ \mathrm{d}x \]
5.1.5 随机向量的函数的数学期望
设 \((X,Y)\) 为随机向量，\(g(x,y)\) 为连续函数，那么 \(Z=g(X,Y)\) 是一个随机变量。
- 若 \((X,Y)\) 为离散型随机变量，其分布律为
\[ P\{X=x_i,Y=y_j\}=p_{ij},\quad i,j=1,2,... \]
则有 \[ E(Z)=Eg(X,Y)=\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}g(x_i,y_j)p_{ij} \] 其中 \(E(Z)=Eg(X,Y)=\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}g(x_i,y_j)p_{ij}\) 绝对收敛。
- 若 \((X,Y)\) 为连续型，其概率密度为 \(f(x,y)\)，则有
\[ E(Z)=Eg(X,Y)=\int^{+\infty}_{-\infty}\int^{+\infty}_{-\infty}g(x,y)\cdot f(x,y) \ \mathrm{d}x\mathrm{d}y \]
其中上式绝对收敛。
5.1.6 数学期望的性质
- 设 \(C\) 为常数，则有 \(E(C)=C\)
设 \(C\) 为常数，\(X\) 为随机变量，则有 \(E(CX)=C\cdot EX\)
设 \(X,Y\) 为任意随机变量，则 \(E(X+Y)=EX+EY\)
设 \(X,Y\) 为相互独立的随机变量，则有 \(E(XY)=EX\cdot EY\)
5.2 方差
5.2.1 定义
若 \(E[X-E(X)]^2\) 存在，则称其为随机变量 \(X\) 的方差，记为 \(D(X)\) 或 \(Var(x)\)，即： \[ D(X)=E[X-E(X)]^2\geq 0 \] 称 \(\sqrt{D(X)}\) 为 \(X\) 的均方差或标准差
5.2.2 方差的计算公式
方差 \(DX=E(X-EX)^2\) ，是 \(X\) 的函数 \((X-EX)^2\) 的数学期望。
- 若 \(X\) 是离散型随机变量，分布律为：
\[ P\{X=x_i\}=p_i,\quad i=1,2,... \]
则： \[ DX=E(X-EX)^2=\sum\limits^\infty_{i=1}(x_i-EX)^2p_i\geq 0 \]
- 若 \(X\) 是连续型随机变量，概率密度为 \(f(x)\)，则
\[ DX=E(X-EX)^2=\int^{+\infty}_{-\infty}(x-EX)^2f(x)\ \mathrm{d}x>0 \]
- 简便计算公式
\[ DX=EX^2-(EX)^2 \]
\[ EX^2=DX+(EX)^2 \]
5.2.3 方差的性质
- 设 \(C\) 为常数，则有 \(D(C)=0\)
- 设 \(k\) 为常数，\(X\) 为随机变量，则有：
\[ D(kX)=k^2DX \]
- 设 \(X,Y\) 为相互独立的随机变量，则有
\[ D(X+Y)=DX+DY \]
设 \(X_1,X_2,...,X_n\) 为相互独立的随机变量，则有 \[ D(\sum\limits_{i=1}^nk_iX_i)=\sum\limits_{i=1}^nk_i^2DX_i \]
- \(DX=0\iff P\{X=EX\}=1\)
5.3 常用随机变量的数学期望和方差
5.3.1 (0-1)分布，\(X\sim B(1,p)\)
\[ \textcolor{red}{EX}=p \] \[ \textcolor{red}{DX}=p(1-p) \]
5.3.2 二项分布，\(X\sim B(n,p)\)
\[ P\{X=k\}=C^k_np^k(1-p)^{n-k}\quad k=0,1,...,n \]
\[ \textcolor{red}{EX}=np \] \[ \textcolor{red}{DX}=np(1-p) \]
5.3.3 泊松分布，\(X\sim \Pi(\lambda)\)
\[ P\{X=k\}=\dfrac{e^{-\lambda}\lambda^k}{k!}\quad k=0,1,2,... \]
\[ \textcolor{red}{EX}=\lambda \] \[ \textcolor{red}{DX}=\lambda \]
5.3.4 均匀分布，\(X\sim U[a,b]\)
\[ f(x)=\left\{\begin{aligned} &\dfrac{1}{b-a},&&a\leq x\leq b\\ &0,&&其它 \end{aligned}\right. \]
\[ \textcolor{red}{EX}=\dfrac{a+b}{2} \] \[ \textcolor{red}{DX}=\dfrac{(b-a)^2}{12} \]
5.3.5 指数分布，\(X\sim e(\lambda)\)
\[ f(x)=\left\{\begin{aligned} &\lambda e^{-\lambda x},&&x>0\\ &0,&&x\leq0 \end{aligned}\right. \]
\[ \textcolor{red}{EX}=\dfrac{1}{\lambda} \] \[ \textcolor{red}{DX}=\dfrac{1}{\lambda^2} \]
5.3.6 正态分布 \(X\sim (\mu,\sigma^2)\)
\[ f(x)=\dfrac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\dfrac{(x-\mu)^2}{2\sigma^2}\right\}\quad ,-\infty<x<+\infty \]
\[ \textcolor{red}{EX}=\mu \] \[ \textcolor{red}{DX}=\sigma^2 \]
定理1：正态分布的性质
- 设\((X_1,X_2)\sim N(\mu_1,\sigma_1^2;\mu_2,\sigma^2_2;\rho)\)，则
\[ X_i\sim N(\mu_i,\sigma_i^2) \] \[ EX_i=\mu_i,\quad DX_i=\sigma_i^2 \]
- \(X_1,X_2\) 相互独立 \(\iff \rho=0\)
\[ \begin{aligned} Z=k_1X_1+k_2X_2+b&\sim N(EZ,DZ)\\ &\sim N(k_1\mu_1+k_2\mu_2+b,k_1^2\sigma_1^2+k_2^2\sigma^2_2) \end{aligned} \]
定理2：
设随机变量 \(\textcolor{blue}{X_1,X_2,...,X_n},\textcolor{red}{X_{n+1},X_{n+2},...,X_{n+m}}\) 相互独立，\(g(x_1,x_2,...,x_n),h(y_1,y_2,...,y_m)\) 是连续函数，设
\[ Y_1=g(\textcolor{blue}{X_1,X_2,...,X_n}) \] \[ Y_2=h(\textcolor{red}{X_{n+1},X_{n+2},...,X_{n+m}}) \]
则 \(Y_1,Y_2\) 相互独立
5.4 协方差和相关系数
5.4.1 协方差
定义
称数值 \(E[(X-EX)(Y-EY)]\) 为随机变量 \(X\) 与 \(Y\) 的协方差，记作 \(Cov(X,Y)\) ，即： \[ Cov(X,Y)=E[(X-EX)(Y-EY)] \]
- 协方差为正，正相关
- 协方差为负，负相关
- 协方差为0，零相关
- 协方差绝对值越大，两个变量同或反向程度也越大
常用计算公式
\[ Cov(X,Y)=E(XY)-EX\cdot EY \]
协方差的性质
\(Cov(X,Y)=Cov(Y,X)\)
\(Cov(aX,bY)=abCov(X,Y)\)
\(Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)\)
若 \(X,Y\) 相互独立，\(Cov(X,Y)=0\)，逆命题不成立
\(D(X+Y)=DX+DY+2Cov(X,Y)\)
\(D(X-Y)=DX+DY-2Cov(X,Y)\)
5.4.2 相关系数
定义
称数值 \(\dfrac{Cov(X,Y)}{\sqrt{DX}\cdot \sqrt{DY}}\quad DX,DY\ne 0\) 为随机变量 \(X\) 与 \(Y\) 的相关系数或标准协方差，记作 \(\rho_{XY}\) 或简记作 \(\rho\)，即： \[ \rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{DX}\cdot \sqrt{DY}}=Cov(X^*,Y^*) \] 若 \(X,Y\) 的相关系数 \(\rho =0\)，则称 \(X,Y\) 不相关
定理
若 \(X,Y\) 相互独立，则 \[ Cov(X,Y)=0 \] \[ \rho_{XY}=0 \] 即：
- \(X,Y\) 相互独立\(\iff X,Y\) 不相关
- \(X,Y\) 不相关 不一定 \(X,Y\) 相互独立
性质
- \(|\rho|\leq 1\)
- \(|\rho|=1\iff P\{Y=aX+b\}=1\)，\(X,Y\) 之间以概率 \(1\) 存在线性关系
相关系数 \(\rho\) 刻画了随机变量 \(X,Y\) 之间的线性关系的近似程度。
\(|\rho|\) 越接近1，\(X,Y\) 越接近线性关系。
柯西不等式
设 \(X,Y\) 为任意随机变量，则
- \([E(XY)^2]\leq E(X^2)\cdot E(Y^2)\)
- 等式成立 \(\Leftrightarrow\) 存在常数 \(t_0\)，使得 \(P\{Y=t_0X\}=1\)
定理
设 \((X,Y)\sim N(\mu_1,\sigma_1;\mu_2,\sigma_2;\rho)\) \[ Cov(X,Y)=\rho \sigma_1\sigma_2 \] \[ \rho_{XY}=\rho \]
- \(\rho_{XY}=\rho=0\iff X,Y\) 不相关
- \(\rho=0\iff X,Y\) 相互独立
5.5 矩、协方差矩阵
5.5.1 矩
矩是一些数字特征的泛称或总称。
定义
设 \(X,Y\) 是随机变量，
- 若 \(E(X^k),k=1,2,\dots\) 存在，则称它为 \(X\) 的 \(k\) 阶原点矩
- 若 \(E(X-EX)^k,k=1,2,\dots\) 存在，则称它为 \(X\) 的 \(k\) 阶中心矩
数学期望 \(EX=EX^1\) 是一阶原点矩
方差 \(DX=E(X-EX)^2\) 是二阶中心矩
此外，定义：
- \(E(X^kY^l)\quad (k+l)\) 阶原点混合矩
- \(E[(X-EX)^k(Y-EY)^l]\quad (k+l)\) 阶中心混合矩
- \(E|X|^k\quad k\) 阶原点绝对矩
- \(E|X-EX|^k\quad k\) 阶中心绝对矩
5.5.2 协方差矩阵
定义
对于 \(n\) 维随机向量 \((X_1,X_2,...,X_n)\)，
若 \(C_{ij}=Cov(X_i,X_j)=E[(X_i-EX_i)(X_j-EX_j)]\quad i,j=1,2,...,n\) 存在
则矩阵 \(C=(C_{ij})_{n\times n}\) 称为 \((X_1,X_2,...,X_n)\) 的协方差矩阵
协方差矩阵 \(C=(C_{ij})_{n\times n}\) 是一个对称矩阵。
二维正态随机变量 \((X_1,X_2)\)
若令： \[ X= \begin{pmatrix}x_1\\x_2\end{pmatrix} \quad U=\begin{pmatrix}\mu_1\\\mu_2\end{pmatrix} \] \((X_1,X_2)\) 的协方差矩阵为 \[ \begin{aligned} &C=\begin{pmatrix} C_{11}&C_{12}\\ C_{21}&C_{22} \end{pmatrix}= \begin{pmatrix} \sigma_1^2&\rho\sigma_1\sigma_2\\ \rho\sigma_1\sigma_2&\sigma_2^2 \end{pmatrix}\\ &C^{-1}=\dfrac{1}{\det C}\begin{pmatrix} \sigma_2^2 &-\rho\sigma_1\sigma_2\\ -\rho\sigma_1\sigma_2&\sigma_1^2 \end{pmatrix}\\ &\det C=\sigma^2_1\sigma^2_2(1-\rho^2) \end{aligned} \] 则有 \[ \begin{aligned} &(X-U)'C^{-1}(X-U)\\=&\dfrac{1}{\det C}(x_1-\mu_1,x_2-\mu_2) \left(\begin{array}&\sigma_2^2&-\rho\sigma_1\sigma_2\\-\rho\sigma_1\sigma_2&\sigma_1^2\end{array}\right)\left(\begin{array}&x_1-\mu_1\\x_2\mu_2\end{array}\right)\\ =&-\dfrac{1}{1-\rho^2}\left[\Big(\dfrac{x_1-\mu_1}{\sigma_1}\Big)^2-2\rho\dfrac{(x_1-\mu_1)}{\sigma_1}\dfrac{(x_2-\mu_2)}{\sigma_2}+\Big(\dfrac{x_2-\mu_2}{\sigma_2}\Big)^2\right] \end{aligned} \] 于是 \((X_1,X_2)\) 的概率密度可写成 \[ f(x_1,x_2)=\dfrac{1}{2\pi\sqrt{\det C}}\exp\left\{-\dfrac{1}{2}(X-U)'C^{-1}(X-U) \right\} \]
\(n\) 维正态随机变量 \((X_1,X_2,...,X_n)\)
\[ f(x_1,x_2,...,x_n)=\dfrac{1}{(2\pi)^\frac{n}{2}\sqrt{\det C}}\exp\left\{-\dfrac{1}{2}(X-U)'C^{-1}(X-U)\right\} \]
其中 \[ X=\left(\begin{array}&x_1\\x_2\\\vdots\\x_n\end{array}\right) ,\quad U=\left(\begin{array}&\mu_1\\\mu_2\\\vdots\\\mu_n\end{array}\right)=\left(\begin{array}&EX_1\\EX_2\\\vdots\\EX_n\end{array}\right),\quad C=(C_{ij})_{n\times n} \]