第四章随机变量的数字特征

数学期望与方差

数学期望与方差通常针对的是单个随机变量

离散型

我们记

$$ EX = \sum _ {i= 1} ^ {+\infty} x_i \cdot P(X = x_i) $$

为 $X$ 的数学期望，存在的前提是 $\sum _ {i= 1} ^ {+\infty} |x_i| \cdot P(X = x_i)$ 级数收敛，否则期望不存在

接下来记

$$ DX = E(X - EX)^2 = EX^2 - (EX)^2 $$

为 $X$ 的方差，同时记 $\sqrt{DX} = \sigma(X)$ 为标准差，存在的前提是 $EX^2 < +\infty$

方差 $DX$ 就是 $g(X) = (X-EX)^2$ 的数学期望

常见离散型随机变量的数字特征

几何分布 $X \sim g(p)$

$$ EX = \sum_{k= 0}^{n} k p (1-p)^{k-1} ={\color{orange}{\frac{1}{p} }}\\ DX = \sum_{k= 0}^{n} k^2 p (1-p)^{k-1} - (\frac1p)^2 = {\color{orange}{\frac{1-p}{p^2}}} $$

二项分布 $X \sim B(n,p)$

$$ EX = \sum_{k= 0}^{n} k C_n^k p ^k(1-p)^{n-k} \left(=\sum_{k= 1}^{n} E(X_k) \right) = {\color{orange}{np}} \\ DX = \sum_{k= 0}^{n} k^2 C_n^k p ^k(1-p)^{n-k} - (np)^2 \left(=\sum_{k= 1}^{n} D(X_k) \right)= {\color{orange}{np(1-p)}} $$

（括号里的内容为通过期望/方差的性质进行的简化运算）

泊松分布 $X \sim P(\lambda)$

$$ EX = \sum_{k=1}^{+\infty} k \dfrac{\lambda^k}{k!}e^{-\lambda}= \lambda \sum_{k=0}^{+\infty} \dfrac{\lambda^k}{k!}e^{-\lambda} = {\color{orange}{\lambda}} \\ DX = EX^2 - (EX)^2 = (\lambda^2 + \lambda) - (\lambda)^2 = {\color{orange}{\lambda}} $$

连续型

我们记 $$ EX = \int_{-\infty}^{+\infty} xp(x)dx $$ 为 $X$ 的数学期望，存在的前提是 $ \int_{-\infty}^{+\infty} |x|p(x)dx$ 级数收敛，否则期望不存在

接下来记 $$ DX = E(X - EX)^2 = EX^2 - (EX)^2 $$ 为 $X$ 的方差，同时记 $\sqrt{DX} = \sigma(X)$ 为标准差，存在的前提是 $EX^2 < +\infty$

方差 $DX$ 就是 $g(X) = (X-EX)^2$ 的数学期望

常见连续型随机变量的数字特征

均匀分布 $X \sim U[a,b]$

$$ EX = {\color{orange}{\frac{a+b}{2}}} \\ DX = EX^2 - (EX)^2 = \frac{a^2+ab+b^2}{3} - \left(\frac{a+b}{2}\right)^2 = {\color{orange}{\frac{(b-a)^2}{12}}} $$

指数分布 $X \sim E(\lambda)$

$$ EX = \int_{-\infty}^{+\infty} x\lambda e^{-\lambda x} dx = {\color{orange}{\frac{1}{\lambda} }}\\ DX = \int_{-\infty}^{+\infty} x^2\lambda e^{-\lambda x} dx - \left(\frac{1}{\lambda} \right)^2 = {\color{orange}{ \frac{1}{\lambda^2}}} $$

正态分布 $X \sim N(\mu, \sigma^2)$

$$ EX = {\color{orange}{\mu}} \\ DX = {\color{orange}{\rho^2}} $$

（计算量偏大，并且需要借助高斯积分归一化）

期望的性质

对于离散型随机变量

$\displaystyle E(g(X)) = \sum _ {i= 1} ^ {+\infty} g(x_i) \cdot P(X = x_i)$

对于连续型随机变量

$\displaystyle E(g(X)) EX = \int_{-\infty}^{+\infty} g(x)p(x)dx$

上述结论可以推广到 $Z = g(X,Y)$ 的数学期望，对应二重求和 / 积分

对于任意随机变量

$E(a) = a$
$E(aX+bY) = aEX+bEY$
$X,Y$ 相互独立 $\longrightarrow E(XY)=EX\cdot EY$

方差的性质

对于任意随机变量

$D(a) = 0$
$D(aX+b) = a^2DX$
$D(X ± Y) = DX + DY ± 2E[(X-EX)(Y-EY)]$，当 $X,Y$ 相互独立时化简为 $D(X ± Y) = DX + DY$

（$D(X ± Y) = DX + DY ± 2 \text{cov}(X,Y)$）

上面的结论可扩展到 $n$ 维

切比雪夫不等式

设随机变量 $X$ 的期望 $EX$ 和方差 $DX$ 均存在，则对任意 $ε > 0$： $$ P(|X - EX| \geq ε) \leq \dfrac{DX}{ε^2} $$

Proof

$$ P\left(\left|X-EX\right|\geqslant\varepsilon\right)=\int\limits_{\lbrace x:\left|x-EX\right|\geqslant\varepsilon\rbrace}p(x)dx\leqslant\int\limits_{\lbrace x:\left|x-EX\right|\geqslant\varepsilon\rbrace}\frac{(x-EX)^2}{\varepsilon^2}p(x)dx\\ \leqslant\frac{1}{\varepsilon^2}\int_{-\infty}^{+\infty}(x-EX)^2p(x)dx=\frac{DX}{\varepsilon^2} $$

可以借助证明：$DX = 0 \longrightarrow X = c$

协方差

如果 $EX, EY, E(XY)$ 存在，则 $$ \text{cov}(X,Y) = E[(X-EX)(Y-EY)] = E(XY) - EX\cdot EY $$ 为 $X,Y$ 的协方差

有以下性质和结论：

$\text{cov} (X,X) = D(X)$
$\text{cov} (X,Y) = \text{cov}(Y,X)$
$\text{cov} (aX+c,bY+d) = ab\text{cov}(X,Y)$
$\text{cov} (X_1 + X_2,Y) = \text{cov}(X_1,Y) + \text{cov}(X_2,Y)$
$X,Y$ 相互独立 $\longrightarrow \text{cov}(X,Y) = E(XY) - EX\cdot EY = 0$
二维正态分布 $(X,Y)\sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$ 的协方差为 $\sigma_1\sigma_2\rho$

柯西 · 施瓦兹不等式的概率论形式

若 $X,Y$ 方差存在，则 $$ [\text{cov}(X,Y)]^2 \leqslant DX\cdot DY $$ 取等条件是存在 $a,b$ 不全为零，$P(Y= aX+b) = 1$

一个更基础的形式是：若 $X^2,Y^2$ 期望存在，则 $$ [E(XY)]^2 \leqslant E(X^2)\cdot E(Y^2) $$ 取等条件是存在 $t_0$ 不为零，$P(Y= t_0X) = 1$

积分形式：若 $\displaystyle \int_a^b f^2 dx, \int_a^b g^2 dx$ 存在，则

$$ \left( \int_a^b f(x)g(x) \, dx \right)^2 \leq \left( \int_a^b [f(x)]^2 \, dx \right) \left( \int_a^b [g(x)]^2 \, dx \right) $$

取等条件是存在 $a,b$ 不全为零，$af(x) = bg(x)$ 几乎处处成立

矩和协方差阵

矩可以看作期望的推广：对于随机变量 $X$，$X^k$ 的数学期望 $EX^k$ 为 $X$ 的 $k$ 阶（原点）矩；标准化后 $E(X-EX)^k$ 为 $X$ 的 $k$ 阶中心矩

（矩的存在性类比 $EX$ 的存在性）

将随机变量标准化后的三阶矩 $E\left(\dfrac{X-EX}{\sqrt{D(X)}}\right)^3 = \dfrac{E(X-\mu)^3}{\sigma^3}$ 记为偏度；$\dfrac{E(X-EX)^4}{\sigma^4}$ 记为峰度

对于 $n$ 维随机向量 $X = (X_1,\cdots,X_n)^T$，称

$$ EX = (EX_1,\cdots,EX_n)^T $$

为 $X$ 的数学期望；记 $c_{ij} = \text{cov}(X_i, X_j)$ ，称矩阵

$$ \Sigma = \begin{pmatrix} c_{11} & c_{12} & \cdots & c_{1n} \\ c_{21} & c_{22} & \cdots & c_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ c_{n1} & c_{n2} & \cdots & c_{nn} \end{pmatrix} $$

为 $X$ 的协方差阵，它是一个对称矩阵，比如二维正态分布的协方差阵为 $\begin{bmatrix}\sigma_1^2 & \sigma_1 \sigma_2 \rho \\ \sigma_1 \sigma_2 \rho & \sigma_2^2\end{bmatrix}$

2025-12-122025-12-12

第四章 随机变量的数字特征