第三章 二维随机变量及其分布
二维随机变量的分布函数
联合分布
\(F(x,y)=P\lbrace X\leq x,Y\leq y\rbrace\) 为二维随机变量的（联合）分布函数。如果将 \((X, Y)\) 看成平面上随机点的坐标，则分布函数 \(F(x, y)\) 在$ (x , y)$ 处的函数值就是随机点 \((X, Y)\) 落入以 \((x , y)\) 为右上顶点的无穷矩形区域的概率
二维随机变量的分布函数和一维的性质相近
\(F(x,y)\) 分别对于 \(x,y\) 单调不减，\(F(-\infty, y) = F(x, -\infty) = 0, \; F(+\infty, +\infty) = 1\)
\(F(x,y)\) 关于 \(x,y\) 右连续
对于 \(x_2>x_1,\;y_2>y_1\)，由容斥原理得：
\[
F(x_2, y_2) - F(x_1, y_2) - F(x_2, y_1) + F(x_1, y_1) = P(x_1 < X \leq x_2,\;y_1 < Y \leq y_2) \geq 0
\]
边缘分布
对于二维随机变量 \((X,Y)\)，若只考虑其中一个变量的相关分布，称之为边缘分布：
\[
F_X(x) = F(x, +\infty) = \lim_{y \to + \infty} F(x,y) \\
F_Y(y) = F(+\infty, y) = \lim_{x \to + \infty} F(x,y)
\]
随机变量的独立性
先回顾事件的独立性
-
\(A,\;B\) 两事件相互独立当且仅当 \(P(AB)=P(A)P(B)\)，或者说 \(P(A|B) = P(A)\)
-
如果 \(\{A_i\}\) 之间相互独立，那么将 \(n\) 个事件划分为 \(k\) 组，每组内进行任意事件运算，得到的新的 \(k\) 个事件也互相独立
同理我们也有：
- \(X, Y\) 两随机变量相互独立当且仅当 \(F(x, y) = F_X(x) \cdot F_Y(y)\)
-->（这个结论只考虑连续型随机变量与离散型随机变量）
- \(f(x),\;g(y)\) 为相互独立的 \(X, Y\) 的连续或分段连续函数，则随机变量的函数 \(f(X)\) 与 \(g(Y)\) 也相互独立
二维离散型随机变量
对于离散型随机变量 \(X,Y\)（有限个/可列无限个取值对），称
\[
P(X = x_i,\;Y = y_j)=p_{ij},\;i,j=1,2,\cdots
\]
为 \((X, Y)\) 的联合分布律，通常也可以用表格表示
同理也有边缘分布律，容易得到边缘分布律满足一维随机变量分布律的性质
这里给出二维离散型随机变量 \((X,Y)\) 的独立性条件
\[
\forall i ,j=1,2,\cdots,\quad P(X= x_i, y= y_j) = P(X = x_i)P(Y = y_j)
\]
常见的二维离散型随机变量
从 \(n\) 次 0-1 分布实验上升为 \(n\) 次 "0-1-2" 分布实验
\[
P(X=i,Y=j)=\frac{n!}{i!j!(n-i-j)!}p_1^ip_2^j(1-p_1-p_2)^{n-i-j}\\i,j=0,1,\cdots,n,\quad i+j\leqslant n
\]
其实不是很常见，但是值得注意的是：三项分布的边缘分布是二项分布
\[
(X, Y) \sim T(n, p_1, p_2) \longrightarrow X \sim B(n,p_1),\; Y \sim B(n, p_2)
\]
\[
P(X = n_1, Y = n_2) = \dfrac{C_{N_1}^{n_1}C_{N_2}^{n_2}C_{N_3}^{n_3}}{C_{N_1+N_2+N_3}^{n_1+n_2+n_3}}
\]
容易扩展到 \(n\) 维；二维超几何分布的边缘分布是超几何分布
二维连续型随机变量
对于二维连续型随机变量 \((X,Y)\)，其分布函数满足：
\[
P(X < x, Y < y)=F(x,y) = \int_{-\infty}^x \int_{-\infty}^y p(u,v)dudv
\]
其中 \(p(x,y)\) 为联合概率密度函数，一定有 \(\displaystyle \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} p(x,y)dxdy = 1\)
性质大致参考一维情形，有一条 \(\displaystyle P((X,Y)\in D) = \iint\limits_{D} p(x,y) dxdy\) 比较常用
\(p(x, y)\) 的大小反映了 \((X,Y)\) 落在点 \((x, y)\) 附近的概率大小。
边缘密度及独立性条件
\[
p_X(x) = F^\prime_X(x) = \int_{-\infty}^{+\infty} p(x,y) dy \\
p_Y(y) = F^\prime_Y(y) = \int_{-\infty}^{+\infty} p(x,y) dx
\]
之前提到 \(X, Y\) 两随机变量相互独立当且仅当 \(F(x, y) = F_X(x) \cdot F_Y(y)\)，对于二维连续性随机变量 \((X,Y)\)，又有：
\[
p(x, y) = p_X(x) \cdot p_Y(y)
\]
这也是等价的独立性条件，可推广至 \(n\) 维随机变量
常见的二维连续型随机变量
\[
p(x) = \begin{cases}
\frac{1}{S_D}, & \text{ if } (x,y) \in D\\
0 ,& \text{ if } else
\end{cases}
\qquad
P((X,Y)\in D_k) = \dfrac{S_{D_k}}{S_D} (D_k \subseteq D)
\]
- 二维正态分布 \(N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)\)
这是一维正态分布：\(p(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{\left(x - \mu\right)^2}{2\sigma}},x\in\R\)
\[
\begin{aligned}p(x,y)&=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\bigg(-\frac{1}{2(1-\rho^2)}\bigg[ \bigg(\frac{x-\mu_1}{\sigma_1}\bigg)^2\\&-2\rho\left(\frac{x-\mu_1}{\sigma_1}\right)\left(\frac{y-\mu_2}{\sigma_2}\right)+\left(\frac{y-\mu_2}{\sigma_2}\right)^2\bigg]\bigg)\end{aligned}
\]
\(X, Y\) 服从二维正态分布，则相互独立的充要条件是 \(\rho = 0\)
如果真的需要记忆二维正态分布的密度函数表达式？
先考虑 \(\rho = 0\) 的情况，这个式子很对称：
\[
\begin{aligned}p(x,y)&=\frac{1}{2\pi\sigma_1\sigma_2}\exp\left(-\frac{1}{2}\left[\frac{\left(x-\mu_1\right)^2}{\sigma_1^2}+\frac{\left(y-\mu_2\right)^2}{\sigma_2^2}\right]\right)\end{aligned}
\]
然后加上 \(\rho\) 相关的参数，进一步补全为完整的算式，注意右侧的式子很像平方展开
\[
\begin{aligned}
p(x,y)&=\frac{1}{2\pi\sigma_1\sigma_2{\color{orange}{\sqrt{1-\rho^2}}}}\exp\left(-\frac{1}{2{\color{orange}{(1-\rho^2)}}}\left[\frac{\left(x-\mu_1\right)^2}{\sigma_1^2}{\color{orange}{-\frac{{2\rho}\left(x-\mu_1\right)\left(y-\mu_2\right)}{\sigma_1\sigma_2}}}+\frac{\left(y-\mu_2\right)^2}{\sigma_2^2}\right]\right)
\end{aligned}
\]
条件分布
定义 \(F(x|A) = P(X \leq x | A)\) 为随机事件 \(A = \lbrace X \in S\rbrace\) 发生条件下 \(X\) 的条件分布函数
离散型随机变量
根据分布律手动计算即可
\[
P(X = x_i|Y=y_j) = \dfrac{P(X = x_i,Y=y_j)}{P(Y = y_j)}
\]
连续型随机变量
\[
P(X \leq x|Y = y) = F_{X|Y = y}(x) = \int_{-\infty}^{x} \dfrac{p(u,y)}{p_Y(y)} du
\]
完整的推导过程
\[
\begin{aligned}F_{X|Y=y}(x)\;&\begin{aligned}=\lim_{\varepsilon\to0}\frac{P(X\leqslant x,y\leqslant Y<y+\varepsilon)}{P(y\leqslant Y<y+\varepsilon)}=\lim_{\varepsilon\to0}\frac{F(x,y+\varepsilon)-F(x,y)}{F_Y(y+\varepsilon)-F_Y(y)}\end{aligned}\\&=\frac{\lim_{\varepsilon\to0}\frac{F(x,y+\varepsilon)-F(x,y)}{\varepsilon}}{\lim_{\varepsilon\to0}\frac{F_Y(y+\varepsilon)-F_Y(y)}{\varepsilon}}=\frac{\frac{\partial F(x,y)}{\partial y}}{\frac{d}{dy}F_Y(y)}\\&\begin{aligned}&=\frac{\frac{\partial}{\partial y}\int_{-\infty}^x\int_{-\infty}^yp(u,v)dudv}{p_Y(y)}=\frac{\int_{-\infty}^xp(u,y)du}{p_Y(y)}=\int_{-\infty}^x\frac{p(u,y)}{p_Y(y)}du\end{aligned}\end{aligned}
\]
因此
\[
p_{X|Y= y} = \dfrac{p(u,y)}{p_Y(y)}
\]
很像随机事件的条件概率式 \(P(A|B) = \frac{P(AB)}{P(B)}\)
\(X,Y\) 相互独立时，\(p(x, y) = p_X(x) \cdot p_Y(y)\)，因此 \(p_{X|Y= y} = p_X(x), \; p_{Y|X= x} = p_Y(y)\)
二维随机变量函数的分布
考虑已知概率分布的二维随机变量 \((X,Y)\)，求 \(Z=g(X,Y)\) （连续实函数映射）的概率分布：
1- \(X,Y\) 为离散型随机变量，此时根据分布律带值计算即可
对于相互独立的随机变量 \(X_1, X_2, \cdots, X_n\)，有
\[
\forall k = 1,\cdots,n,\;X_k \sim P(\lambda_k) \longrightarrow \sum_{i=1}^n X_i \sim P(\sum_{i=1}^n \lambda_i) \\
\forall k = 1,\cdots,n,\;X_k \sim B(n_k, p) \longrightarrow \sum_{i=1}^n X_i \sim B(\sum_{i=1}^n n_i, p)
\]
2- \(X,Y\) 为连续型随机变量，此时的常见做法依旧是分布函数法：
1) 先求 \(\displaystyle F_Z(z) = P(g(X,Y) \leq Z) = \iint\limits_{D_z} p(x,y)dxdy, \quad D_z = \lbrace(x,y)|g(x,y) \leq z\rbrace\) （固定 \(z\) 为一个常值，通常作图进行分类讨论）
2) 然后求 \(p_Z(z) = F'_Z(z)\)
对于相互独立的随机变量 \(X_1, X_2, \cdots, X_n\)，有
\[
\forall k = 1,\cdots,n,\;X_k \sim N(\mu_k, \sigma_k^2) \longrightarrow \sum_{i=1}^n X_i \sim P(\sum_{i=1}^n \mu_i, \sum_{i=1}^n \sigma_i^2)
\]
3- \(X,Y\) 一个为离散型，一个为连续型
依旧采用分布函数法，把离散型随机变量的所有取值，看成样本空间的划分，由全概率公式求解
比如 \(X\) 为离散型，\(Y\) 为连续型，\(\displaystyle F_Z(z) = P(g(X,Y) \leq Z) = \sum_{k = 1}^{n} P(X = k)\cdot P(g(X,Y)\leq z | X = k)\)
一个具体的题目例子
随机变量 \(X,Y\) 相互独立，\(P(X=1) = P(X=2) = 0.5,\;Y\sim E(1)\)，求 \(Z=X+Y\) 的概率密度函数
根据全概率公式：\(\displaystyle p_Z(z) = \sum_x p_Y(z-x) \cdot P(X = x)\) （\(z\) 视作常值，\(y\) 换元为 \(x\) 相关）
带入 \(X = 1,2\) 得 \(\displaystyle p_Z(z) = P(X=1) \cdot p_Y(z-1) + P(X=2) \cdot p_Y(z-2) = \dfrac{1}{2} (p_Y(z-1) + p_Y(z-2))\)
因为 \(p_Y(y) = e^{-y},\;y\geqslant 0\)，因此分类讨论：
\(z \geqslant 2\)，\(p_Z(z) = \dfrac{1}{2}(e^{1-z} + e^{2-z})\)
\(1 \leqslant z < 2\)，\(p_Z(z) = \dfrac{1}{2}(e^{1-z} + 0)\)
\(z < 1\)，\(p_Z(z) = 0\)
常见的一维函数 \(Z=g(X,Y)\) 的分布
--> \(Z=X±Y\)
连续型：
对于 \(Z = X+Y\)：
\[
p_Z(z) = {\color{orange}\int_{-\infty}^{+\infty} p(x,z-x)dx = \int_{-\infty}^{+\infty} p(z-y,y)dy}
\]
如果 \(X,Y\) 独立，还可以转换为：（称下面的公式为卷积公式）
\[
p_Z(z) = \int_{-\infty}^{+\infty} p_X(x) \cdot p_Y(z-x)dx = \int_{-\infty}^{+\infty} p_X(z-y) \cdot p_Y(y) dy
\]
同理对于 \(Z=X-Y\)：
\[
p_Z(z) = {\color{orange}\int_{-\infty}^{+\infty} p(x,x-z)dx = \int_{-\infty}^{+\infty} p(z+y,y)dy}
\]
推广：\(Z = aX+bY\) 的分布：
\[
p_{Z}(z)= \frac{1}{{\color{orange}{|b|}}} \int_{-\infty}^{+\infty} p\left( x, \frac{z - {\color{orange}{a}} x}{{\color{orange}{b}}} \right) dx= \frac{1}{{\color{orange}{|a|}}} \int_{-\infty}^{+\infty} p\left( \frac{z - {\color{orange}{b}} y}{{\color{orange}{a}}}, y \right) dy
\]
\(X,Y\) 独立时同理得到卷积公式的推广
离散型：
考虑分布列 \(P(X=i, Y=j) = p_{ij}\)，则：
\[
P(X+Y = k) = \sum_{i=0}^{k} p_{i,k-i},\;k=0,1,2,\cdots
\]
如果 \(X,Y\) 独立，考虑分布列 \(P(X = k) = a_k,\;k = 0,1,2,\cdots;\;P(Y = k) = b_k,\;k = 0,1,2,\cdots\)，则：
\[
P(X+Y = k) = \sum_{i=0}^k a_ib_{k-i} = \sum_{i=0}^k b_ia_{k-i},\;k=0,1,2,\cdots
\]
--> \(Z = XY ,\; Z = X/Y\;(Y/X)\)
对于 \(Z = XY\)
\[
p_Z(z) ={\color{orange} \int_{-\infty}^{+\infty} p \left( x, \frac{z}{x} \right) \frac{1}{|x|} \, dx = \int_{-\infty}^{+\infty} p \left( \frac{z}{y}, y \right) \frac{1}{|y|} \, dy}
\]
对于 \(Z =X/Y\;(Y/X)\)
\[
\begin{aligned}
p_Z(z) &= \int_{-\infty}^{+\infty} p(x, zx) |x| \, dx \quad(Z = Y/X) \\ &= \int_{-\infty}^{+\infty} p(zy, y) |y| \, dy \quad(Z = X/Y)
\end{aligned}
\]
--> \(Z = \max(X,Y),\; Z = \min(X,Y)\)
对于 \(Z = \max(X,Y)\)
\[
{\color{orange}F_Z(z) = F_X(z)F_Y(z)}
\]
对于 \(Z = \min(X,Y)\)
\[
{\color{orange}F_Z(z) = 1-[1-F_X(z)][1-F_Y(z)]}
\]
上面两个式子都可以进行 \(n\) 维推广