定义 5.1 设$X_1 = X_1(w), X_2 = X_2(w), \cdots, X_n = X_n(w)$ 是定义在同一样本空间$\Omega$上的$n$个随机变量，有它们构成的向量$(X_1, X_2, \cdots, X_n)$ 称为$n$维随机向量，或称$n$维随机变量

5.1 二维联合分布函数

定义 5.2 设$(X, Y)$为二维随机向量，对任意实数$x$和$y$，称

为二维随机向量$(X, Y)$的分布函数，或称为随机变量$X$和$Y$的联合分布函数

性质

• 随坐标方向轴单调不减：分布函数$F(x, y)$对每个变量单调不减

• 规范性：对任意实数$x$和$y$，分布函数$F(x, y) \in [0, 1]$，且

  $$F(+\infty, +\infty) = 1, \quad F(-\infty, -\infty) = F(-\infty, +\infty) = F(+\infty, -\infty) = 0$$

• 单测连续：分布函数$F(x, y)$关于每个变量右连续

• 矩形运算：对任意实数$x_1 < x_2$和$y_1 < y_2$有

  $$F(x_2, y_2) - F(x_2, y_1) - F(x_1, y_2) + F(x_1, x_2) \geq 0$$

充要条件：$F(x, y)$是某二维随机向量大的分布函数$\Leftrightarrow F(x, y)$满足前面四条性质

定义 5.3 设二维随机向量$(X, Y)$的联合分布函数为$F(x, y)$，称

为$(X, Y)$关于随机变量$X$的边缘分布函数.

5.2 二维离散型随机向量

定义 5.4 若二维随机向量$(X, Y)$的取值是有限个或无限可列的，则称$(X, Y)$为二维离散型随机向量。设离散随机向量$(X, Y)$所有可能的取值为$(x_i, y_i)\ (i,j=1,2,\cdots)$，则称

为二维随机向量$(X, Y)$的联合分布列，简称分布列。

性质

• 非负性：$p_{ij} \geq 0$
• 规范性：$\sum_{i,j}p_{ij} = 1$

通过随机向量$(X, Y)$的联合分布列$p_{ij}$，还可以研究每个随机变量的统计特征，例如随机变量$X$的边缘分布列为

以及随机变量$Y$的边缘分布列为

定义 5.5 若$n$维随机向量$(X_1, X_2, \cdots, X_n)$的分布列为

其中$k_1, k_2, \cdots, k_n$是非负的整数且满足$k_1 + k_2 + \cdots + k_n = m$，则称随机向量$(X_1, X_2, \cdots, X_n)$服从参数为$m, p_1, p_2, \cdots, p_n$的多项分布，记为$(X_1, X_2, \cdots, X_n) \sim M(m, p_1, p_2, \cdots ,p_n)$.

引理 5.1 若多维随机向量$(X_1, X_2, \cdots, X_n) \sim M(m, p_1, p_2, \cdots, p_n)$，则每个随机变量$X_i$的边缘分布是二项分布$B(m, p_i)$.

5.3 二维连续型随机向量

定义 5.6 设二维随机向量$(X, Y)$的分布函数为$F(x, y)$，如果存在二元非负可积函数$f(x, y)$，使得对任意实数$x$和$y$有

则称$(X, Y)$为二维连续性随机向量，称$f(x, y)$为二维随机向量$(X, Y)$的密度函数，或称随机变量$X$和$Y$的联合密度函数.

性质

• 非负性：对任意实数$x$和$y$，有$f(x, y) \geq 0$

• 规范性：$\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y) dx dy = 1$

• 连续性：若$f(x, y)$在$(x, y)$连续，则

  $$f(x, y) = \lim_{\Delta x \rightarrow 0\\ \Delta y \rightarrow 0} \frac{P(X \in (x, x + \Delta x], Y \in (y, y + \Delta y]}{\Delta x \Delta y} = \frac{\partial^2 F(x, y)}{\partial x \partial y}$$

• 有界区域可积： 若$G$为平面上的一个区域，则点$(X, Y)$落入$G$的概率为

  $$P((X, Y) \in G) = \int\int_{(x, y) \in G} f(x, y) dxdy$$

定义 5.7 设二维随机向量$(X, Y)$的联合密度函数为$f(x, y)$，则随机变量$X$和$Y$的边缘密度函数分别为

5.3.1 常用二维连续分布

定义 5.8 设$G$为平面上一个有界的区域，其面积为$A_G$，若二维随机向量$(X, Y)$的联合密度函数为

则称$(X, Y)$服从区域$G$上的二维均匀分布。

定义 5.9 对任意实数$x, y$，若随机向量$(X, Y)$的密度函数为

其中常数$\mu_x, \mu_y \in (-\infty, +\infty), \sigma_x, \sigma_y \in (0, +\infty)$和$\rho \in (-1, 1)$，则称$(X, Y)$服从二维正态分布，记$(X, Y) \sim \mathcal{N}(\mu_x, \mu_y, \sigma_x^2, \sigma_y^2, \rho)$.

定理 5.1 设二维随机向量$(X, Y)$服从正态分布$\mathcal{N}(\mu_x, \mu_y, \sigma_x^2, \sigma_y^2, \rho)$，则有随机变量$X$和$Y$的边缘分布分别为$X \sim \mathcal{N}(\mu_x, \sigma_x^2)$和$Y \sim \mathcal{N}(\mu_y, \sigma_y^2)$.

5.4 随机变量的独立性

5.5 条件分布

5.5.1 离散型随机变量的条件概率

定义 5.11 设二维离散型随机变量$(X,Y)$的分布列为

若$Y$的边缘分布$P(Y =y_j)=p_{\cdot j} > 0$，则称

在$Y = y_j$条件下随机变量$X$的条件分布列(conditional probability).类似定义在$X = x_i$条件下随机变量$Y$的条件分布列。

• 若出现条件概率$P(X= x_i | Y = y_j)$，一般都默认$P(Y= y_j) > 0$.

离散型随机变量的条件分布列

条件分布列也可以通过下面的表格给出：

该表格呈现的分布列是关于$X$取值展开的。

性质

• 非负性：$P(X = x_i | Y = y_i) \geq 0$.

• 规范性：$\sum_{i=1}^{\infty}P(X = x_i | Y = y_j) = 1$

• 若离散型随机变量$X$和$Y$相互独立，则有

  $$P(X = x_i | Y = y_i) = P(X = x_i) \quad P(Y = y_j |X = x_i) = P(Y = y_j)$$

5.5.2 连续型随机变量的条件分布

定义 5.12 设连续随机变量$(X, Y)$的联合概率密度为$f(x, y)$，以及$Y$的边缘密度函数为$f_Y(y)$，对任意$f_Y(y) > 0$，称

在$Y = y$条件下随机变量$X$的条件概率密度。

在$Y=y$条件下$X$的条件分布函数。

当$P(y \leq Y \leq y + \epsilon) > 0$时，求条件分布函数：

$$\begin{aligned} F_{X|Y}(x|y) &= \lim_{\epsilon \rightarrow 0^+} P(X\leq x |y \leq Y \leq y + \epsilon)\\ &= \lim_{\epsilon \rightarrow 0^+} \frac{P(X \leq x, y \leq Y \leq y + \epsilon)}{P(y \leq Y \leq y + \epsilon)}\\ &= \lim_{\epsilon \rightarrow 0^+} \frac{\int_{-\infty}^x \int_y^{y + \epsilon}f(u,v)dvdu}{\int_y^{y + \epsilon}f_Y(v) dv}\\ &= \lim_{\epsilon \rightarrow 0^+}\frac{\epsilon \int_{-\infty}^x f(u, y+\theta_1 \epsilon)du}{\epsilon f_Y(y + \theta_2 \epsilon)} \quad \text{积分中值定理,} \theta_1, \theta_2 \in (0, 1)\\ &= \frac{\int_{-\infty}^x f(u, y)du}{f_Y(y)}\\ &= \int_{-\infty}^x\frac{f(u,y)}{f_Y(y)}du \end{aligned}$$

进一步有：$f_{X|Y}(x|y) = \frac{f(x,y)}{f_Y(y)}$.

性质

• 非负性：对任意实数$x, y$有$f_{X|Y}(x|y) \geq 0$

• 规范性：对任意实数$y: f_Y(y) > 0$有

  $$\int_{-\infty}^{+\infty}f_{X|Y}(x|y)dx = \int_{-\infty}^{+\infty}\frac{f(x, y)}{f_Y(y)} dx = \frac{1}{f_Y(y)} \int_{-\infty}^{+\infty} f(x, y)dx = 1$$

• 乘法公式：$f(x,y) = f_X(x)f_{Y|X}(y|x)=f_Y(y)f_{X|Y}(x|y)$

• 密度函数的贝叶斯公式：设随机变量$X$和$Y$相互独立，则有

  $$f_{Y|X}(y|x) = f_Y(y) \quad \text{和} \quad f_{X|Y}(x|y) = f_X(x)$$

  根据条件概率公式有

  $$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}=\frac{f_X(x) f_{Y|X}(y|x)}{\int_{-\infty}^{+\infty}f(x, y) dx}=\frac{f_X(x) f_{Y|X}(y|x)}{\int_{-\infty}^{+\infty}f_{Y|X}(y|x)f_X(x)dx}$$

关于正态分布有：

定理 5.5 设二维随机变量

则

• 在$Y=y$条件下随机变量$X$的服从正态分布

  $$\mathcal{N}(\mu_x + \rho(y- \mu_y)\frac{\sigma_x}{\sigma_y}, (1 - \rho^2)\sigma_x^2),$$

• 在$X = x$条件下随机变量$Y$的服从正态分布

  $$\mathcal{N}(\mu_y + \rho(x - \mu_x)\frac{\sigma_x}{\sigma_y}, (1 - \rho^2)\sigma_y^2).$$

5.6 多维随机变量函数的分布

5.6.1 二维离散型随机向量函数

5.6.1.1 卷积公式-和函数

定理18：若$X$与$Y$为离散随机变量$X$与$Y$，其取值$(i, j \in \mathbb{N}^+)$，则随机变量$Z=X+Y$的分布列为

5.6.1.2 卷积公式-和函数、独立性

定理19：若离散随机变量$X$与$Y$独立，则其分布列为

则随机变量$Z = X + Y$的分布列为

独立性：$P(X=i, Y=j) = P(X= i)P(Y=j)$.

命题一：二项分布之和还是二项分布

定理20：若随机变量$X \sim B(n_1, p)$和$Y \sim B(n_2, p)$独立，则

证明：二项分布$P(X = i) = \binom{n_1}{i}p^i(1-p)^{n-i} \quad (i \in \mathbb{N})$

$$\begin{aligned} P(Z = k) &= \sum_{i=0}^{k}P(X=i)P(Y=k-i)\\ &= \sum_{i=0}^k \binom{n_1}{i}p^i(1-p)^{n_1 -i} \binom{n_2}{k-i}p^{k-i}(1-p)^{n_2-k+i}\\ &= \left(\sum_{i=0}^k \binom{n_1}{i} \binom{n_2}{k-i}\right) p^k(1-p)^{n_1 + n_2 - k}\\ &= \binom{n_1 + n_2}{k} p^k(1-p)^{n_1 + n_2 - k} \end{aligned}$$

对于$\sum_{i=0}^k \binom{n_1}{i} \binom{n_2}{k-i} = \binom{n_1+n_2}{k}$，可用过证明$(1+x)^{n_1}(1+x)^{n_2} = (1+x)^{n_1+n_2}$中的$x^k$项前系数相同得证。

推论：若相互独立的随机变量$X_i \sim B(m_i, p) \quad (i \in \mathbb{N}^+)$，则

推论：若相互独立的随机变量$X_i \sim B(1, p) \quad (i \in \mathbb{N}^+)$，则

命题二：泊松分布之和还是泊松分布

定理21：若随机变量$X \sim P(\lambda_1)$和$Y \sim P(\lambda_2)$独立，则

泊松分布：$P(X = k) = \frac{\lambda^k}{k!}e^{-\lambda} \quad (k \in \mathbb{N})$.

$$\begin{aligned} P(Z = k) &= \sum_{i=0}^{k}P(X=i)P(Y=k-i)\\ &= \sum_{i=0}^k \frac{\lambda_1^i}{i!}e^{-\lambda_1}\frac{\lambda_2^{k-i}}{(k-i)!}e^{-\lambda_2}\\ &= \left[\frac{1}{k!} \sum_{i=1}^k \binom{k}{i} \lambda_1^i \lambda_2^{k-i} \right]e^{-\lambda_1 - \lambda_2}\\ &= \frac{e^{-(\lambda_1 + \lambda_2)}}{k!}(\lambda_1 + \lambda_2)^k \end{aligned}$$

5.6.2 二维连续型随机向量函数

设二维连续型随机向量$(X, Y)$的联合概率密度为$f(x,y)$，求随机变量$Z = g(X, Y)$的概率密度：

• 先计算分布函数（积分区域）

  $$F_Z(z)=P(Z \leq z) = P(g(x, y) \leq z) = \int\int_{g(x,y) \leq z}f(x,y)dxdy.$$

• 对分布函数$F_Z(z)$求导得到密度函数

  $$f_Z(z) = F_Z'(z)$$

5.6.2.1 和的分布$Z = X + Y$

定理22：[求和基本公式]设随机向量$(X, Y)$的联合分布密度为$f(x, y)$，则随机变量$Z = X + Y$的分布函数为

因此，概率密度为

定理 23：[卷积公式-和函数] 若连续随机变量$X$与$Y$相互独立，其概率分布函数分别为$f_X(x)$和$f_Y(y)$，则随机变量$Z = X + Y$的密度函数为

推论：更一般的情况，对于同定义域上的函数$f(x), g(x)$，其卷积为

命题三：正态分布之和是正态分布

定理 24：若随机变量$X \sim \mathcal{N}(\mu_1, \sigma_1^2)$和$Y \sim \mathcal{N}(\mu_2, \sigma_2^2)$相互独立，则

推论 若相互独立的随机变量$X_i \sim \mathcal{N}(\mu_i, \sigma_i^2) \quad (i \in [n])$，则

5.6.3 随机变量的乘/除法分布

定理 25 设随机向量$(X,Y)$的联合密度为$f(x,y)$，则随机变量$Z = XY$的概率密度为

随机变量$Z = Y/X$的概率密度为

命题四：连续随机变量函数的分布

若标准正态分布的随机变量$X$与$Y$相互独立，则随机向量$Z = Y/X$服从柯西分布。

5.6.4 最大值和最小值的分布

定理 26 设$X_1, \dots, X_n$相互独立、分布函数为$F_{X_1}(x_1), \dots, F_{X_n}(x_n)$，则

• 随机变量$Y = \max(X_1, \dots, X_n)$的分布函数为

  $$F_Y(y) = F_{X_1}(y)F_{X_2}(y)\dots F_{X_n}(y)$$

• 随机变量$Z = \min(X_1, \dots, X_n)$的分布函数为

  $$F_Z(z) = 1- [1- F_{X_1}(z)][1-F_{X_2}(z)]\dots[1 - F_{X_n}(z)]$$

  证明：

  • For max:

    $$\begin{aligned} F_Y(y) &= P(\max(X_1, X_2, \cdots, X_n) \leq y)\\ &= P(X_1 \leq y)P(X_2 \leq y) \cdots P(X_n \leq y)\\ &= F_{X_1}(y)F_{X_2}(y) \cdots F_{X_n}(y) \end{aligned}$$

  • For min:

    $$\begin{aligned} F_Z(z) &= P(\min(X_1,X_2, \cdots X_n) \leq y)\\ &= 1 - P(\min(X_1, X_2, \cdots X_n) \geq y)\\ &= 1 - P(X_1 \geq y) P(X_2 \geq y) \cdots P(X_n \geq y)\\ &= 1 - [1 - P(X_1 \leq y)][1 - P(X_2 \leq y)] \cdots [1 - P(X_n \leq y)]\\ &= 1 - [1 - F_{X_1}(y)][1 - F_{X_2}(y)]\cdots [1 - F_{X_n}(y)] \end{aligned}$$

•  

推论：若相互独立的随机变量$X_1, X_2, \dots, X_n$其分布函数和密度函数分别为$F(x)$和$f(x)$，即

则随机变量$Y = \max(X_1, \dots, X_n)$的分布函数和密度函数分别为

随机变量$Z = \min(X_1, \dots, X_n)$的分布函数和密度函数分别为

5.6.5 连续型随机变量复合函数的联合分布函数

定理 27 设$U=u(X,Y)$和$V = v(X, Y)$有连续偏导，反函数$X=x(U,V)$和$Y=y(U,V)$。若$(X,Y)$的联合概率密度为$f(x,y)$，则$(U,V)$的联合密度为

其中$J$为变换的雅可比行列式，即

5.7 多维正态分布

定义 5.13 设$(X_1, X_2, \dots, X_n)$为$n$维随机向量，对任意实数$x_1, x_2, \dots, x_n$函数

称为$n$维随机向量$(X_1, X_2, \dots, X_n)$的分布函数，或随机变量$X_1, X_2, \dots, X_n$的联合分布函数。若存在可积函数$f(x_1, x_2, \dots, x_n)$，使得对任意实数$x_1, x_2, \dots, x_n$有

则称$(X_1, X_2, \dots, X_n)$为连续型随机向量，称$f(x_1, x_2, \dots, x_n)$为$n$维联合密度函数。

性质

• 非负性：对任意实数$x_1, x_2, \dots, x_n$有$f(x_1, x_2, \dots, x_n) \geq 0$

• 规范型：$\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} \cdots \int_{-\infty}^{+\infty} f(u_1, u_2, \dots, u_n) du_1 du_2 \dots du_n = 1$

• 连续性：若$f(x_1, x_2, \dots, x_n)$在点$(x_1, x_2, \dots, x_n)$处连续，则有

  $$\frac{\partial{F(x_1, x_2, \dots, x_n)}}{\partial x_1 \partial x_2 \dots \partial x_n} = f(x_1, x_2, \dots, x_n)$$

• 有界区域可积：设$G$是$n$维空间的一片区域，则有

  $$P((X_1, X_2, \dots, X_n) \in G) = \int \dots \int_G f(u_1, u_2, \dots, u_n) du_1 du_2 \dots du_n$$

•  

定义 5.14 $n$维随机向量$(X_1, X_2, \dots, X_n)$中任意$k (k \leq n)$个分量所构成的随机向量，它的分布函数和密度函数被称为$k$维边缘分布函数和$k$维边缘密度函数。

定义 5.15 若随机向量$(X_1, X_2, \dots, X_n)$的联合分布函数$F(x_1, x_2, \dots, x_n)$满足

则称$X_1, X_2, \cdots X_n$相互独立。若随机向量$X = (X_1, X_2, \cdots , X_m)$和$Y = (Y_1, Y_2, \cdots, Y_n)$的联合分布函数$F(x_1, x_2, \cdots , x_m, y_1, y_2, \cdots, y_n)$满足

则称随机向量$X$和$Y$相互独立

定义 5.16 给定一个向量$\mu \in \mathbb{R}^n$和正定矩阵$\Sigma \in \mathbb{R}^{n \times n}$，对任意实数向量$x = (x_1, x_2, \dots, x_n)^T$，若随机向量$X = (X_1, X_2, \dots, X_n)$的密度函数为

则称随机向量$X$服从参数为$\mu$和$\Sigma$的多维正态分布记为$X = (X_1, X_2, \dots, X_n) \sim \mathcal{N}(\mu, \Sigma)$.特别地，当$n=2$时，二维随机变量$(X,Y) \sim \mathcal{N}(\mu_x, \mu_y, \sigma_x^2, \sigma_y^2, \rho)$可以写成矩阵形式

定义 0.5 当$\mu = 0_n$ （全为零的$n$维向量），以及$\Sigma = I_n$ （$n \times n$单位阵）时，正态分布$\mathcal{N}(0_n, I_n)$被称为$n$维标准正态分布

定理 0.11 设$n$维随机向量$X = (X_1, X_2, \dots, x_n) \sim \mathcal{N}(\mu, \Sigma)$，以及正定矩阵$\Sigma$的特征值分解$\Sigma = U^T \Lambda U$，则随机向量

定理 0.12 [线性性] 随机向量$X = (X_1, X_2, \dots, X_n) \sim \mathcal{N}(\mu, \Sigma)$，则有

其中$|A| \neq 0, A \in \mathbb{R}^{n \times n}$和$b \in \mathbb{R}^{n \times 1}$。

定理 0.13 设随机向量$X = (X_1, X_2, \dots, X_n)^T$和$Y=(Y_1, Y_2, \dots, Y_m)^T$，以及

则有：

• 随机向量$X$和$Y$的边缘分布为$X \sim \mathcal{N}(\mu_x, \Sigma_{xx})$和$Y \sim \mathcal{N}(\mu_y, \Sigma_{yy})$

• 随机向量$X$和$Y$相互独立的充要条件是$\Sigma_{xy} = 0_{m\times n}$（元素全为零的$m \times n$矩阵）

• 在$X = x$的条件下，随机向量$Y$的分布

  $$Y | X = x \sim \mathcal{N}(\mu_y + \Sigma_{yx}\Sigma_{xx}^{-1}(x-\mu_x), \Sigma_{yy} - \Sigma_{yx}\Sigma_{xx}^{-1}\Sigma_{xy})$$

• 在$Y=y$的条件下，随机向量$X$的分布

  $$X | Y = y \sim \mathcal{N}(\mu_x + \Sigma_{xy}\Sigma_{yy}^{-1}(y-\mu_y), \Sigma_{xx} - \Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx})$$