一、离散型随机变量

定义 0.48 设二维离散型随机变量$(X,Y)$的分布列为

若$Y$的边缘分布$P(Y =y_j)=p_{\cdot j} > 0$，则称

在$Y = y_j$条件下随机变量$X$的条件分布列(conditional probability).类似定义在$X = x_i$条件下随机变量$Y$的条件分布列。

• 若出现条件概率$P(X= x_i | Y = y_j)$，一般都默认$P(Y= y_j) > 0$.

离散型随机变量的条件分布列

条件分布列也可以通过下面的表格给出：

该表格呈现的分布列是关于$X$取值展开的。

性质

• 非负性：$P(X = x_i | Y = y_i) \geq 0$.

• 规范性：$\sum_{i=1}^{\infty}P(X = x_i | Y = y_j) = 1$

• 若离散型随机变量$X$和$Y$相互独立，则有

  $$P(X = x_i | Y = y_i) = P(X = x_i) \quad P(Y = y_j |X = x_i) = P(Y = y_j)$$

二、连续型随机变量

定义 0.49 设连续随机变量$(X, Y)$的联合概率密度为$f(x, y)$，以及$Y$的边缘密度函数为$f_Y(y)$，对任意$f_Y(y) > 0$，称

在$Y = y$条件下随机变量$X$的条件概率密度。

在$Y=y$条件下$X$的条件分布函数。

当$P(y \leq Y \leq y + \epsilon) > 0$时，求条件分布函数：

$$\begin{aligned} F_{X|Y}(x|y) &= \lim_{\epsilon \rightarrow 0^+} P(X\leq x |y \leq Y \leq y + \epsilon)\\ &= \lim_{\epsilon \rightarrow 0^+} \frac{P(X \leq x, y \leq Y \leq y + \epsilon)}{P(y \leq Y \leq y + \epsilon)}\\ &= \lim_{\epsilon \rightarrow 0^+} \frac{\int_{-\infty}^x \int_y^{y + \epsilon}f(u,v)dvdu}{\int_y^{y + \epsilon}f_Y(v) dv}\\ &= \lim_{\epsilon \rightarrow 0^+}\frac{\epsilon \int_{-\infty}^x f(u, y+\theta_1 \epsilon)du}{\epsilon f_Y(y + \theta_2 \epsilon)} \quad \text{积分中值定理,} \theta_1, \theta_2 \in (0, 1)\\ &= \frac{\int_{-\infty}^x f(u, y)du}{f_Y(y)}\\ &= \int_{-\infty}^x\frac{f(u,y)}{f_Y(y)}du \end{aligned}$$

进一步有：$f_{X|Y}(x|y) = \frac{f(x,y)}{f_Y(y)}$.

性质

• 非负性：对任意实数$x, y$有$f_{X|Y}(x|y) \geq 0$

• 规范性：对任意实数$y: f_Y(y) > 0$有

  $$\int_{-\infty}^{+\infty}f(x, y)dx = \int_{-\infty}^{+\infty}\frac{f(x, y)}{f_Y(y)} dx = \frac{1}{f_Y(y)} \int_{-\infty}^{+\infty} f(x, y)dx = 1$$

• 乘法公式：$f(x,y) = f_X(x)f_{Y|X}(y|x)=f_Y(y)f_{X|Y}(x|y)$

• 密度函数的贝叶斯公式：设随机变量$X$和$Y$相互独立，则有

  $$f_{Y|X}(y|x) = f_Y(y) \quad \text{和} \quad f_{X|Y}(x|y) = f_X(x)$$

  根据条件概率公式有

  $$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}=\frac{f_X(x) f_{Y|X}(y|x)}{\int_{-\infty}^{+\infty}f(x, y) dx}=\frac{f_X(x) f_{Y|X}(y|x)}{\int_{-\infty}^{+\infty}f_{Y|X}(y|x)f_X(x)dx}$$

三、二维正态分布的条件分布

定理 0.17 设二维随机变量

则

• 在$Y=y$条件下随机变量$X$的服从正态分布

  $$\mathcal{N}(\mu_x + \rho(y- \mu_y)\frac{\sigma_x}{\sigma_y}, (1 - \rho^2)\sigma_x^2),$$

• 在$X = x$条件下随机变量$Y$的服从正态分布

  $$\mathcal{N}(\mu_y + \rho(x - \mu_x)\frac{\sigma_x}{\sigma_y}, (1 - \rho^2)\sigma_y^2).$$