6.1 多维随机向量函数的期望

定理 6.1 设二维离散型随机向量$(X, Y)$的分布列为$p_{ij} = P(X = x_i, Y = y_j)$，则随机向量函数$g(X, Y)$的期望为

定理 6.2 连续随机变量$(X, Y)$的概率密度函数为$f(x, y)$，则随机变量$Z = g(X, Y)$的期望为

性质

• 若随机向量$X \geq Y$，则$\mathbb{E}[X] \geq \mathbb{E}[Y]$

• 线性性：对任意随机变量$X$和$Y$，有$\mathbb{E}[X + Y] = \mathbb{E}[X] + \mathbb{E}[Y]$

• 对任意随机向量$X$和$Y$，有Cauchy-Schwartz不等式：

  $$|\mathbb{E}[XY]| \leq \sqrt{\mathbb{E}[X^2]\mathbb{E}[Y^2]}$$

  考虑$\mathbb{E}[(X + tY)^2] \geq 0$，

  有$\mathbb{E}(X^2) + 2t\mathbb{E}[XY] + t^2\mathbb{E}(Y^2) \geq 0$， $\forall t \in \mathbb{R}$。

  这是一个关于$t$的一元二次不等式，因为对于任意$t$都非负，因此有判别式：

  $$4(\mathbb{E}[XY])^2 - 4 \mathbb{E}(Y^2)\mathbb{E}(X^2) \leq 0$$

  因此$|\mathbb{E}[XY]| \leq \sqrt{\mathbb{E}[X^2]\mathbb{E}[Y^2]}$.

• 独立可乘：若随机变量$X$与$Y$相互独立，有$\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$

• 独立方差：若随机变量$X$与$Y$相互独立，有$\mathbb{VAR}(X + Y) = \mathbb{VAR}(X) + \mathbb{VAR}(Y)$

6.2 协方差

定义 6.1 设二维随机向量$(X, Y)$的期望$\mathbb{E}[(X - \mathbb{E}(X))(Y - \mathbb{E}(Y))]$存在，则称其为$X$和$Y$的协方差，记为

协方差是两个随机变量与它们各自期望的偏差之积的期望，由于偏差可正可负，因此协方差可正可负。根据协方差的定义容易发现

性质

• 对任意随机变量$X, Y$和常数$c$有：

  $$Cov(X, c) = 0 \quad Cov(X, Y) = Cov(Y, X).$$

• 对任意随机变量$X,Y$和常数$a, b$有

  $$Cov(aX, bY) = abCov(X, Y) \quad Cov(X + a, Y + b) = Cov(X, Y).$$

• 对任意随机变量$X_1, X_2, Y$有

  $$Cov(X_1 + X_2, Y) = Cov(X_1, Y) + Cov(X_2, Y)$$

• 若随机变量$X$与$Y$相互独立，则有$Cov(X, Y) = 0$，但反之不成立

• 对任意随机变量$X$与$Y$有

  $$[Cov(X, Y)]^2 \leq \mathbb{VAR}(X)\mathbb{VAR}(Y),$$

  等式成立的充要条件是$Y = aX + b$几乎处处成立，即$X$与$Y$几乎处处存在线性关系。

定理 6.3 若随机向量$(X, Y) \sim \mathcal{N}(\mu_x, \mu_y, \sigma_x^2, \sigma_y^2, \rho)$，则有

推论 6.1 若随机向量$(X, Y) \sim \mathcal{N}(\mu_x, \mu_y, \sigma_x^2, \sigma_y^2, \rho)$，则$X$和$Y$互相独立的充要条件是协方差$Cov(X, Y) = 0$.

6.3 相关系数

定义 6.2 设$(X, Y)$为二维随机向量，如果它们的方差$\mathbb{VAR}(X)$和$\mathbb{VAR}(Y)$存在且都不为零，则称

为$X$和$Y$的线性相关系数，简称相关系数。

若$\rho_{XY} >0$，称$X$与$Y$正相关；若$\rho_{XY} < 0$，称$X$与$Y$负相关；若$\rho_{XY} = 0$，称$X$与$Y$不相关。

性质

• $|\rho_{XY}| = 1$的充要条件为$X$与$Y$几乎处处有线性关系$Y = aX + b$.
• 若$X$与$Y$相互独立，则$X$与$Y$不相关$(\rho_{XY} = 0)$，但反之不成立
• 随机变量$X$与$Y$不相关，仅仅表示$X$与$Y$之间不存在线性关系，但可能存在其他关系

定理 6.4 若随机向量$(X, Y) \sim \mathcal{N}(\mu_x, \mu_y, \sigma_x^2, \sigma_y^2, \rho)$，则$X$与$Y$的相关系数$\rho_{XY} = \rho$，以及$X$与$Y$独立的充要条件是$X$和$Y$不相关。

定理 6.5 设随机变量$X$和$Y$的方差存在且都不为零，以下接个条件相互等价：

• $X$和$Y$不相关，即$\rho_{XY} = 0$
• 协方差$Cov(X, Y) = 0$
• $\mathbb{E}(XY) = \mathbb{E}(X)\mathbb{E}(Y)$
• $\mathbb{VAR}(X \pm Y) = \mathbb{VAR}(X) \pm \mathbb{VAR}(Y)$

6.4 条件期望

定义 6.3 设$(X, Y)$为离散型随机向量，在$Y = y$的条件下$X$的条件分布列为$P(X = x_i | Y = y)$，称

为在$Y = y$的条件下$X$的条件期望。

定义 6.4 设$(X, Y)$为连续型随机向量，在$Y = y$的条件下，$X$的条件密度函数为$f_{X | Y}(x|y)$，称

为在$Y = y$的条件下$X$的条件期望。

性质

• 线性性： 对任意常数$a, b$有$\mathbb{E}(aX_1 + bX_2 | Y) = a\mathbb{E}(X_1 | Y) + b\mathbb{E}(X_2 |Y)$

• 函数型： 对离散型随机向量$(X, Y)$和函数$g(X)$，有

  $$\mathbb{E}(g(X) | Y) = \sum_{i}g(x_i)P(X = x_i | Y =y)$$

  对连续型随机向量$(X, Y)$和函数$g(X)$，有

  $$\mathbb{E}(g(X)|Y) = \int_{-\infty}^{+\infty} g(x)f(x | Y= y) dx$$

• 若随机向量$(X, Y) \sim \mathcal{N}(\mu_x, \mu_y, \sigma_x^2, \sigma_y^2, \rho)$，则在$Y = y$的条件下随机变量$X$服从正态分布$\mathcal{N}(\mu_x - \rho \frac{(y - \mu_y)\sigma_x}{\sigma_y}, (1 - \rho^2)\sigma_x^2)$，由此可得

  $$\mathbb{E}(X | y) = \mu_x - \frac{\rho \sigma_x(y - \mu_y)}{\sigma_y}$$

定理 6.6 对二维随机变量$(X ,Y)$有

定理 6.7 设$A_1, A_2, \cdots, A_n$是样本空间$\Omega$的一个分割，即$A_iA_j = \varnothing$和$\Omega = \cup_{i=1}^n A_i$.对任意随机变量$X$有

特别地，随机事件$A$与其对立事件$\bar{A}$构成样本空间$\Omega$的一个划分，对任意随机变量$X$有

6.5 随机向量的数学期望与协方差阵

定义 6.5 设随机向量$X = (X_1, X_2, \cdots, X_n)^T$，称

为随机向量$X$的期望，以及称

为随机变量$X$的协方差矩阵。

定理 6.8 随机向量$X = (X_1, X_2, \cdots, X_n)$的协防差矩阵是对称半正定的矩阵。

定理 6.9 设多维正态分布$X = (X_1, X_2, \cdots ,x_n)^T \sim \mathcal{N}(\mu, \Sigma)$，则有