4.1 分布函数

定义 4.1 给定任意随机变量$X$和实数$x$，函数

称为随机变量$X$的分布函数，分布函数的本质是概率。

• 分布函数$F(x)$定义在$(-\infty, +\infty)$的普通函数

• 分布函数不限制随机变量的类型

• 对任意实数$x_1 < x_2$，有

  $$P(x_1 < X \leq x_2) = P(X \leq x_2) - P(X \leq x_1) = F(x_2) - F(x_1)$$

定理 4.1 分布函数$F(x)$具有以下性质：

• 单调性：若$x_1 < x_2$，则$F(x_1) \leq F(x_2)$
• 规范性：$F(x) \in [0, 1]$且$F(-\infty) = 0, F(+\infty) = 1$
• 右连续性：$F(x + 0) = F(x)$

分布函数可由上述三性质完全刻画

对于离散型随机变量$X$舍弃分布列为$p_k = P(X = x_k)(k = 1,2,\dots)$，可得$X$的分布函数为：

4.2 概率密度函数

定义 4.2 设随机变量$X$的分布函数为$F(x)$，如果存在可积函数$f(x)$，使得对任意实数$x$有

成立，则称$X$为连续型随机变量，函数$f(x)$为随机变量$X$的概率密度函数，简称密度函数。

引理 4.1 概率密度函数$f(x)$满足非负性$f(x)\geq 0$和规范性$\int_{-\infty}^{+\infty}f(t) \mathrm{d}t = 1$.

• 根据规范性可知曲线$y = f(x)$与$x$轴所围成的面积为$1$，对任意$x_1 \leq x_2$，有

  $$P(x_1 < X \leq x_2) = F(x_2) - F(x_1) = \int_{x_1}^{x_2} f(x) \mathrm{d}x$$

引理 4.2 对连续随机变量$X$，其分布函数$F(x)$在整个实数域上连续；若$f(x)$在$x$点连续，则$F(x)$在$x$点可导，且$F'(x) = f(x)$.

引理 4.3 对任意常数$c$和连续型随机变量$X$，有$P(X = c) = 0$

Remarks:

• 事件是孤点的：一个事件的概率为0，不能推出该事件是不可能事件；一个事件的概率为1，也不能推出该事件是必然事件
• $P(a \leq X \leq b) = P(a < X < b) = P(a \leq X < b) = P(a < X \leq b)$.
• 注意：概率密度函数不是概率，即$P(X = x) = 0 \neq f(x)$

4.3 连续型随机变量的期望和方差

4.3.1 期望

定义 4.3 设连续随机变量$X$的密度函数为$f(x)$，若积分$\int_{-\infty}^{+\infty} |x|f(x) \mathrm{d}x$收敛，称$\int_{-\infty}^{+\infty} xf(x) \mathrm{d}x$为随机变量$X$的期望，记为$\mathbb{E}(X)$，即

期望的性质

• 对任意常数$a, b$和连续型随机变量$X$，有$\mathbb{E}(aX + b) = a\mathbb{E}(x) + b$

• 对常数$c_1, \dots, c_n$和连续函数$g_1(x), \dots, g_n(x)$，有

  $$\mathbb{E}\left( \sum_{i=1}^n c_i g_i(X)\right) = \sum_{i=1}^n c_i\mathbb{E}(g_i(x))$$

• 对连续随机变量$X$和凸函数$f(x)$，有$f(\mathbb{E}(x)) \leq \mathbb{E}(f(x))$.

• 对连续随机变量$X$和凹函数$f(x)$，有$f(\mathbb{E}(x)) \geq \mathbb{E}(f(x))$.

定义 4.4 对非负随机变量$X$，有

推论： 对非负随机变量$g(X)$，有$\mathbb{E}[g(X)] = \int_0^{+\infty} P(g(X) > t)\mathrm{d}t$.

观察到：

$$X = \int_0^X 1 \mathrm{d}t = \int_0^{+\infty} \mathbb{I}[t < X]\mathrm{d}t = \int_0^{+\infty} \mathbb{I}[X > t] \mathrm{d}t,$$

其中$\mathbb{I}[\cdot]$表示指示函数，如果论断为真，其值为1，否则为0. 两边同时取期望有

$$\begin{aligned} \mathbb{E}[X] &= \mathbb{E}\left[ \int_0^{+\infty} \mathbb{I}[X > t] \mathrm{d}t \right]\\ &= \int_0^{+\infty} \left[ \int_0^{+\infty} \mathbb{I}[x > t]f(x) \mathrm{d}t \right] \mathrm{d}x\\ &= \int_0^{+\infty} \left[ \int_0^{+\infty} \mathbb{I}[x > t]f(x) \mathrm{d}x \right] \mathrm{d}t\\ &= \int_0^{+\infty} \left[ \int_0^{t} \mathbb{I}[x > t]f(x) \mathrm{d}x + \int_{t}^{+\infty} \mathbb{I}[x > t]f(x) \mathrm{d}x \right] \mathrm{d}t\\ &= \int_0^{+\infty}\left[ \int_t^{+\infty} f(x) \mathrm{d}x \right] \mathrm{d}t\\ &= \int_0^{+\infty} P(X > t) \mathrm{d}t \end{aligned}$$

定理 4.2 设随机变量$X$的密度函数为$f(x)$，且$\int_{-\infty}^{+\infty} g(t)f(t) \mathrm{d}t$绝对可积，则

4.3.2 方差

定义 4.5 设连续随机变量$X$的密度函数为$f(x)$，称

等价地

为随机变量$X$的方差

方差的性质

• 对任意常数$a, b$和连续随机变量$X$，有$\mathbb{VAR}(aX + b) = a^2\mathbb{VAR}(X)$
• 对于常数$c$，有$\mathbb{VAR}(X) = \mathbb{E}[(X - \mathbb{E}(X))^2] \leq \mathbb{E}[(X - c)^2]$
• 对于$X \in [a, b]$，有$\mathbb{VAR}(X) \leq (b - \mathbb{E}(X))(\mathbb{E}(X) - a) \leq \frac{(b - a)^2}{4}$.

4.4 常用连续型随机变量

4.4.1 均匀分布（uniform distribution）

定义 4.6 若连续随机变量$X$的密度函数为：

称$X$服从区间 [a, b] 上的均匀分布，记为 $X \sim U(a, b)$

若随机变量$X \sim U(a, b)$，则$X$落入$[a, b]$内任一子区间$[x, x + \Delta]$的概率

几何解释：若$X$落入$[a, b]$内任一子区间的概率与该区间的长度成正比，与位置无关。

随机变量$X \sim U(a,b)$的分布函数为：

期望与方差

$\mathbb{E}(X) = \frac{a +b}{2}$

$\mathbb{VAR}(X) = \frac{(b-a)^2}{12}$

4.4.2 指数分布

定义 4.7 给定常数$\lambda > 0$，若连续随机变量$X$的密度函数为

称$X$服从参数$\lambda$的指数分布，记为$X \sim e(\lambda)$

随机变量$X \sim e(\lambda)$的分布函数为

期望与方差

$\mathbb{E}(X) = \frac{1}{\lambda}$

$\mathbb{VAR}(X) = \frac{1}{\lambda^2}$

无记忆性：

定理 4.3 若随机变量$X \sim e(\lambda)$，则对任意$s > 0$，$t > 0$，有

指数分布是唯一具有无记忆性的连续型随机变量。

引理 4.4 若随机变量$X_1, X_2, \cdots ,X_n$是相互独立的、且分别服从参数为$\lambda_1, \lambda_2, \cdots, \lambda_n$的指数分布，则有

$$\begin{aligned} F_X(X) &= P(X \leq x)\\ &= 1 - P(\min(X_1, X_2, \cdots, X_n) > x)\\ &= 1 - \prod_{i=1}^n P(X_i > x)\\ &= 1 - \prod_{i=1}^n e^{-\lambda_i x}\\ &= 1 - exp \left( -x\sum_{i=1}^n \lambda_i \right) \end{aligned}$$

证毕.

4.4.3 正态分布

定义 4.8 给定$u \in (-\infty, +\infty)$和 $\sigma > 0$，若连续随机变量$X$的密度函数为

称$X$服从参数$\mu, \sigma^2$的正态分布，记为$X \sim \mathcal{N}(\mu, \sigma^2)$

特别地，若$\mu = 0$和$\sigma = 1$，称$\mathcal{N}(0, 1)$为标准正态分布，密度函数为

定理 4.4

若$X \sim \mathcal{N}(\mu, \sigma^2)$，则有

若$X \sim \mathcal{N}(0, 1)$，则有

定理 4.5

若$X \sim N(\mu, \sigma^2)$，则有

若$X \sim \mathcal{N}(0, 1)$，则有

定理 4.6 若$X \sim \mathcal{N}(0, 1)$，对任意$\epsilon > 0$有

针对第一个不等式，我们有：

$$\begin{aligned} P(X \geq \epsilon) &= \int_{\epsilon}^{+\infty} \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}} \mathrm{d}x\\ &= \frac{1}{\sqrt{2 \pi}} \int_{0}^{+\infty} e^{-\frac{(x + \epsilon)^2}{2}} \mathrm{d}x\\ &\leq e^{-\frac{\epsilon^2}{2}} \end{aligned}$$

针对第二个不等式，我们有：

$$\begin{aligned} P(|X| \geq \epsilon) &= 2 \int_{\epsilon}^{+\infty} f(t) \mathrm{d}t\\ &= 2 \int_{\epsilon}^{+\infty}\frac{tf(t)}{t} \mathrm{d}t\\ &\leq 2 \int_{\epsilon}^{+\infty} \frac{tf(t)}{\epsilon} \mathrm{d}t\\ &= -2 \int_{\epsilon}^{+\infty} \frac{f'(t)}{\epsilon} \mathrm{d}t\\ &= -\frac{2}{\epsilon} [f(t)]_{\epsilon}^{+\infty}\\ &= \frac{2}{\sqrt{2\pi} \epsilon} e^{-\frac{\epsilon^2}{2}} \end{aligned}$$

其中因为$f(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{\sigma^2}}$，因此$f'(x) = -xf(x)$

由此完成证明。

标准正态分布函数的性质：

• 根据对称性有$\Phi(x) + \Phi(-x) = 1$

• 若随机变量$X \sim \mathcal{N}(\mu, \sigma^2)$，则对任意实数$a < b$有

  • $P(X < a) = P(\frac{X - \mu}{\sigma} < \frac{a- \mu}{\sigma}) = \Phi(\frac{a - \mu}{\sigma})$
  • $P(X > b) = P(\frac{X - \mu}{\sigma} > \frac{b - \mu}{\sigma}) =1- \Phi(\frac{b - \mu}{\sigma})$
  • $P(a \leq X \leq b) = P(\frac{a - \mu}{\sigma} \leq \frac{X - \mu}{\sigma} \leq \frac{b - \mu}{\sigma}) = \Phi(\frac{b - \mu}{\sigma}) - \Phi(\frac{a - \mu}{\sigma})$.

4.5 连续型随机变量函数的分布

4.6 常用分布的随机数*

4.6.1 区间（0,1）上均匀分布的随机数

4.6.2 常用离散型分布的随机数

4.6.3 常用连续型分布的随机数