第三章离散型随机变量 – 李云浩的博客

本文最后更新于162 天前，其中的信息可能已经过时，如有错误请发送邮件至 2641805259@qq.com

定义 3.1 设 $\Omega$ 是一个样本空间，如果对每个基本事件 $w \in \Omega$ ，都对应于一个实数 $X(w)$ ，称这样的单射实值函数 $X(w):\Omega \rightarrow \mathbb{R}$ 为随机变量（random variable），一般简写为 $X$ .

根据取值类型，可以将随机变量进行分类：

离散型随机变量： $X$ 的取值是有限的、无限可列的
非离散型随机变量： $X$ 的取值是无限不可列的

3.1 离散型随机变量及分布列

定义 3.2 设随机变量 $X$ 的所有可能的取值为 $x_1, x_2, \dots, x_k, \dots$ ，事件 $\{X = x_k\}$ 的概率为

p_k = P(X = x_k), \quad k = 1, 2, \dots,

称之为随机变量 $X$ 的概率分布列或概率分布，简称分布列.

3.1.1 分布列

分布列包含随机变量的取值和概率，可以完全刻画其概率属性

X	$x_1$	$x_2$	$\cdots$	$x_n$	$\cdots$
P(X)	$p_1$	$p_2$	$\cdots$	$p_n$	$\cdots$

性质 3.1

对任意的 $k$ 都有 $p_k \geq 0$
$\sum_k p_k = 1$

3.2 离散型随机变量的期望

3.2.1 期望

定义 3.3 设随机变量 $X$ 的分布列为 $P(X = x_k) = p_k(k \geq 1).$ 若级数 $\sum_kp_kx_k$ 绝对收敛，则称级数 $\sum_kp_kx_k$ 为随机变量 $X$ 的期望，记为 $\mathbb{E}(X)$

\mathbb{E}(X) = \sum_k x_kp_k

Remarks：

期望是常量不是变量
期望反映随机变量 $X$ 的平均值
期望的性质：
1. 设 $c \in \mathbb{R}$ ，若随机变量 $X \equiv c$ ，则 $\mathbb{E}(X) = c$ ，不考虑其分布列
2. 线性：对随机变量 $X$ 及常数 $a, b \in \mathbb{R}$ ， $\mathbb{E}(aX + b) = a\mathbb{E}(X) + b$
除非特殊说明，通常直接利用定义计算期望，不考虑绝对收敛性

定理 3.1 设离散型随机变量 $X$ 的分布列是 $P(X = x_k) = p_k > 0(k \geq 1).$ 对任意的实质函数 $g:\mathbb{R} \rightarrow \mathbb{R}$ .若级数 $\sum_kg(x_k)p_k$ 绝对收敛，则有

\mathbb{E}[g(X)] = \sum_k g(x_k)p_k

Remarks:

求 $Y = g(X)$ 的期望，无需知道 $Y$ 的分布列，使用 $X$ 的分布列即可计算 $\mathbb{E}(Y)$ .
定理 3.1 即期望的线性性

3.2.2 凸函数和凹函数

定义 3.4（凸函数） 设函数 $g : [a, b] \in \mathbb{R}$ ，对任意 $x_1, x_2 \in [a, b]$ 和 $\lambda \in [0, 1]$ .若

g(\lambda x_1 + (1 - \lambda)x_2) \leq \lambda g(x_1) + (1 - \lambda)g(x_2).

则称 $g$ 是定义在 $[a, b]$ 的凸函数或者下凸函数

定义 3.5（凹函数） 设函数 $g : [a, b] \rightarrow \mathbb{R}$ ，对任意 $x_1, x_2 \in [a, b]$ 和 $\lambda \in [0, 1]$ ，若

g(\lambda x_1 + (1 - \lambda)x_2) \geq \lambda g(x_1) + (1 - \lambda)g(x_2),

则称 $g$ 是定义在 $[a,b]$ 的凹函数或者上凸函数

Jensen 不等式

定理 3.2 对随机变量 $X \in [a, b]$ 和若实值函数 $f : [a, b] \rightarrow \mathbb{R}$ 是凸函数，实值函数 $g :[a, b] \rightarrow \mathbb{R}$ 是凹函数，则有

f[\mathbb{E}(X)] \leq \mathbb{E}[f(X)] \quad \text{和} \quad g[\mathbb{E}(X)] \geq \mathbb{E}[g(X)]

3.3 离散型随机变量的方差

定义 3.6 设随机变量 $X$ 的分布列为 $P(X = x_k) = p_k > 0(k \geq 1)$ .若期望 $\mathbb{E}(X)$ 和

\mathbb{E}[(X - \mathbb{E}(X))^2] = \sum_{k\geq 1}p_k(x_k - \sum_kp_kx_k)^2,

存在，则称 $\mathbb{E}[(X - \mathbb{E}(X))^2]$ 为随机变量 $X$ 的方差，记为 $\mathbb{VAR}(X)$ .称

\sigma(X) = \sqrt{\mathbb{VAR}(X)} \quad 或 \quad \mathbb{D}(X) = \sqrt{\mathbb{VAR}(X)}

为标准差。

Remarks：

方差是常量而不是变量
方差反映随机变量 $X$ 与其期望 $\mathbb{E}(X)$ 的偏离程度

离散型随机变量方差的性质

$\mathbb{VAR}(X) = \mathbb{E}(X^2) - [\mathbb{E}(X)]^2$
设 $c \in \mathbb{R}$ 是常数，若随机变量 $X \equiv c$ ，则 $\mathbb{VAR}(X) = 0$
对随机变量 $X$ 和常数 $a, b \in \mathbb{R}$ ，有 $\mathbb{VAR}(aX + b) = a^2\mathbb{VAR}(X)$
对随机变量 $X$ 和常数 $a$ ，有 $\mathbb{VAR}(X) = \mathbb{E}[(X - \mathbb{E}(X))^2] \leq \mathbb{E}[(X - a)^2]$
Bhatia-Davis 不等式：对随机变量 $X \in [a, b]$ ，有
$\mathbb{VAR}(X) \leq (b - \mathbb{E}(X))(\mathbb{E}(X) - a) \leq \frac{(b - a)^2}{4}$

3.4 常用离散型随机变量

3.4.1 0-1 分布

伯努利试验：

只考虑事件 $A$ 发生或不发生两种情况，用 0 和 1 标记来实现试验结果数值化。

定义 3.7

随机变量 $X$ 的取值 $\{0, 1\}$ ，其分布列为：

P(X = 1) = p, \quad P(X = 0) = 1 - p

称 $X$ 服从参数为 $p$ 的 $0-1$ 分布，或伯努利分布，记 $X \sim Ber(p)$

期望：

若 $X \sim Ber(p)$ ，则 $\mathbb{E}(X) = p$

方差：

若 $X \sim Ber(p)$ ，则 $\mathbb{VAR}(X) = p(1-p)$

3.4.2 二项分布

定义 3.8（n重伯努利试验） 将一个伯努利试验独立重复地进行 $n$ 次，称这一系列重复的独立试验为 $n$ 重伯努利试验.

在 $n$ 重伯努利试验中，用 $X$ 表示事件 $A$ 发生的次数，取值 $0, 1, \dots, n.$

定义 3.9

随机变量 $X$ 的取值 $0, 1, \dots, n$ ，其分布列为：

P(X=k)=\binom{n}{k}p^k (1-p)^{n-k}, \quad k \in \{0, 1, 2, \dots, n\}

称 $X$ 服从参数为 $n$ 和 $p$ 的二项分布，记 $X \sim B(n, p)$

期望

$\mathbb{E}(X) = np$

方差

$\mathbb{VAR}(X) = np(1-p)$

3.4.3 泊松分布

用于描述大量试验中稀有事件出现次数的概率模型。

定义 3.10

若随机变量 $X$ 的分布列为：

P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda} \quad (k \geq 0)

其中， $\lambda > 0$ 是一个常数，称随机变量 $X$ 服从参数为 $\lambda$ 的泊松分布，记为 $X \sim P(\lambda)$ 或者 $X \sim \text{Poisson}(\lambda)$

期望

$\mathbb{E}(X) = \lambda$

方差

$\mathbb{VAR}(X) = \lambda$

泊松定理

定理 3.2 设 $\lambda > 0$ 任意给定的常数， $n$ 是一个正整数，若 $np_n = \lambda$ ，则对任意给定的非负整数 $k$ ，有

\lim_{n \rightarrow \infty} \binom{n}{k} p_n^k (1 - p_n)^{n- k} = \frac{\lambda^k}{k!}e^{-\lambda}.

若随机变量 $X \sim B(n, p)$ ，当 $n$ 比较大而 $p$ 比较小时，令 $\lambda = np$ ，有

P(X = k) = \binom{n}{k} p^k(1- p)^{n-k} \approx \frac{\lambda^k}{k!}e^{-\lambda}

即利用泊松分布可近似计算二项分布

3.4.4 几何分布

定义 3.11

在多重伯努利试验中设事件 $A$ 发生的概率为 $p$ ，用随机变量 $X$ 表示事件 $A$ 首次发生时的试验次数

$X$ 的分布列为

P(X=k)=(1-p)^{k-1}p \quad (k \geq 1)

称 $X$ 服从参数为 $p$ 的几何分布，记为 $X \sim G(p)$

期望

$\mathbb{E}(X) = \frac{1}{p}$

方差

$\mathbb{VAR}(X) = \frac{1 - p}{p^2}$

无记忆性

设随机变量 $X \sim G(p)$ ，对任意正整数 $m, n$ ，有

P(X > m + n | X > m) = P(X > n)

根据定义及等比数列求和计算
$P(X > m) = \sum_{k=m+1}^{+\infty}p(1-p)^{k-1} = (1-p)^m\\ P(X > n) = \sum_{k=n+1}^{+\infty}p(1-p)^{k-1} = (1-p)^n\\ P(X > m + n) = \sum_{k = m + n + 1}^{+\infty}p(1-p)^{k-1} = (1-p)^{n + m}$

3.4.5 Pascal 分布

在多重伯努利试验中，随机事件 $A$ 发生的概率为 $p$ ，用 $X$ 表示事件 $A$ 第 $r$ 次成功时发生的试验次数。

随机变量 $X$ 的取值为： $r, r+ 1, r + 2, \dots$ ，其分布列为：

P(X=n)=\binom{n-1}{r-1}p^{r-1}(1-p)^{n-r}\cdot p \quad (n \geq r)

称 $X$ 服从参数为 $r$ 和 $p$ 的 Pascal 分布，又称负二项分布，记为 $X \sim \text{Pascal}(r, p)$ 。

期望：

$\mathbb{E}(X) = \frac{r}{p}$

方差：

$\mathbb{VAR} = \frac{r(1-p)}{p^2}$

3.1 离散型随机变量及分布列

3.1.1 分布列

3.2 离散型随机变量的期望

3.2.1 期望

3.2.2 凸函数和凹函数

Jensen 不等式

3.3 离散型随机变量的方差

离散型随机变量方差的性质

3.4 常用离散型随机变量

3.4.1 0-1 分布

伯努利试验：

3.4.2 二项分布

3.4.3 泊松分布

泊松定理

3.4.4 几何分布

无记忆性

3.4.5 Pascal 分布

3.5 案例分析

3.5.1 德国坦克问题

3.5.2 集卡活动

3.5.3 随机二叉树叶子结点的高度

发送评论编辑评论

3.1 离散型随机变量及分布列

3.1.1 分布列

3.2 离散型随机变量的期望

3.2.1 期望

3.2.2 凸函数和凹函数

Jensen 不等式

3.3 离散型随机变量的方差

离散型随机变量方差的性质

3.4 常用离散型随机变量

3.4.1 0-1 分布

伯努利试验：

3.4.2 二项分布

3.4.3 泊松分布

泊松定理

3.4.4 几何分布

无记忆性

3.4.5 Pascal 分布

3.5 案例分析

3.5.1 德国坦克问题

3.5.2 集卡活动

3.5.3 随机二叉树叶子结点的高度

发送评论 编辑评论

推荐文章

发送评论编辑评论