16.2.6 随机过程和随机链

发生在自然界以及工程学和经济学领域研究的许多过程, 在现实中只能用时间相关随机变量进行确切描述.

一个城市在特定时刻 $t$ 的用电量是随机波动的,它依赖于家庭和工业的实际需求. 用电量可视为连续随机变量 $X$ . 当观察时间 $t$ 变化时,用电量在任意时刻都是连续随机变量, 故它是时间的函数.

对时间相关随机变量的随机分析引出了随机过程的概念, 关于随机过程有丰富的文献 (例如可参见 [16.7], [16.14], [16.5], [16.8], [16.18], [16.16]). 下面给出一些介绍性概念.

16.2.6.1 基本概念、马尔可夫链

1. 随机过程

依赖于一个参数的随机变量集称为随机过程,一般情况下,我们将时间 $t$ 取为参数,故随机变量用 $X_t$ 表示,随机过程由集合

$$\begin{array}{}\text{(16.103)}& \left\{X_t\mid t\in T\right\}\end{array}$$

给出. 参数值的集合称为参数空间 $T$ ,随机变量数值的集合称为状态空间 $Z$ .

2. 随机链

如果参数空间和状态空间都是离散的,即状态变量 $X_t$ 和参数 $t$ 的取值为有限或无限可数时, 则称该随机过程为随机链. 这种情形下, 不同的状态值和参数值可记为

$$\begin{array}{}\text{(16.104)}& Z=\{1,2,\cdots ,i,i+1,\cdots \},\end{array}$$$$T=\left\{t_0,t_1,\cdots ,t_m,t_{m+1},\cdots \right\}\text{,其中}0\le t_0<t_1<\cdots <t_m<t_{m+1}<\cdots$$

(16.105)

时间 $t_0,t_1,\cdots$ 未必是等间隔的.

3. 马尔可夫链、转移概率

如果随机过程中不同取值 $X_{t_{m+1}}$ 的概率只依赖于 $t_m$ 时刻的状态,则称该过程为马尔可夫链. 马尔可夫链的性质可由下述式子进行精确定义: 对任意 $m\in$ $\{0,1,2,\cdots \}$ 和任意 $i_0,i_1,\cdots ,i_m\in Z$ ,

$$P\left(X_{t_{m+1}}=i_{m+1}\mid X_{t_0}=i_0,X_{t_1}=i_1,\cdots ,X_{t_m}=i_m\right)=P\left(X_{t_{m+1}}=i_{m+1}\mid X_{t_m}=i_m\right).$$

(16.106)

对于马尔可夫链和 $t_m,t_{m+1}$ 时刻,条件概率

$$\begin{array}{}\text{(16.107)}& P\left(X_{t_{m+1}}=j\mid X_{t_m}=i\right)=p_{ij}\left(t_m,t_{m+1}\right)\end{array}$$

称为马尔可夫链的转移概率. 转移概率通过从 $t_m$ 时刻状态 $X_{t_m}=i$ 到 $t_{m+1}$ 时刻状态 $X_{t_{m+1}}=j$ 的系统变化来确定概率.

如果马尔可夫链的状态空间是有限的,即 $Z=\{1,2,\cdots ,N\}$ ,则 $t_1$ 和 $t_2$ 时刻状态之间的转移概率 $p_{ij}\left(t_1,t_2\right)$ 可由二次矩阵 $\mathbf{P}\left(t_1,t_2\right)$ 表示,二次矩阵即所谓的转移矩阵:

$$\begin{array}{}\text{(16.108)}& \mathbf{P}\left(t_1,t_2\right)=\left(\begin{array}{cccc}{p}_{11}\left(t_1,t_2\right)& p_{12}\left(t_1,t_2\right)& \cdots & p_{1N}\left(t_1,t_2\right)\\ p_{21}\left(t_1,t_2\right)& p_{22}\left(t_1,t_2\right)& \cdots & p_{2N}\left(t_1,t_2\right)\\ ⋮& ⋮& & ⋮\\ p_{N1}\left(t_1,t_2\right)& p_{N2}\left(t_1,t_2\right)& \cdots & p_{NN}\left(t_1,t_2\right)\end{array}\right).\end{array}$$

时间 $t_1,t_2,\cdots$ 未必是相邻的.

4. 时齐的 (平稳) 马尔可夫链

如果马尔可夫链的转移概率 (16.107) 式不依赖于时间, 即

$$\begin{array}{}\text{(16.109)}& p_{ij}\left(t_m,t_{m+1}\right)=p_{ij},\end{array}$$

则称该马尔可夫链为时齐的或平稳的. 具有有限状态空间 $Z=\{1,2,\cdots ,N\}$ 的平稳马尔可夫链, 其转移矩阵为

$$\begin{array}{}\text{(16.110a)}& \mathbf{P}=\left(\begin{array}{cccc}{p}_{11}& p_{12}& \cdots & p_{1N}\\ p_{21}& p_{22}& \cdots & p_{2N}\\ ⋮& ⋮& & ⋮\\ p_{N1}& p_{N2}& \cdots & p_{NN}\end{array}\right)\end{array}$$

其中

**a) $p_{ij}\ast \ast \ge 0$ 对任意 $i,j$ ,且(16.110b)

**b) $\underset{j=1}{\overset{N}{\sum \ast \ast }}{p}_{ij}=1$ 对任意 $i$ .(16.110c)

$p_{ij}$ 不依赖于时间,给出了单位时间内从状态 $i$ 转移到状态 $j$ 的转移概率.

电话交换中繁忙线路的数量可用平稳马尔可夫链来建模. 为简单起见, 设只有两条线路,因此,状态为 $i=0,1,2$ . 令时间单位比如为 1 分钟,设转移矩阵 $\left(p_{ij}\right)$ 为

$$\left(p_{ij}\right)=\left(\begin{array}{lll}0.7& 0.3& 0.0\\ 0.2& 0.5& 0.3\\ 0.1& 0.4& 0.5\end{array}\right)\left(i,j=0,1,2\right).$$

在矩阵 $\left(p_{ij}\right)$ 中,第一行对应状态 $i=0$ . 矩阵元素 $p_{12}=0.3$ (第 2 行第 3 列) 表示当已知 $t_{m-1}$ 时刻一条线路繁忙时,在 $t_m$ 时刻两条线路都繁忙的概率.

注 满足性质 (16.110b) 和 (16.110c) 式的每一个 $N\times N$ 二次矩阵 $\mathbf{P}=\left(p_{ij}\right)$ , 称为随机矩阵. 其行向量称为随机向量.

虽然平稳马尔可夫链的转移概率不依赖于时间,但是在给定时刻随机变量 $X_t$ 的分布由概率

$$\begin{array}{}\text{(16.111a)}& P\left(X_t=i\right)=p_i\left(t\right)\left(i=1,2,\cdots ,N\right)\end{array}$$

且

$$\begin{array}{}\text{(16.111b)}& \sum _{i=1}^N{p}_i\left(t\right)=1\end{array}$$

给出,因为该过程在任意时刻 $t$ 以概率为 1 处于某个状态.

5. 概率向量、转移矩阵

概率表达式 (16.111a) 可记为概率向量

$$\begin{array}{}\text{(16.112)}& \underset{―}{\mathbf{p}}=\left(p_1\left(t\right),p_2\left(t\right),\cdots ,p_N\left(t\right)\right)\end{array}$$

的形式. 概率向量 $\underset{―}{p}$ 是随机向量,它决定了 $t$ 时期平稳马尔可夫链的状态分布. 设平稳马尔可夫链的转移矩阵 $\mathbf{P}$ 已给出 (根据 (16.110a),(16.110b),(16.110c)),可从 $t$ 时段的概率分布出发来确定 $t+1$ 时段的概率分布,即由 $\mathbf{P}$ 和 $\underset{―}{\mathbf{p}}\left(t\right)$ 计算 $\underset{―}{\mathbf{p}}\left(t+1\right)$ :

$$\begin{array}{}\text{(16.113)}& \underset{―}{\mathbf{p}}\left(t+1\right)=\underset{―}{\mathbf{p}}\left(t\right)\cdot \mathbf{P}.\end{array}$$

进一步有

$$\begin{array}{}\text{(16.114)}& \underset{―}{\mathbf{p}}\left(t+k\right)=\underset{―}{\mathbf{p}}\left(t\right)\cdot {\mathbf{P}}^k.\end{array}$$

注 (1) 当 $t=0$ 时,由 (16.114) 式可推出

$$\begin{array}{}\text{(16.115)}& \underset{―}{\mathbf{p}}\left(k\right)=\underset{―}{\mathbf{p}}\left(0\right){\mathbf{P}}^k,\end{array}$$

即平稳马尔可夫链可由初始分布 $\underset{―}{\mathbf{p}}\left(0\right)$ 与转移矩阵 $\mathbf{P}$ 唯一确定.

(2) 若矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ 是随机矩阵,则 $\mathbf{C}=\mathbf{AB}$ 也是随机矩阵. 因此,若 $\mathbf{P}$ 是随机矩阵,则幂 ${\mathbf{P}}^k$ 也是随机矩阵.

粒子依据下述规则在 $t=1,2,3,\cdots$ 的时段沿直线改变其位置 (状态) $X_t(1\le$ $x\le 5)$ :

a) 如果粒子在 $x=2,3,4$ 处,则下一个单位时间向右移动一个位置的概率是 $p=0.6$ ,向左移动一个位置的概率是 $1-p=0.4$ .

b) 在 $x=1$ 和 $x=5$ 处,粒子可吸收,即以概率 1 留在此处.

c) 在 $t=0$ 时刻,粒子位于 $x=2$ 处.

求在 $t=3$ 的时段的概率分布 $\underset{―}{p}\left(3\right)$ .

由 (16.115) 式,概率分布 $\underset{―}{p}\left(3\right)=\underset{―}{p}\left(0\right)\cdot {\mathbf{P}}^3$ 成立,其中 $\underset{―}{p}\left(0\right)=\left(0,1,0,0,0\right)$ ,且转移矩阵为

$$\mathbf{P}=\left(\begin{array}{ccccc}1& 0& 0& 0& 0\\ 0.4& 0& 0.6& 0& 0\\ 0& 0.4& 0& 0.6& 0\\ 0& 0& 0.4& 0& 0.6\\ 0& 0& 0& 0& 1\end{array}\right)$$

因此,

$${\mathbf{P}}^3=\left(\begin{array}{ccccc}1& 0& 0& 0& 0\\ 0.496& 0& 0.288& 0& 0.216\\ 0.160& 0.192& 0& 0.288& 0.360\\ 0.064& 0& 0.192& 0& 0.744\\ 0& 0& 0& 0& 1\end{array}\right),$$

从而, $\underset{―}{\mathbf{p}}\left(3\right)=\left(0.496,0,0.288,0,0.216\right)$ .

16.2.6.2 泊松过程

1. 泊松过程

在随机链的状态空间 $Z$ 和参数空间 $T$ 都是离散的情形下,即随机过程只在离散时间段 $t_0,t_1,t_2,\cdots$ 处取值. 如果用连续参数空间 $T$ 研究该过程,则称之为泊松过程.

(1)泊松过程的数学表述 为了在数学上表述泊松过程, 我们作如下假设:

a) 令随机变量 $X_t$ 为时间区间 $[0,t)$ 内的信号数;

b) 令概率 $p_X\left(t\right)=P\left(X_t=x\right)$ 为时间区间 $[0,t)$ 内信号数是 $x$ 的概率.

此外, 在放射性衰变过程和许多其他随机过程中, 需要下述假设成立 (至少大概成立):

c) 在长度为 $t$ 的时间区间内信号数是 $x$ 的概率 $P\left(X_t=x\right)$ 只依赖于 $x$ 和 $t$ , 与区间在时间轴上的位置无关.

d) 在相邻时间区间内的信号数是独立随机变量.

e) 在长度为 $\mathrm{\Delta }t$ 的较短区间内至少得到一个信号的概率,与区间长度大致成比例. 比例因子用 $\lambda \left(\lambda >0\right)$ 表示.

(2) 分布函数 由性质 a)-e) 可确定随机变量 $X_t$ 的分布为

$$\begin{array}{}\text{(16.116)}& P\left(X_t=x\right)=\frac{{\left(\lambda t\right)}^x}{x!}{\mathrm{e}}^{-\lambda t},\end{array}$$

其中 $\mu =\lambda t$ 是期望值, ${\sigma }^2=\lambda t$ 是方差.

(3) 注 (a) 由 (16.116) 可知,泊松分布是泊松过程在 $t=1$ 时的特殊情形 (参见第 1068 页 16.2.3.3).

(b) 为解释参数 $\lambda$ 或根据观察数据估计 $\lambda$ 的值,可利用下述性质: - $\lambda$ 是单位时间内的平均信号数;

• $\frac{1}{\lambda }$ 是泊松过程中两个信号之间的平均距离 (从时间上讲).

(c) 泊松过程可解释为粒子在状态空间 $Z=\{0,1,2,\cdots \}$ 的随机运动. 粒子从状态 0 开始,在每个标志处从状态 $i$ 跳到下一个状态 $i+1$ . 而且,对于一个小间隔 $\mathrm{\Delta }t$ ,从状态 $i$ 跳到状态 $i+1$ 的转移概率 $p_{i,i+1}$ 应该是

$$\begin{array}{}\text{(16.117)}& p_{i,i+1}\approx \lambda \mathrm{\Delta }t\end{array}$$

$\lambda$ 称为转移率.

(4) 泊松过程举例

• 放射性衰变是泊松过程的典型实例: 衰变 (信号) 数用计数器记录, 且标注到时轴上. 与辐射物质的半周期相比, 观察间隔应相对较小.

• 在电话交换中,考虑到 $t$ 时刻为止的呼叫次数,比如,假设单位时间内平均呼叫次数是 $\lambda$ ,计算到 $t$ 时刻为止最多记录 $x$ 次呼叫的概率.

• 在可靠性检验中, 使用周期内遇到的可修复系统的故障数.

$◼$ 排队论考虑到达商店柜台处、售票处或加油站的顾客人数.

2. 生灭过程

对泊松过程的一种推广是假设 (16.117) 中的转移率 ${\lambda }_i$ 只依赖于状态 $i$ . 另一种推广是允许从状态 $i$ 转移到状态 $i-1$ ,对应的转移率用 ${\mu }_i$ 表示. 比如,把状态 $i$ 视为总体中的个体数量,从状态 $i$ 到达状态 $i+1$ ,个体数增加 1,从状态 $i$ 到达状态 $i-1$ ,个体数减少 1 . 这些随机过程称为生灭过程. 令 $P\left(X_t=i\right)=p_i\left(t\right)$ 是随机过程在 $t$ 时刻处于状态 $i$ 的概率. 与泊松过程类似,转移概率满足

从 $i-1$ 到达 $i:p_{i-1,i}\approx {\lambda }_{i-1}\mathrm{\Delta }t$ ;

从 $i+1$ 到达 $i:p_{i+1,i}\approx {\mu }_{i+1}\mathrm{\Delta }t$ ;(16.118)

从 $i$ 到达 $i:p_{i,i}\approx 1-\left({\lambda }_i+{\mu }_i\right)\mathrm{\Delta }t$ .

注 泊松过程是转移率为常数的纯生过程.

3. 排队论

简单的排队系统可视为根据顾客到达的先后顺序, 逐个为顾客服务的柜台. 等待室足够大, 故没有人由于房间满员而需要离开. 顾客的到达服从泊松过程, 即两个顾客的到达间隔时间服从参数为 $\lambda$ 的指数分布,且到达间隔时间互相独立. 在很多情形下,服务时间也服从参数为 $\mu$ 的指数分布. 参数 $\lambda$ 和 $\mu$ 的含义如下:

• $\lambda$ : 单位时间内到达的平均数;

• $\frac{1}{\lambda }$ : 平均到达间隔时间;

• $\mu$ : 单位时间内所服务顾客的平均数量; - $\frac{1}{\mu }$ : 平均服务时间.

注 (1) 如果等待排队的顾客人数可视为随机过程的状态, 则上述简单排队模型是出生率 $\lambda$ 和死亡率 $\mu$ 都为常数的生灭过程.

(2) 上述排队模型可以多种不同方式进行修订和推广, 例如, 有多个柜台为顾客服务, 或者是到达时间和服务时间服从不同分布 (参见 [16.14], [16.27]).