5 马氏链

5.1 基本概念

有一类随机过程， 它具备所谓的“无后效性”(马氏性)，即要确定过程将来的状态， 知道它此刻的情况就足够了，并不需要对它以往状况的认识，这类过程称为Markov过程.我们将介绍Markov过程中最 简单的两种类型：离散时间的马氏链(简称马氏链)及连续时间的马氏链.

5.1.1 定义和例子

定义5.1 随机过程\(\{X_n, n=0,1,2,\dots\}\)称为马氏链， 若它只取有限或可列个值(若不另外说明，以非负整数集\(\{0,1,2,\dots\}\)来表示)， 并且对任意的 \(n \geq 0\)， 及任意状态\(i, j, i_0, i_1, \dots, i_{n-1}\)，有 \[\begin{align} P \{ X_{n+1} = j \;|\; X_0 = i_0, X_1=i_1, \dots, X_{n-1}=i_{n-1}, X_n=i \} =& P \{ X_{n+1}=j \;|\; X_n=i \} \tag{5.1} \end{align}\] 其中\(X_n = i\)表示过程在时刻\(n\)处于状态\(i\)， 称\(\{0, 1, 2, \dots\}\)为该过程的状态空间， 记为\(S\). 式(5.1)刻画了马氏链的特性， 称为马氏性。

条件独立性： 设\(A, B, C\)为随机事件， 若\(P(BC)>0\), 则 \[ P(A|BC) = P(A|B) \] 等价于 \[ P(AC | B) = P(A|B) P(C|B), \] 这时称给定\(B\)的条件下\(A\)和\(C\)相互独立。 集合函数\(P_B(A) = P(A|B)\)（\(A \in \mathscr F\)）是一个概率测度， 也有乘积公式、全概率公式等性质。

对随机变量\(X, Y, Z\)，若 \[\begin{aligned} P(X \leq x, Y \leq y | Z = z) = P(X \leq x | Z = z) P(Y \leq y | Z = z) \end{aligned}\] 则称\(X\)和\(Y\)在给定\(Z\)的条件下独立。 \(X, Y, Z\)都服从离散分布时，条件独立性等价于 \[\begin{aligned} P(X = x, Y = y | Z = z) = P(X = x | Z = z) P(Y = y | Z = z), \end{aligned}\] 也等价于 \[\begin{aligned} P(X = x | Y = y ,Z = z) = P(X = x | Z = z) . \end{aligned}\] 条件(5.1)等价于\(X_{n+1}\)和\(X_0, \dots, X_{n-1}\)在给定\(X_n\)的条件下条件独立。

定义5.2 称(5.1)式中的条件概率\(P \{ X_{n+1}=j | X_n=i \}\)为马氏链\(\{X_n, n=0, 1, 2, \dots\}\)的一步转移概率， 简称为转移概率.

一般情况下，转移概率与状态\(i\), \(j\)和时刻\(n\)有关.

定义5.3 当马氏链的一步转移概率\(P\{ X_{n+1}=j | X_n=i \}\)只与状态\(i, j\)有关， 而与\(n\)无关时， 称此马氏链为时齐马氏链， 记\(P\{ X_{n+1}=j | X_n=i \} = p_{ij}\)， 代表处于状态\(i\)的过程下一步转移到状态\(j\)的概率. 若\(P\{ X_{n+1}=j | X_n=i \}\)与\(n\)有关， 就称该马氏链为非时齐的.

在本书中，我们只讨论时齐马氏链，并且简称为马氏链.

当马氏链的状态为有限时，称为有限链， 否则称为无限链. 但无论状态有限还是无限， 我们都可以将\(p_{ij}(i, j \in S)\)排成一个矩阵的形式。令

\[ P = (p_{ij}) =\left(\begin{array}{ccccc} p_{00}& p_{01}& p_{02}&\cdots \\ p_{10}& p_{11}& p_{12}&\cdots \\ p_{20}& p_{21}& p_{22}&\cdots \\ \vdots&\vdots&\vdots&\ddots \end{array}\right) \] 称\(P\)为转移概率矩阵， 一般简称为转移矩阵. 由于概率是非负的， 且过程必须转移到某个状态， 所以容易看出\(p_{ij}(i, j \in S)\)有性质 \[\begin{equation} \begin{aligned} (1)& p_{ij}\geq 0, \ i,j \in S; \\ (2)& \sum_{j \in S} p_{ij} = 1, \ \forall i \in S. \end{aligned} \tag{5.2} \end{equation}\]

定义5.4 称矩阵为随机矩阵， 若矩阵元素具有(5.2))式中两条性质.

易见随机矩阵每一行元素的和都为1.

例5.1 (一个简单的疾病、死亡模型，Fix-Neyman) 考虑一个包含两个健康状态\(S_1,S_2\)以及两个死亡状态\(S_3,S_4\) (即由不同原因引起的死亡)的模型. 若个体病愈，则认为它处于状态\(S_1\)， 若患病，说处于\(S_2\)， 个体可以从\(S_1\), \(S_2\)进入\(S_3\)和\(S_4\)， 易见这是一个马氏链的模型，转移矩阵为 \[ P = \left(\begin{array}{cccc} p_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ 0& 0 &1& 0 \\ 0& 0 &0& 1 \end{array}\right) \]

例5.2 (赌徒的破产或称带吸收壁的随机游动) 系统的状态是\(0 \sim n\)， 反映赌博者在赌博期间拥有的钱数， 当他输光或拥有钱数为\(n\)时，赌博停止， 否则他将持续赌博. 每次以概率\(p\)赢得1， 以概率\(q=1-p\)输掉1. 这个系统的转移矩阵为 \[ P = \left(\begin{array}{cccccccc} 1&0& 0&0&\cdots&0& 0& 0\\ q& 0& p& 0&\cdots&0& 0& 0\\ 0& q& 0& p&\cdots&0& 0& 0\\ \cdot& \cdot& \cdot& \cdot& \cdot& \cdot& \cdot& \cdot\\ 0& 0& 0& 0&\cdots & q& 0& p\\ 0& 0& 0 &0 & \cdots& 0 &0& 1 \end{array}\right)_{(n+1)\times (n+1)} \]

例5.3 (带反射壁的随机游动) 设上例中当赌博者输光时将获得赞助1让他继续赌下去， 就如同一个在直线上做随机游动的球在到达左侧0点处就立刻反弹回1一样， 这就是一个一侧带有反射壁的随机游动. 此时转移矩阵为 \[ P = \left(\begin{array}{cccccccc} 0& 1& 0& 0& \cdot& 0& 0& 0\\ q& 0& p& 0& \cdots& 0& 0& 0\\ 0& q& 0& p&\cdots&0& 0& 0\\ \vdots& \vdots& \vdots& \vdots& & \vdots& \vdots& \vdots\\ 0& 0& 0& 0&\cdots &q& 0&p\\ 0& 0& 0 &0 & \cdots& 0 &0& 1 \end{array}\right)_{(n+1)\times (n+1)} \]

同样可考虑两侧均有反射壁的情况.

例5.4 (自由随机游动) 设一个球在全直线上做无限制的随机游动， 它的状态为\(0, \pm 1, \pm 2, \dots\). 它仍是一个马氏链， 转移矩阵为 \[ P = \left(\begin{array}{ccccccccccc} \cdot& \cdot& \cdot& \cdot& \cdot& \cdot& \cdot& \cdot& \cdot & \cdot & \cdot\\ \cdots&q& 0& p& 0&\cdot& \cdot& \cdot& \cdot& \cdot& \cdot\\ \cdots&0& q& 0& p&\cdot& \cdot& \cdot& \cdot& \cdot& \cdot\\ & & & \ddots&\ddots&\ddots&& & & & \\ \cdots& \cdot& \cdot& \cdot&q&0&p&0& \cdot& \cdot& \cdot \\ \cdots& \cdot& \cdot& \cdot& 0&q&0& p&\cdot& \cdot& \cdot \\ \cdot& \cdot& \cdot& \cdot& \cdot& \cdot& \cdot& \cdot& \cdot& \cdot& \cdot \end{array}\right) \]

图5.1: 图上的简单随机游动

例5.5 (图上的简单随机游动) 设有一蚂蚁在如图5.1上爬行， 当两个结点相临时， 蚂蚁将爬向它临近的一点， 并且爬向任何一个邻居的概率是相同的. 则此马氏链的转移矩阵为 \[ P = \left(\begin{array}{cccccc} 0&\frac{1}{2}&\frac{1}{2}&0&0&0\\ \frac{1}{2}&0&\frac{1}{2}&0&0&0\\ \frac{1}{4}&\frac{1}{4}& 0&\frac{1}{4}&\frac{1}{4}&0\\ 0&0&1&0&0&0\\ 0&0&\frac{1}{2}&0&0&\frac{1}{2}\\ 0&0&0&0&1&0 \end{array}\right) \]

例5.6 (Wright-Fisher遗传模型) 遗传的要素是染色体. 遗传性质的携带者称为基因， 它们位于染色体上. 基因控制着生物的特征， 它们是成对出现的. 控制同一特征的不同基因称为等位基因， 记这对等位基因为\(A\)和\(a\)， 分别称为显性的与隐性的. 在一个总体中基因\(A\)和\(a\)出现的频率称为基因频率， 分别记为\(p\)和\(1-p\).

设总体中的个体数为\(2N\)， 每个个体的基因按\(A\)型基因的基因频率的大小， 在下一代中转移成为\(A\)型基因. 因此，繁殖出的第二代的基因型是由试验次数为\(2N\)的Bernoulli试验所确定的， 即如果在第\(n\)代母体中\(A\)型基因出现了\(i\)次， 而\(a\)型基因出现了\(2N-i\)次， 则下一代出现\(A\)型基因的概率为\(p_i = \frac{i}{2N}\)， 而出现\(a\)型基因的概率为\(1-p_i\).

记\(X_n\)为第\(n\)代中携带\(A\)型基因的个体数， 则易知\(\{ X_n \}\)是一个状态空间为\(S = \{ 0, 1, 2, \dots, 2N \}\)的时齐马氏链， 其转移概率矩阵为\(P = (p_{ij})\)，其中 \[\begin{aligned} p_{ij} =& P\{X_{n+1}=j|X_n=i\}=C_{2N}^{j}p_{i}^{j}(1-p_i)^{2N-j} \\ =& C_{2N}^{j}\left(\frac{i}{2N}\right)^j\left(1-\frac{i}{2N}\right)^{2N-j} \end{aligned}\]

下面我们再给出几个所谓“嵌入马氏链”的例子，在这些情况下模型的马氏性不是明显的.

例5.7 (M/G/1排队系统) 假设顾客依照参数为\(\lambda\)的Poisson过程来到一个只有一名服务员的服务站， 若服务员空闲则顾客就能立刻得到服务, 否则排队等待直至轮到该顾客. 设每名顾客接受服务的时间是独立的随机变量, 有共同的分布\(G\)， 而且与来到过程独立. 这个系统称为\(M/G/1\)排队系统， 字母\(M\)代表顾客来到的间隔服从指数分布， \(G\)代表服务时间的分布， 数字1表示只有1名服务员. 考虑其中嵌入的马氏链。

解：

若以\(X(t)\)表示时刻\(t\)系统中的顾客人数， 则\(\{X(t), t \geq 0\}\)是不具备马氏性的， 因为若已知\(t\)时刻系统中的人数， 要预测未来， 虽然可以不用关心从最近的一位顾客到来又过去了多长时间 (因过程无记忆，所以这段时间不影响下一位顾客的到来)， 但要注意此刻在服务中的顾客已经接受了多长时间的服务 (因为\(G\)不是指数的， 不具备“无记忆性”，所以已经服务过的时间将影响到他何时离去).

我们可以这样考虑， 令\(X_n\)表示第\(n\)位顾客走后剩下的顾客数， \(n \geq 1\). 再令\(Y_n\)记第\(n+1\)位顾客接受服务期间到来的顾客数， 则 \[\begin{equation} X_{n+1} = \begin{cases} X_n - 1 + Y_n, & \text{若} X_n > 0 , \\ Y_n, & \text{若} X_n = 0 . \end{cases} \tag{5.3} \end{equation}\]

记\(T_n\)为第\(n\)位顾客到来的时刻， \(N(t)\)为截止到\(t\)时刻顾客到来的人数， 则\(\{N(t) \}\)与\(T_n\)是参数为\(\lambda\)的泊松过程以及相应的事件到来时刻。

如果\(X_n=0\)， 这表示第\(n\)位顾客接受完服务离开时没有其他顾客等候， 服务员变空闲， 直到\(T_{n+1}\)时第\(n+1\)位顾客到来， 这位顾客是当时的唯一顾客， 马上接受服务， 在第\(n+1\)位接受服务期间又到来\(Y_n\)位顾客排队等候， 所以在\(X_n=0\)条件下第\(n+1\)位离开时系统中有\(Y_n\)位顾客。

如果\(X_n>0\)， 则第\(n\)位顾客接受完服务离开时排队的队首顾客是第\(n+1\)位到来的顾客， 这位顾客马上接受服务， 还有\(X_n - 1\)位顾客排队等待， 在第\(n+1\)位顾客接受服务期间又到来\(Y_n\)位顾客加入排队， 所以在\(X_n>0\)条件下在第\(n+1\)位顾客离开时队伍中共有\(X_n - 1 + Y_n\)人。

举例说明。设\(n=5\)， \(X_5\)表示第5位顾客走后剩余的顾客数， 为一个非负整数值。 \(X_6\)表示第6位顾客走后剩余的顾客数， 这依赖于\(X_5\)的值和第5位顾客走后、第6位顾客走之前新到来的顾客人数\(Y_5\)。 分为两种情况， 若\(X_5=0\)， 则第6位顾客到来时直接接受服务， 这期间又来了\(Y_5\)位顾客， 第6位顾客离开时还剩\(Y_5\)位顾客； 若\(X_5 > 0\)， 则第5位顾客离开时第6位顾客是排在队首的顾客， 这时除了第6位顾客还有\(X_5-1 \geq 0\)位顾客， 在第6位顾客接受服务期间又来了\(Y_5\)位顾客， 第6位离开时还剩下原来队伍中的\(X_5-1\)位顾客和新来的\(Y_5\)位顾客。

可以证明\(Y_n\)的分布为： \[\begin{equation} P \{ Y_n = j \} = \int_0^{\infty} e^{-\lambda x} \frac{(\lambda x)^j}{j!} \,dG(x), \ j=0, 1,2,\dots \tag{5.4} \end{equation}\]

设第\(n+1\)位顾客接受服务的时间长度为\(Z\), \(Z \sim G(\cdot)\)， 在\(Z = x\)条件下， 接受服务期间到达的顾客数\(Y_n\)服从泊松P(\(\lambda x\))分布， 于是 \[\begin{aligned} P(Y_n = j | Z=x) = e^{-\lambda x} \frac{(\lambda x)^j}{j!}, \end{aligned}\] 由全期望公式， \[\begin{aligned} P(Y_n = j) =& E[ P(Y_n = j | Z) ] \\ =& \int_0^\infty P(Y_n = j | Z = x) \,dG(x) \\ =& \int_0^\infty e^{-\lambda x} \frac{(\lambda x)^j}{j!}\,dG(x) . \end{aligned}\]

这给出\(\{ Y_n \}\)的分布， 此分布并不依赖\(X_0, X_1, \dots, X_n\)的值， 所以\(P(X_{n+1}=j | X_{n}=i)\)与给定\(X_0, X_1, \dots, X_n\)的条件概率相同， \(X_n\)马氏性成立。 所以由(5.3)、(5.4)式得\(\{ X_n, n = 1, 2, \dots \}\)是马氏链， 转移概率为 \[\begin{aligned} p_{0j} =& P(X_{n+1}=j | X_n=0) = P(Y_n=j | X_n=0) = P(Y_n=j) \\ =& \int^{\infty}_0e^{-\lambda x}\frac{(\lambda x)^j}{j!}dG(x),\ \ j\geq 0 \\ p_{ij} =& P(X_{n+1}=j | X_n=i) \qquad(i \geq 1) \\ =& P(Y_n + i-1 = j | X_n=i) \\ =& P(Y_n = j-i+1) \qquad(i \geq 1, j \geq i-1) \\ =&\int^{\infty}_0e^{-\lambda x}\frac{(\lambda x)^{j-i+1}}{(j-i+1)!}dG(x), \ j \geq i-1, i \geq 1, \\ p_{ij} =& 0, \text{ 其他} \end{aligned}\]

○○○○○○

例5.8 (订货问题) 考虑定货问题. 设某商店使用\((s,S)\)定货策略， 每天早上检查某商品的剩余量， 设为\(x\),则定购额为 \[\begin{equation} \begin{cases} 0, & \text{若} x \geq s, \\ S - x, & \text{若} x < s . \end{cases} \tag{5.5} \end{equation}\] 设定货和进货不需要时间， 每天的需求量\(Y_n\)独立同分布且\(P\{ Y_n = j \} = a_j, j = 0, 1, 2, \dots\). 现在我们要从上述问题中寻找一个马氏链.

解: 令\(X_n\)为第\(n\)天结束时的存货量， 因为要考虑需求量\(Y_{n+1}\)大于存货量\(X_n\)的情况， 所以第\(n+1\)天结束时的存货量为 \[\begin{aligned} X_{n+1} = \begin{cases} \max(0, X_n - Y_{n+1}), & X_n \geq s, \\ \max(0, S - Y_{n+1}), & X_n < s . \end{cases} \end{aligned}\]

对\(X_n = i \geq s\)， 有 \[\begin{aligned} X_{n+1} = \begin{cases} i - Y_{n+1}, & 0 \leq Y_{n+1} < i \\ 0, & Y_{n+1} \geq i, \end{cases} \end{aligned}\] 所以对\(1 \leq j \leq i\), \[\begin{aligned} p_{ij} =& P(X_{n+1} = j | X_n = i) \\ =& P(Y_{n+1} = i-j) = a_{i-j}, \end{aligned}\] 其中\(0 \leq i-j < i\)。 而对\(j=0\)有 \[\begin{aligned} p_{i0} =& P(i - Y_{n+1} \leq 0) = P(Y_{n+1} \geq i) \\ =& 1 - \sum_{k=0}^{i-1} a_k = 1 - \sum_{j=1}^{i} p_{ij} . \end{aligned}\]

当\(0 \leq i < s\)时， \[\begin{aligned} X_{n+1} = \begin{cases} S - Y_{n+1}, & 0 \leq Y_{n+1} < S \\ 0, & Y_{n+1} \geq S, \end{cases} \end{aligned}\] 所以对\(1 \leq j \leq S\), \[\begin{aligned} p_{ij} =& P(X_{n+1} = j | X_n = i) \\ =& P(Y_{n+1} = S-j) = a_{S-j}, \end{aligned}\] 其中\(0 \leq S-j < S\)。 而\(j=0\)时 \[\begin{aligned} p_{i0} =& P(S - Y_{n+1} \leq 0) = P(Y_{n+1} \geq S) \\ =& 1 - \sum_{k=0}^{S-1} a_k = 1 - \sum_{j=1}^{S-1} p_{ij} . \end{aligned}\]

总之有 \[\begin{aligned} p_{ij} =& \begin{cases} a_{i-j}, & j=1,2,\dots,i, s \leq i \leq S \\ 1 - \sum_{k=0}^{i-1} a_k, & j=0, s \leq i \leq S \\ a_{S-j}, & j=1,2,\dots,S, 0 \leq i < s \\ 1 - \sum_{k=0}^{S-1} a_k, & j=0, 0 \leq i < s . \end{cases} \end{aligned}\]

○○○○○○

例5.9 以\(S_n\)表示保险公司在时刻\(n\)的盈余， 这里的时间以适当的单位来计算(如天,月等). 初始盈余\(S_0 = x\)显然为已知， 但未来的盈余\(S_1, S_2, \dots\)却必须视为随机变量， 增量\(S_n - S_{n-1}\)解释为时刻\(n-1\)和时刻\(n\)之间获得的盈利，取整数值(可以为负). 假定\(X_1, X_2, \dots\)是不包含利息的盈利且独立同分布， 概率质量函数为\(p(x)\)，则 \[ S_n = S_{n-1}(1 + \gamma) + X_n, \] 其中\(\gamma\)为固定的利率, \(\{ S_n \}\)是一马氏链， 转移概率为 \[ p_{xy} = p(y - (1 + \gamma) x) . \]

5.1.2 多步转移概率与C-K方程

命题5.1 设\(\{X_n, n = 0, 1, \dots \}\)是时齐离散时间离散状态马氏链， 状态空间为\(S\)， 则对任意\(n \geq 0\), \(m \geq 1\)和状态\(x_0, \dots, x_{n-1}, i, j \in S\)， 有 \[\begin{aligned} & P(X_{n+m} = j | X_n = i, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) \\ =& P(X_{n+m} = j | X_n = i) \\ =& p_{ij}^{(m)}, \end{aligned}\] 与\(n\)无关。

当\(m=1\)时就是时齐马氏性的定义。

证明： 对\(m\)用数学归纳法。 已知\(m=1\)时成立。 设已知结论对\(1, \dots, m\)成立， 来证明结论对\(m+1\)成立。 \[\begin{aligned} & P(X_{n+m+1} = j | X_n = i, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) \\ =& \sum_{k \in S} P(X_{n+m+1}=j, X_{n+m}=k | X_n = i, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) \\ =& \sum_{k \in S} P(X_{n+m+1}=j | X_{n+m}=k, X_n = i, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) \\ & \quad P(X_{n+m}=k | X_n = i, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) \\ =& \sum_{k \in S} P(X_{n+m+1}=j | X_{n+m}=k) P(X_{n+m}=k | X_n = i) \\ =& \sum_{k \in S} p_{kj} p_{ik}^{(m)} \end{aligned}\] 与\(n\)和\(x_{n-1}, \dots, x_0\)无关， 所以在\(X_n=i\)条件下\(X_{n+m+1}\)与\(X_{n-1}, \dots, X_0\)条件独立， 有 \[\begin{aligned} & P(X_{n+m+1} = j | X_n = i, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) \\ =& P(X_{n+m+1} = j | X_n = i) = p_{ij}^{(m+1)} \end{aligned}\] 与\(n\)无关。定理证毕。

○○○○○○

定义5.5 称条件概率 \[ p^{(n)}_{ij} = P \{ X_{m+n} = j | X_m = i \}, \ i,j \in S, m \geq 0, n \geq 1 \] 为马氏链的\(n\)步转移概率， 相应地称\(P^{(n)} = (p^{(n)}_{ij})\)为\(n\)步转移矩阵.

当\(n=1\)时, \(p^{(1)}_{ij}=p_{ij}\), \(P^{(1)} = P\)， 此外规定 \[ p^{(0)}_{ij} = \begin{cases} 0, & \text{当} i \neq j, \\ 1, & \text{当} i = j . \end{cases} \] 显然，\(n\)步转移概率\(p^{(n)}_{ij}\)指的就是系统从状态\(i\)经过\(n\)步后转移到\(j\)的概率， 它对中间的\(n-1\)步转移经过的状态无要求.

下面的定理给出了\(p^{(n)}_{ij}\)和\(p_{ij}\)的关系.

定理5.1 (Chapman-Kolmogorov方程，简称C-K方程) 对一切\(n, m \geq 0\), \(i, j \in S\)有 \[\begin{align} (1) &\; p^{(m+n)}_{ij} = \sum_{k \in S} p^{(m)}_{ik} p^{(n)}_{kj}; \\ (2) &\; P^{(n)} = P^n . \end{align}\]

证明：

\[\begin{aligned} p^{(m+n)}_{ij} =& P\{ X_{m+n}=j | X_0 = i \} \\ =& \frac{P\{X_{m+n}=j,X_0=i\}}{P\{X_0=i\}} \\ =& \sum_{k\in S} \frac{P\{X_{m+n}=j,X_m=k,X_0=i\}}{P\{X_0=i\}} \quad\text{(全概率公式)}\\ =& \sum_{k \in S} \frac{P\{X_{m+n}=j,X_m=k,X_0=i\}}{P\{X_0=i\}} \frac{P\{X_m=k,X_0=i\}}{P\{X_m=k,X_0=i\}} \\ =& \sum_{k \in S} P\{X_{m+n}=j | X_m=k,X_0=i\} P\{X_m=k|X_0=i\} \\ =& \sum_{k \in S} p^{(n)}_{kj} \cdot p^{(m)}_{ik} \\ =& \sum_{k \in S} p^{(m)}_{ik} p^{(n)}_{kj} . \end{aligned}\] (2)是(1)的矩阵形式，利用矩阵乘法易得.

○○○○○○

推论5.1 对于正整数\(n, m, k, n_1, n_2, \dots, n_k\)和状态\(i, j, l\)， 总有 \[\begin{aligned} (1)\ & p_{ij}^{(n+m)} \geq p_{il}^{(n)} p_{lj}^{(m)}; \\ (2)\ & p_{ii}^{(n+k+m)} \geq p_{ij}^{(n)} p_{jl}^{(k)} p_{li}^{(m)}; \\ (3)\ & p_{ii}^{(n_1 + n_2 + \dots + n_k)} \geq p_{ii}^{(n_1)} p_{ii}^{(n_2)} \dots p_{ii}^{(n_k)}; \\ (1)\ & p_{ii}^{(nk)} \geq (p_{ii}^{(n)})^k . \end{aligned}\]

例5.10 设例5.2中， \(n=3\), \(p=q=\frac{1}{2}\). 赌博者从2元赌金开始赌博， 求解他经过4次赌博之后输光的概率.

解： 记\(p_{ij} = P(X_{n+1}=j | X_n = i)\), 则对\(0<i<3\)， \(p_{i,i-1} = p_{i,i+1} = \frac{1}{2}\)； 对\(p{0,0}=1\), \(p_{3,3}=1\)。 转移概率矩阵为 \[ P = \begin{pmatrix} 1 & 0 & 0 & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} & 0 \\ 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 1 \end{pmatrix} . \]

依题意，\(X_0=2\)， 求\(p_{20}^{(4)}\)。 这只要求\(P^4\)的第3行第1列元素。 手工计算， 可以计算\(P^2\)再计算\((P^2)^2\)。

如果不要求结果用有理数表示， 可以用如下R程序：

P <- rbind(
  c(1,0,0,0),
  c(0.5, 0, 0.5, 0),
  c(0, 0.5, 0, 0.5), 
  c(0,0,0,1))
P4 <- P %*% P %*% P %*% P; P4

##        [,1]   [,2]   [,3]   [,4]
## [1,] 1.0000 0.0000 0.0000 0.0000
## [2,] 0.6250 0.0625 0.0000 0.3125
## [3,] 0.3125 0.0000 0.0625 0.6250
## [4,] 0.0000 0.0000 0.0000 1.0000

MASS包的fractions()函数近似为有理数显示：

MASS::fractions(P4)

##      [,1] [,2] [,3] [,4]
## [1,]    1    0    0    0
## [2,]  5/8 1/16    0 5/16
## [3,] 5/16    0 1/16  5/8
## [4,]    0    0    0    1

Julia语言直接支持有理数：

P = [1 0 0 0;
1//2 0 1//2 0;
0 1//2 0 1//2;
0 0 0 1]
P^4
## 4×4 Matrix{Rational{Int64}}:
## 1//1   0//1   0//1   0//1
## 5//8   1//16  0//1   5//16
## 5//16  0//1   1//16  5//8
## 0//1   0//1   0//1   1//1

所以结果为\(\frac{5}{16}\)。

○○○○○○

例5.11 甲乙两人进行某种比赛， 设每局甲胜的概率是\(p\)， 乙胜的概率是\(q\)， 和局的概率是\(r\)， \(p+q+r=1\). 设每局比赛后， 胜者记“+1”分， 负者记“-1”分， 和局不记分， 且当两人中有一人获得2分时结束比赛. 以\(X_n\)表示比赛至第\(n\)局时甲获得的分数， 则\(\{X_n,n=0,1,2,\cdots\}\)为时齐马氏链， 求在甲获得1分的情况下， 不超过两局可结束比赛的概率.

解： 这里\(-2, 2\)是吸收态。 \(\{X_n,n=0,1,2,\cdots\}\)的一步转移概率矩阵为 \[ P = \left(\begin{array}{ccccc} 1&0&0&0&0\\ q&r&p&0&0\\ 0&q&r&p&0\\ 0&0&q&r&p\\ 0&0&0&0&1 \end{array}\right) \] 两步转移概率矩阵为 \[ P^{(2)} = P \cdot P =\left(\begin{array}{ccccc} 1&0&0&0&0\\ q+rq&r^2+pq&2pr&p^2&0\\ q^2&2rq&r^2+2pq&2pr&p^2\\ 0&q^2&2qr&r^2+pq&p+pr\\ 0&0&0&0&1 \end{array}\right) \] 故在甲获得1分的情况下， 不超过两局可结束比赛的概率为 \[ p_{1,2}^{(2)} + p_{1,-2}^{(2)} = p + pr . \]

例5.12 质点在数轴上的点集\(\{-2,-1,0,1,2\}\)上做随机游动. 质点到达点-2后， 以概率1停留在原处； 到达点2后，以概率1向左移动一点； 到达其它点后，分别以概率\(\frac{1}{3}\)向左、向右移动一点， 以概率\(\frac{1}{3}\)停留在原处. 试求在已知该质点处于状态0的条件下， 经三步转移后仍处于状态0的概率.

解： 一步转移概率矩阵为 \[ P = \left(\begin{array}{ccccc} 1&0&0&0&0\\ \frac{1}{3}&\frac{1}{3}&\frac{1}{3}&0&0\\ 0&\frac{1}{3}&\frac{1}{3}&\frac{1}{3}&0\\ 0&0&\frac{1}{3}&\frac{1}{3}&\frac{1}{3}\\ 0&0&0&1&0 \end{array}\right) \]

二步转移概率矩阵为 \[ P^{(2)} = \left(\begin{array}{ccccc} *&*&*&*&*\\ *&*&*&*&*\\ \frac{1}{9}&\frac{2}{9}&\frac{3}{9}&\frac{2}{9}&\frac{1}{9}\\ *&*&*&*&*\\ *&*&*&*&* \end{array}\right) \] 三步转移概率矩阵为 \[ P^{(3)} = \left(\begin{array}{ccccc} *&*&*&*&*\\ *&*&*&*&*\\ \frac{1}{9}&\frac{2}{9}&\frac{3}{9}&\frac{2}{9}&\frac{1}{9}\\ *&*&*&*&*\\ *&*&*&*&* \end{array}\right)\cdot \left(\begin{array}{ccccc} *&*&0&*&*\\ *&*&\frac{1}{3}&*&*\\ *&*&\frac{1}{3}&*&*\\ *&*&\frac{1}{3}&*&*\\ *&*&0&*&*\end{array}\right)=\left(\begin{array}{ccccc} *&*&*&*&*\\ *&*&*&*&*\\ *&*&\frac{7}{27}&*&*\\ *&*&*&*&*\\ *&*&*&*&* \end{array}\right) \] 即在已知处于状态0的条件下， 经三步转移后仍处于状态0的概率为\(\frac{7}{27}\). (转移矩阵中的\(*\)部分与最终要计算的结果无关，故省略计算)

也可以借助于用R和Julia计算矩阵乘方。

R版本：

P <- matrix(c(
  1, 0, 0, 0, 0,
  1/3, 1/3, 1/3, 0, 0, 
  0, 1/3, 1/3, 1/3, 0, 
  0, 0, 1/3, 1/3, 1/3, 
  0, 0, 0, 1, 0),
  byrow=TRUE, ncol=5)
P %*% P %*% P |> MASS::fractions()

##      [,1]  [,2]  [,3]  [,4]  [,5] 
## [1,]     1     0     0     0     0
## [2,] 14/27  4/27  5/27   1/9  1/27
## [3,]  5/27  5/27  7/27  8/27  2/27
## [4,]  1/27   1/9  8/27 10/27  5/27
## [5,]     0   1/9   2/9   5/9   1/9

结果\(p_{0,0}^{(3)} = \frac{7}{27}\)。

利用Julia计算：

P = [
1 0 0 0 0;
1//3 1//3 1//3 0 0 ;
0 1//3 1//3 1//3 0 ;
0 0 1//3 1//3 1//3 ;
0 0 0 1 0]
P^3
## 5×5 Matrix{Rational{Int64}}:
##   1//1   0//1   0//1    0//1   0//1
##  14//27  4//27  5//27   1//9   1//27
##   5//27  5//27  7//27   8//27  2//27
##   1//27  1//9   8//27  10//27  5//27
##   0//1   1//9   2//9    5//9   1//9

○○○○○○

定理5.2 设时齐马氏链\(\{X_n, n \geq 0 \}\)的状态转移矩阵为\(P\)， \(X_0\)的分布为\(P(X_0 = j) = p_j\)， \(j \in S\)， 则\(\{X_n\}\)有限维分布完全被\(\{p_j\}\)和\(P\)决定， 有 \[ P(X_0 = i_0, X_1 = i_1, \dots, X_n = i_n) = p_{i_0} p_{i_0 i_1} p_{i_1 i_2} \dots p_{i_{n-1} i_n} . \]

证明： 对时刻\((0,1,\dots,n)\)， 由概率的乘法公式和马氏性有 \[\begin{aligned} & P(X_0 = i_0, X_1 = i_1, \dots, X_n = i_n) \\ =& P(X_n = i_n | X_0 = i_0, X_1 = i_1, \dots, X_{n-1} = i_{n-1}) \\ & \cdots P(X_1 = i_1 | X_0 = i_0) P(X_0 = i_0) \\ =& p_{i_0} p_{i_0 i_1} p_{i_1 i_2} \dots p_{i_{n-1} i_n}, \end{aligned}\] 仅依赖于初始分布和转移概率矩阵。

○○○○○○

推论5.2 设马氏链中\(X_0\)分布列为\(\boldsymbol \pi_0 = (p_0, p_1, \dots)\)， 则\(X_n\)的分布列为 \[ \boldsymbol \pi_n = \boldsymbol \pi_0 P^n . \]

证明： \[\begin{aligned} P(X_1 = j) =& \sum_{i \in S} P(X_1 = j | X_0 = i) P(X_0=i) \\ =& \sum_{i \in S} p_i p_{ij} , \end{aligned}\] 记\(\boldsymbol \pi_1\)表示\(X_1\)概率分布列， 可以写成 \[ \boldsymbol \pi_1 = \boldsymbol \pi_0 P . \] 同理 \[ \boldsymbol \pi_n = \boldsymbol \pi_{n-1} P . \] 于是递推可得结论。

○○○○○○

例5.13 (广告效益的推算) 某种啤酒A的广告改变了广告方式， 经调查发现买A种啤酒及另外三种啤酒B,C,D的顾客每两个月的平均转换率如下(设市场中只有这四种啤酒): \[ \begin{array}{cccccc} A&\to&A(0.95)&B(0.02)&C(0.02)&D(0.01)\\ B&\to&A(0.30)&B(0.60)&C(0.06)&D(0.04)\\ C&\to&A(0.02)&B(0.01)&C(0.07)&D(0.00)\\ D&\to&A(0.20)&B(0.20)&C(0.10)&D(0.50) \end{array} \] 假设目前购买A,B,C,D四种啤酒的顾客的分布为\((25\%, 30\%, 35\%, 10\%)\)， 试求半年后啤酒A的市场份额.

解： 令\(P\)为转移矩阵，则显然有 \[ P= \left(\begin{array}{cccc} 0.95&0.02&0.02&0.01\\ 0.30&0.60&0.06&0.04\\ 0.20&0.10&0.70&0.00\\ 0.20&0.20&0.10&0.50 \end{array}\right) \] 令 \[ \boldsymbol{\mu} = (\mu_1,\mu_2,\mu_3,\mu_4) = (0.25,0.30,0.35,0.10), \] 计算经过半年后顾客在这四种啤酒上的转移概率\(P^3\),

\[\begin{aligned} P^2 =& \left(\begin{array}{cccc} 0.9145& 0.035&0.0352&0.0153\\ 0.485&0.38&0.088&0.047\\ 0.36&0.134&0.5&0.006\\ 0.37&0.234&0.136&0.26 \end{array}\right), \\ P^3 =& \left(\begin{array}{cccc} 0.8894&0.0458&0.0466&0.01820\\ 0.60175&0.2559&0.0988&0.04355\\ 0.4834&0.1388&0.36584&0.01196\\ 0.5009&0.2134&0.14264&0.14306 \end{array}\right) . \end{aligned}\]

我们关心啤酒A半年后的市场占有率， 即从A,B,C,D四种啤酒经3次转移后转到A的概率， 求得A的市场占有率变为 \[\begin{aligned} P(X_3 = 1) =& \sum_{i=1}^4 P(X_3 = 1 | X_0 = i) P(X_0 = i) \\ = & (0.25,0.3,0.35,0.10) \left(\begin{array}{c} 0.8894 \\ 0.60175 \\ 0.4834 \\ 0.5009 \\ \end{array}\right) \approx 0.624 \end{aligned}\] 可见啤酒A的市场份额由原来的25%增至62.4%， 新的广告方式很有效.

○○○○○○

5.2 状态的分类及性质

本节我们首先来讨论一下马氏链各个状态之间的关系，并以这些关系将状态分类， 最后来研究它们的性质.

定义5.6 (互通) 称状态\(i\)可达状态\(j\)(\(i, j \in S)\)， 若存在\(n \geq 0\)使得\(p^{(n)}_{ij}>0\)， 记为 \(i \to j\). 若同时有\(j\to i\)， 则称\(i\)与\(j\)互通， 记为\(i \leftrightarrow j\).

注：定义中之所以用\(n \geq 0\)而不是\(n > 0\)， 是为了包含\(i=j\)时\(p_{ii}^{(0)}=1 > 0\)的情况， 从而状态\(i\)与自身是互通的。

定理5.3 互通是一种等价关系，即满足：

1. 自返性：\(i\leftrightarrow i\)；
2. 对称性：\(i\leftrightarrow j\)，则\(j\leftrightarrow i\)；
3. 传递性：\(i\leftrightarrow j, j\leftrightarrow k\), 则\(i\leftrightarrow k\).

证明： 从互通的定义可知1、2是显然的,只证3.

由互通定义可知需证\(i \to k\)且\(k \to j\). 首先，由\(i \to j\), \(j \to k\)知道存在\(m, n \geq 0\)， 使得 \(p^{(m)}_{ij}>0\), \(p^{(n)}_{jk}>0\). 再由C-K方程知道 \[ p^{(m+n)}_{ik} = \sum_{l \in S} p^{(m)}_{il} p^{(n)}_{lk} \geq p^{(m)}_{ij} p^{(n)}_{jk} > 0 , \] 故\(i \to k\). 同理可证\(k \to i\)， 即有\(i \leftrightarrow k\).

我们把任何两个互通状态归为一类， 由上述定理可知， 同在一类的状态应该都是互通的， 并且任何一个状态不能同时属于两个不同的类.

○○○○○○

定义5.7 若马氏链只存在一个类， 就称它是不可约的(irreducible)； 否则称为可约的(reducible).

图5.2: 图上的简单随机游动

例5.14 我们来看例5.1中疾病死亡模型的四个状态之间的关系. 为清楚起见，经常以图5.2所示的转移图来表示马氏链的状态变化. 由转移矩阵容易看出： \(S_1\)和\(S_2\)互通， \(S_1\)和\(S_2\)可达\(S_3\)和\(S_4\)， 但\(S_3\)和\(S_4\)不可达除本身以外的其它状态。 状态可分为三类\(\{S_1, S_2\}\), \(\{S_3\}\)和\(\{S_4\}\). 称\(S_3\)和\(S_4\)为吸收态， 这样的状态\(i\)满足 \[ p_{ii}^{(n)} = 1, \ n=0,1,2,\dots \]

读者可用类似的方法来说明赌徒输光问题(例5.2)中任何两个状态\(i, j(0 < i, j < n)\)都互通， 并可将所有状态分为三类： \(\{0\}\), \(\{1,2,\cdots,n-1\}\), \(\{n\}\).

下面我们给出状态的一些性质，然后证明同在一类的状态具有相同的性质.

定义5.8 (周期) 若集合\(\{n: n \geq 1,p_{ii}^{(n)} > 0\}\)非空， 则称它的最大公约数\(d = d(i)\)为状态\(i\)的周期. 若\(d>1\)，称\(i\)是周期的； 若\(d=1\)，称\(i\)是非周期的. 并特别规定上述集合为空集时， 称\(i\)的周期为无穷大.

注1：周期无穷大的状态\(i\)， 是在这个状态下一步必然离开而且永不返回的状态， 是吸收态的一个反面。

注2：由定义5.8知道， 即使\(i\)有周期\(d\)，但并不是对所有的 \(n, p^{(nd)}_{ii}\)都大于0. 例如，设集合 \(\{n: n \geq 1, p^{(n)}_{ii}>0\}\)为\(\{3,9,18,21,\dots\}\)， 则最大公约数\(d=3\)， 即\(3\)是\(i\)的周期， 显然，\(n=6,12, 15\)都不属于此集合， 即\(p^{(6)}_{ii}=0\), \(p^{(12)}_{ii}=0\), \(p^{(15)}_{ii}=0\). 类似地， 若非周期，即\(d=1\)， 也不一定有\(p_{ii} > 0\)， 如果\(p_{ii} = 0\)， \(p_{ii}^{(2)}>0\)， \(p_{ii}^{(3)}>0\)， 则最大公约数也是1。 但是可以证明，当n充分大之后一定有\(p^{(dn)}_{ii}>0\).

图5.3: 状态分类

例5.15 考察如图5.3所示的马氏链.

由状态1出发再回到状态1的可能步长为\(T=\{4,6,8,10,\dots\}\)， 它的最大公约数是2， 虽然从状态1出发2步并不能回到状态1， 我们仍然称2是状态1的周期.

○○○○○○

定理5.4 若状态\(i,j\)同属一类，则\(d(i)=d(j)\).

证明： 由类的定义知\(i \leftrightarrow j\)， 即存在\(m, n \geq 0\)， 使\(p^{(m)}_{ij}>0,p^{(n)}_{ji}>0\)， 则 \[ p^{(m+n)}_{ii} =\sum_{k \in S} p^{(m)}_{ik} p^{(n)}_{ki} \geq p^{(m)}_{ij} p^{(n)}_{ji} > 0. \] 对所有使得\(p^{(s)}_{jj}>0\)的\(s\), 有\(p^{(n+s+m)}_{ii} \geq p^{(m)}_{ij} p^{(s)}_{jj} p^{(n)}_{ji} > 0\). 显然\(d(i)\)应同时整除\(n+m\)和\(n+m+s\)， 则它必定整除\(s\). 而\(d(j)\)是\(j\)的周期， 所以也有\(d(i)\)整除\(d(j)\). 反过来也可证明\(d(j)\)整除\(d(i)\)，于是\(d(i)=d(j)\).

○○○○○○

定义5.9 (首达概率) 对于任何状态\(i, j\)， 以\(f^{(n)}_{ij}\)记从\(i\)出发经\(n\)步后首次到达\(j\)的概率， 记 \[\begin{aligned} f^{(n)}_{ij} =& P\{X_n=j, X_k \neq j, k=1,2, \dots, n-1| X_0 = i \}, \ n \geq 1 , \\ f^{(0)}_{ij} =& {\delta}_{i-j} = \begin{cases} 1, & i=j, \\ 0, & i \neq j . \end{cases} \end{aligned}\] 令 \[ f_{ij} = \sum_{n=1}^{\infty} f^{(n)}_{ij}, \]

注：\(f_{ij}\)是从\(i\)出发经过有限步可达状态\(j\)的概率。 \(i \to j\)当且仅当\(f_{ij}>0\)。

定义5.10 (常返状态) 若\(f_{jj} = 1\)， 称状态\(j\)为常返状态(recurrent)； 若\(f_{jj} < 1\)， 称状态\(j\)为非常返状态或瞬过状态.

注：对常返状态\(i\)， 从\(i\)出发以概率1在有限步内回到状态\(i\)。

注：对非常返状态\(i\)， 有概率\(p = 1 - f_{ii} > 0\)使得从\(i\)出发不再返回\(i\)。 每次回到\(i\)后从\(i\)出发看成一个Bernoulli试验， 不返回视作成功， 返回视作失败， 记\(Y\)为这样的试验的次数， 则\(Y\)服从几何分布， 是取有限值的随机变量， 而每次这样的试验， 在成功（一去不返）前， 都是有限次状态转移， 所以从瞬态\(i\)出发在有限次状态转移之后必定一去不返。

对于常返状态\(i\)， 令\(T\)表示从\(i\)出发首次返回\(i\)的时间，即\(X_0=i\)条件下 \[ T = \inf \{n \geq 1: X_n = i \}, \] 则\(T\)为一个取有限值的随机变量， \(P(T=n) = f^{(n)}_{ii}\), \(n=1,2,\dots\)， 期望值为 \[ \mu_i = E(T) = \sum_{n=1}^{\infty} n f^{(n)}_{ii} , \] 即\(\mu_i\)表示的是由\(i\)出发再返回到\(i\)所需的平均步数(时间).

定义5.11 (正常返状态) 对于常返状态\(i\)， 若\(\mu_i < \infty\)，则称\(i\)为正常返状态； 若\(\mu_i = +\infty\)，则称\(i\)为零常返状态. 特别地，若\(i\)为正常返状态， 且是非周期的，则称之为遍历状态.

显然对于吸收态， \(f_{ii}^{(1)} = p_{ii} = 1\), \(f_{ii}^{(n)} = 0\)(\(n \geq 2\))， \(f_{ii} = 1\)， 有\(\mu_i = 1\)， 是正常返状态。

例5.16 设马氏链的状态空间为\(S = \{1,2,3,4\}\)， 其一步转移概率矩阵为 \[ P = \left(\begin{array}{cccc} \frac{1}{2} &\frac{1}{2}&0 & 0\\ 1&0 & 0& 0\\ 0& \frac{1}{3}& \frac{2}{3}& 0\\ \frac{1}{2} & 0 & \frac{1}{2}& 0 \end{array}\right) \] 试将状态进行分类.

解： 由一步转移概率矩阵\(P\)， 对一切\(n \geq 1\)， \(f_{44}^{(n)}=0\)，从而 \[ f_{44} = \sum_{n=1}^{\infty} f_{44}^{(n)} =0 < 1 , \] 故状态4是非常返态. 这就是周期等于正无穷的情况： 从状态4出发以概率1不再返回。

又 \[\begin{aligned} f_{33}^{(1)} = & \frac{2}{3}, \\ f_{33}^{(n)} =& 0 \ (n\geq 2), \\ f_{33} =& \sum_{n=1}^{\infty} f_{33}^{(n)} = \frac{2}{3} < 1, \end{aligned}\] 故状态3是非常返态.

但状态1与2是常返态，因为 \[\begin{aligned} f_{11} =& f_{11}^{(1)} + f_{11}^{(2)} =\frac{1}{2} + \frac{1}{2} = 1 , \\ f_{22} =& \sum_{n=1}^{\infty} f_{22}^{(n)} = 0 + \frac{1}{2} + \frac{1}{2^2} + \frac{1}{2^3} + \dots = 1 . \end{aligned}\]

事实上， 从状态\(1\)出发， 以概率\(\frac{1}{2}\)在第一步回到\(1\)， 以概率\(\frac{1}{2}\)先去状态\(2\)然后从状态\(2\)在第二步返回状态\(1\)。

从状态\(2\)出发， 必然在第一步去状态\(1\)， 但从状态\(1\)又可以以概率\(\frac{1}{2}\)在第二步回到状态\(2\)， 也可能以概率\((\frac{1}{2})^{n-2} \cdot \frac{1}{2}\)在状态\(1\)停留\(n-2\)步后才返回状态\(2\)， 这样， \(f_{22}^{(1)} = 0\)， \(f_{22}^{(2)} = \frac{1}{2}\)， \(f_{22}^{(n)} = (\frac{1}{2})^{n-1}\)。

计算得 \[\begin{aligned} \mu_1 =& \sum_{n=1}^{\infty} n f_{11}^{(n)} =1 \cdot \frac{1}{2} + 2 \cdot\frac{1}{2} = \frac{3}{2} < \infty, \\ \mu_2 =& \sum_{n=1}^{\infty} n f_{22}^{(n)} = 1 \cdot 0 +2 \cdot\frac{1}{2} + 3\cdot\frac{1}{2^2} + \cdots + n \cdot \frac{1}{2^{n-1}} = 3 <\infty, \end{aligned}\] 故状态1与2都是正常返状态， 又因其周期都是1，故它们都是遍历态.

计算中用了 \[ \sum_{n=2}^\infty n x^{n-1} = \frac{d}{dx} \sum_{n=2}^\infty x^{n} = \frac{d}{dx} x^2 \sum_{n=0}^\infty x^{n} = \frac{d}{dx} \frac{x^2}{1-x} = \frac{x(2-x)}{(1-x)^2} . \]

○○○○○○

我们可以证明， 对于同属一类的状态\(i,j\),它们同为常返状态或非常返状态， 并且当它们是常返状态时， 又同为正常返状态和零常返状态.

引理5.1 对任意状态\(i, j\)及\(1 \leq n < \infty\)， 有 \[\begin{equation} p^{(n)}_{ij} = \sum_{l=1}^n f^{(l)}_{ij} p^{(n-l)}_{jj} . \tag{5.6} \end{equation}\]

证明： 令

\[\begin{aligned} p_{ij}^{(n)} =& P(X_n = j | X_0 = i) \\ =& P \left(\bigcup_{l=1}^n \{ X_k \neq j, 1 \leq k \leq l-1, X_l = j, X_n = j \} | X_0 = i \right) \\ =& \sum_{l=1}^n P \left( X_k \neq j, 1 \leq k \leq l-1, X_l = j, X_n = j | X_0 = i \right) \\ =& \sum_{l=1}^n P \left(X_k \neq j, 1 \leq k \leq l-1, X_l = j | X_0 = i \right) \\ & P(X_n = j | X_k \neq j, 1 \leq k \leq l-1, X_l = j, X_0 = i) \\ =& \sum_{l=1}^n f_{ij}^{(l)} P(X_n = j | X_l = j) \quad \text{(利用马氏性)} \\ =& \sum_{l=1}^n f_{ij}^{(l)} p_{jj}^{(n-l)} . \end{aligned}\]

○○○○○○

以下我们首先引入常返性的另一个判定方法.

定理5.5 状态\(i\)为常返的当且仅当\(\sum_{n=0}^{\infty} p^{(n)}_{ii} = \infty\)； 状态\(i\)为非常返的当且仅当\(\sum_{n=0}^{\infty} p^{(n)}_{ii} < \infty\)， 且这时有 \[ \sum_{n=0}^{\infty} p^{(n)}_{ii} = \frac{1}{1 - f_{ii}} . \]

证明： 常返时，\(f_{ii} = 1\)， 每次从\(i\)出发必然在有限步回到\(i\)， 然后重新开始，以回到\(i\)作为一次更新， 这是更新过程， 于是从\(X_0=i\)出发系统有无穷多次处于状态\(i\)。 用\(I_n\)表示\(X_n = i\)， 则常返时 \[ P(\sum_{n=1}^\infty I_n = +\infty | X_0 = i) = 1, \] 于是 \[ E(\sum_{n=1}^\infty I_n | X_0 = i) = +\infty, \] 但 \[\begin{aligned} & E(\sum_{n=1}^\infty I_n | X_0 = i) = \sum_{n=1}^\infty E (I_n | X_0 = i) \\ =& \sum_{n=1}^\infty P(X_n = i | X_0 = i) = \sum_{n=1}^\infty p_{ii}^{(n)}, \end{aligned}\] 所以常返时\(\sum_{n=1}^\infty p_{ii}^{(n)} = +\infty\)。

如果非常返，\(f_{ii}<1\)， 有\(1 - f_{ii}>0\)的概率一去不返， 以从\(i\)出发是否一去不返为一次成败型试验， 令\(Y\)表示一去不返前返回的次数加一， 则\(Y\)为几何分布的随机变量， \(E Y = \frac{1}{1 - f_{ii}}\)。 \[ \sum_{n=1}^\infty I_n = Y - 1, \] 于是 \[ E(\sum_{n=1}^\infty I_n | X_0 = i) = \sum_{n=1}^\infty p_{ii}^{(n)} = E(Y) - 1 = \frac{1}{1 - f_{ii}} - 1 < \infty， \] 从而 \[ \sum_{n=0}^\infty p_{ii}^{(n)} = 1 + \sum_{n=1}^\infty p_{ii}^{(n)} = \frac{1}{1 - f_{ii}} . \] 定理得证。

注：教材的证明有一些问题。

○○○○○○

推论5.3 若\(j\)为非常返状态， 则对任意\(i \in S\)， \[\begin{aligned} & \sum_{n=1}^\infty p_{ij}^{(n)} < \infty, \\ & \lim_{n \to \infty} p_{ij}^{(n)} = 0 . \end{aligned}\]

证明： 由引理5.1, \[ p^{(n)}_{ij} = \sum_{l=1}^n f^{(l)}_{ij} p^{(n-l)}_{jj} . \] 关于\(n\)求和得 \[\begin{aligned} & \sum_{n=1}^N p_{ij}^{(n)} = \sum_{n=1}^N \sum_{l=1}^n f_{ij}^{(l)} p_{jj}^{(n-l)} \\ =& \sum_{l=1}^N f_{ij}^{(l)} \sum_{n=l}^N p_{jj}^{(n-l)} \\ =& \sum_{l=1}^N f_{ij}^{(l)} \sum_{m=0}^{N-l} p_{jj}^{(m)} \\ \leq& \sum_{m=0}^{\infty} p_{jj}^{(m)} \sum_{l=1}^\infty f_{ij}^{(l)} \\ =& \sum_{m=0}^{\infty} p_{jj}^{(m)} f_{ij} < \infty . \end{aligned}\]

○○○○○○

推论5.4 若\(j\)为常返状态， 则对任意\(i \in S\)，若\(i \to j\)， 则 \[\begin{aligned} & \sum_{n=1}^\infty p_{ij}^{(n)} = \infty, \end{aligned}\] 若\(i \not\to j\)， 则 \[\begin{aligned} & \sum_{n=1}^\infty p_{ij}^{(n)} = 0 . \end{aligned}\]

证明：当\(i\)不可达\(j\)时，每个\(p_{ij}^{(n)}=0\)， 所以第二条结论成立。 当\(i \to j\)时， 存在\(m > 0\)使得\(p_{ij}^{(m)} > 0\)， 由C-K方程， \[ p_{ij}^{(m+n)} \geq p_{ij}^{(m)} p_{jj}^{(n)}, \] 于是 \[\begin{aligned} \sum_{n=1}^\infty p_{ij}^{(m+n)} \geq p_{ij}^{(m)} \sum_{n=1}^\infty p_{jj}^{(n)} = \infty . \end{aligned}\]

○○○○○○

命题5.2 若\(i\)与\(j\)互通且都为常返状态， 则\(f_{ij}=1\)。

证明： 如果\(f_{ij} < 1\)， 则设\(p_{ji}^{(n)} > 0\)， 有正概率\(p_{ji}^{(n)} (1 - f_{ij})\)使得从\(j\)出发不能返回\(j\)， 与\(j\)常返矛盾。

○○○○○○

定理5.6 常返性是一个类性质.

证明： 只要证明若\(i \leftrightarrow j\)， 则\(i, j\)同为常返或非常返状态.

由\(i \leftrightarrow j\)知， 存在\(n, m \geq 0\)， 使得\(p^{(n)}_{ij}>0\), \(p^{(m)}_{ji}>0\)， 由C-K方程总有 \[\begin{aligned} p^{(n+m+l)}_{ii} \geq& p^{(n)}_{ij}p^{(l)}_{jj}p^{(m)}_{ji} \\ p^{(n+m+l)}_{jj} \geq& p^{(m)}_{ji}p^{(l)}_{ii}p^{(n)}_{ij} , \end{aligned}\] 求和得到 \[\begin{aligned} \sum_{l=0}^{\infty} p_{ii}^{(n+m+l)} \geq& p_{ij}^{(n)} p_{ji}^{(m)} \sum_{l=0}^{\infty} p_{jj}^{(l)} \\ \sum_{l=0}^{\infty} p_{jj}^{(n+m+l)} \geq& p_{ij}^{(n)} p_{ji}^{(m)} \sum_{l=0}^{\infty} p_{ii}^{(l)} . \end{aligned}\]

可见，\(\sum_{l=0}^{\infty} p^{(l)}_{jj}\), \(\sum_{l=0}^{\infty} p^{(l)}_{ii}\)相互控制，同为无穷或有限， 从而\(i,j\)同为常返或非常返状态.

其次我们还可以证明， 当\(i,j\)同为常返状态时， 它们同为正常返状态或零常返状态. 证明将在下一节给出.

○○○○○○

推论5.5 若常返状态\(i\)可达状态\(j\)， 则\(j\)也是常返状态。

证明： 这时\(j\)必然可达\(i\)， 否则设\(p_{ij}^{(n)} > 0\)， 则从\(i\)出发有正概率\(p_{ij}^{(n)}\)达到\(j\)后不再回到\(i\)， 与常返性矛盾。 \(i, j\)互通， 则常返性相同，证毕。

○○○○○○

图5.4: 每个状态返回0

例5.17 设马氏链的状态空间\({S}=\{0,1,2,\dots\}\), 转移概率为 \(p_{00}=\frac{1}{2}\), \(p_{i,i+1}=\frac{1}{2}\), \(p_{i0}=\frac{1}{2}\), \(i \in S\). 由图5.4易知, \(f^{(1)}_{00}=\frac{1}{2}\), \(f^{(2)}_{00}=\frac{1}{2}\cdot\frac{1}{2}\), \(f^{(3)}_{00}=\frac{1}{2}\cdot\frac{1}{2}\cdot\frac{1}{2}\), ……， \(f^{(n)}_{00}=\frac{1}{2^n}\)， 故 \[\begin{aligned} f_{00} =& \sum_{n=1}^{\infty} \frac{1}{2^n} = 1, \\ \mu_0 =& \sum_{n=1}^{\infty} n2^{-n} < \infty . \end{aligned}\] 可见状态0是正常返状态， 显然它是非周期的， 故0是遍历态. 对其他状态\(i>0\)， 由\(i \leftrightarrow 0\), 故\(i\)也是遍历的.

例5.18 考虑直线上无限制的随机游动的常返性。 状态空间为\(S =\{ 0, \pm 1, \pm 2, \dots\}\)， 转移概率为\(p_{i,i+1} = 1-p_{i,i-1} = p\), \(i\in S\).

解： 对于状态0， 可知\(p^{(2n+1)}_{00}=0\), \(n=1,2,\dots\), 即从0出发奇数次不可能返回到0. 而 \[ p^{(2n)}_{00} = \binom{2n}{n} p^n (1-p)^n = \frac{(2n)!}{n!n!} [p(1-p)]^n . \] 即经过偶数次回到0当且仅当它向左、右移动距离相同.

由Stirling公式知, 当\(n\)充分大时， \(n! \sim n^{n+\frac{1}{2}} e^{-n} \sqrt{2\pi}\)， 则 \[ p^{(2n)}_{00} \sim \frac{[4p(1-p)]^n}{\sqrt{n\pi}}. \] 而\(p(1-p) \leq \frac{1}{4}\)且\(p(1-p)=\frac{1}{4} \iff p=\frac{1}{2}\). 于是\(p=\frac{1}{2}\)时, \(\sum_{n=0}^{\infty} p_{ii}^{(n)} = \infty\), 否则\(\sum_{n=0}^{\infty} p_{ii}^{(n)} < \infty\), 即当\(p \neq \frac{1}{2}\)时状态0是瞬过状态， \(p = \frac{1}{2}\)时是常返状态. 显然，过程的各个状态都是相通的， 故以此可得其他状态的常返性.

○○○○○○

图5.5: 离散状态马氏链状态分类

5.3 极限定理及平稳分布

5.3.1 极限定理

对于一个系统来说， 考虑它的长期的性质是很必要的， 本节我们将研究马氏链的极限情况和平稳马氏链的有关性质. 首先来看两个例子.

例5.19 设马氏链的转移矩阵为 \[ P = \left(\begin{array}{cc} 1-p & p\\ q & 1-q \end{array}\right), \ 0 < p, q <1 , \] 考虑\(P^{(n)}\)当\(n \to \infty\)时的情况.

解： 由\(P^{(n)} = P^n\)知， 只需计算\(P\)的\(n\)重乘积的极限. 令 \[ Q = \left(\begin{array}{cc} 1 & -p\\ 1 & q \end{array}\right), \quad D =\left(\begin{array}{cc} 1 & 0\\ 0 & 1-p-q \end{array}\right) \] 则 \[ Q^{-1} = \left(\begin{array}{cc} \frac{q}{p+q}&\frac{p}{p+q}\\ -\frac{1}{p+q}&\frac{1}{p+q} \end{array}\right), \qquad P = Q D Q^{-1} , \] 这是\(P\)的相似变换，其中\(D\)为对角阵，这使得矩阵的幂的计算化简，有 \[\begin{aligned} P^n =& (Q D Q^{-1})^n = Q \left(\begin{array}{cc} 1 & 0 \\ 0 & 1-p-q \end{array}\right)^n Q^{-1} \\ =& \left(\begin{array}{cc} \frac{q+p(1-p-q)^n}{p+q}&\frac{p-p(1-p-q)^n}{p+q} \\ \frac{q-q(1-p-q)^n}{p+q}&\frac{p+q(1-p-q)^n}{p+q} \end{array}\right) . \end{aligned}\] 由于\(|1-p-q|<1\)，\(P^n\)的极限为 \[ \lim_{n\to \infty} P^n = \left(\begin{array}{cc} \frac{q}{p+q}&\frac{p}{p+q}\\ \frac{q}{p+q}&\frac{p}{p+q} \end{array}\right) , \] 可见此马氏链的\(n\)步转移概率有一个稳定的极限.

○○○○○○

例5.20 在例5.18中令\(p=\frac{1}{3}\)， 系统为不可约非常返马氏链，有 \[ \lim_{n \to \infty} p_{00}^{(2n)} = \lim_{n\to \infty} \frac{(4 \times \frac{1}{3} \times \frac{2}{3})^n}{\sqrt{n\pi}} = 0 . \]

令\(p = \frac{1}{2}\)，系统为不可约零常返马氏链，有 \[ \lim_{n\to \infty} p_{00}^{(2n)} = \lim_{n\to \infty} \frac{(4 \times \frac{1}{2} \times \frac{1}{2})^n}{\sqrt{n\pi}} = 0 . \] 即从零出发经过无穷次的转移之后， 系统在某一规定时刻回到0的概率趋于0.

我们容易证明例5.19中所有状态是正常返状态， 而例5.20中当\(p=\frac{1}{3}\)时状态0是非常返状态， 当\(p=\frac{1}{2}\)时， 0是零常返状态. 那么两个例子给出的是不是一般结论呢? 答案是肯定的，我们不加证明地引入马氏链的一个基本极限定理.

定理5.7 若状态\(i\)是周期为\(d\)的常返状态，则 \[\begin{equation} \lim_{n \to \infty} p^{(nd)}_{ii} = \frac{d}{\mu_i} . \tag{5.7} \end{equation}\] 这样，若\(i\)为正常返状态，极限为正值； 若\(i\)为零常返状态，极限等于0.

另外，如果\(i\)是非常返状态， 由推论5.3， \[ \lim_{n \to \infty} p^{(n)}_{ji} = 0, \ \forall j \in S . \]

证明见(林元烈 2002) P.96定理3.3.6。

注1：\(\mu_i\)表示常返状态\(i\)的平均返回时间。

推论5.6 设\(i\)为常返状态，则 \[ i \text{为零常返状态} \iff \lim_{n\to \infty} p^{(n)}_{ii} = 0 . \]

证明： 若\(i\)为零常返状态， 则\(\mu_i=\infty\), 从而\(\lim_{n \to \infty}p^{(nd)}_{ii}=0\). 而当\(m\)不是\(d\)的整数倍时, \(p^{(m)}_{ii}=0\)， 故\(\lim_{n \to \infty} p^{(n)}_{ii} = 0\).

另一方面， 若\(\lim_{n \to \infty} p^{(n)}_{ii}=0\)， 如果\(i\)为正常返状态， 则\(\mu_i < \infty\)，由定理5.7知\(\lim_{n \to \infty} p^{(nd)}_{ii} > 0\)，矛盾.

○○○○○○

推论5.7 两个互通的常返状态或者同为正常返， 或者同为零常返， 从而同一类的状态或者同为正常返， 或者同为零常返， 或者同为非常返。

证明： 设\(i \leftrightarrow j\)为常返状态且\(i\)为零常返状态， 则 \[ \lim_{m \to \infty}p^{(m)}_{ii} = 0 . \] 有互通性，必存在\(n \geq 1\), \(l \geq 1\)使得\(p^{(n)}_{ij} > 0\), \(p^{(l)}_{ji} > 0\)，从而由C-K方程可知 \[ p^{(n+m+l)}_{ii} \geq p^{(n)}_{ij} p^{(m)}_{jj} p^{(l)}_{ji} \geq 0 , \] 令\(m\to \infty\), 对上式取极限，知 \[ \lim_{m \to \infty} p^{(m)}_{jj} = 0， \] 从而\(j\)也为零常返状态. 反之由\(j\)为零常返状态也可推得\(i\)为零常返状态， 从而证明了\(i,j\)同为零常返状态或正常返状态.

○○○○○○

下面我们要利用定理5.7来讨论\(p^{(n)}_{ij}\)的极限性质. 一般说来, 我们讨论两个问题. 一是极限\(\lim_{n \to \infty}p^{(n)}_{ij}\)是否存在, 二是其极限是否与\(i\)有关. 首先有

定理5.8 (1) 若\(j\)为非常返状态或零常返状态， 则\(\forall i \in S\)都有 \[ \lim_{n \to \infty} p^{(n)}_{ij} = 0 . \]

(2) 若马氏链为遍历链（不可约、正常返、非周期）， 则对任意\(i, j \in S\)，有 \[ \lim_{n \to \infty} p_{ij}^{(n)} = \frac{1}{\mu_j} . \]

证明： (1) 由引理5.1，得 \[\begin{equation} p_{ij}^{(n)} = \sum_{l=1}^n f^{(l)}_{ij} p^{(n-l)}_{jj} . \tag{5.8} \end{equation}\] 对\(N < n\)，有 \[\begin{equation} \sum_{l=1}^n f_{ij}^{(l)} p_{jj}^{(n-l)} \leq \sum_{l=1}^N f_{ij}^{(l)}p_{jj}^{(n-l)} + \sum_{l=N+1}^n f^{(l)}_{ij} . \tag{5.9} \end{equation}\]

于是 \[\begin{aligned} \varlimsup_{n\to\infty} p_{ij}^{(n)} \leq& \sum_{l=1}^N f_{ij}^{(l)} \varlimsup_{n\to\infty} p_{jj}^{(n-l)} + \sum_{l=N+1}^{\infty} f^{(l)}_{ij} \\ =& 0 + \sum_{l=N+1}^{\infty} f^{(l)}_{ij} . \end{aligned}\] 由\(\sum_{l=1}^{\infty} f^{(l)}_{ij} \leq 1\)可知\(\lim_{N\to\infty} \sum_{l=N+1}^{\infty} f^{(l)}_{ij} = 0\)， 于是\(\varlimsup_{n\to\infty} p_{ij}^{(n)} \leq 0\)，\(\lim_{n\to\infty} p_{ij}^{(n)} = 0\)。

(2) 由(5.8)，取\(N < n\), 有 \[\begin{aligned} \varliminf_{n\to\infty} p_{ij}^{(n)} \geq& \sum_{l=1}^N f_{ij}^{(l)} \varliminf_{n\to\infty} p_{jj}^{(n-l)} \\ =& \sum_{l=1}^N f_{ij}^{(l)} \frac{1}{\mu_j}, \end{aligned}\] 令\(N \to \infty\)有 \[\begin{aligned} \varliminf_{n\to\infty} p_{ij}^{(n)} \geq& \frac{1}{\mu_j} \sum_{l=1}^\infty f_{ij}^{(l)} = \frac{1}{\mu_j} f_{ij} = \frac{1}{\mu_j} . \end{aligned}\] 这里用到\(i \to j\)且\(j\)常返则\(f_{ij}=1\)。

另一方面， 由(5.8)， \[\begin{aligned} \varlimsup_{n\to\infty} p_{ij}^{(n)} \leq& \sum_{l=1}^N f_{ij}^{(l)} \varlimsup_{n\to\infty} p_{jj}^{(n-l)} + \sum_{l=N+1}^\infty f_{ij}^{(l)} \\ =& \frac{1}{\mu_j} \sum_{l=1}^N f_{ij}^{(l)} + \sum_{l=N+1}^\infty f_{ij}^{(l)} , \end{aligned}\] 令\(N\to\infty\)得 \[\begin{aligned} \varlimsup_{n\to\infty} p_{ij}^{(n)} \leq& \frac{1}{\mu_j} \sum_{l=1}^\infty f_{ij}^{(l)} + 0 = \frac{1}{\mu_j} f_{ij} = \frac{1}{\mu_j}, \end{aligned}\] 故\(\lim_{n\to\infty} p_{ij}^{(n)} = \frac{1}{\mu_j}\)。

○○○○○○

注：结论(2)中\(\lim_{n\to\infty} p_{ij}^{(n)}\)可以理解为系统从状态\(i\)出发， 当\(n\)充分大时系统状态\(X_n\)位于状态\(j\)的比例。 5.3.4给出了针对逐条轨道的结论。

推论5.8 有限状态的马氏链， 不可能全为非常返状态， 也不可能有零常返状态， 从而不可约的有限马氏链是正常返的.

证明： 设状态空间\(S=\{1,2,\dots,N\}\). 若全部\(N\)个状态非常返， \(\forall i, j \in S\)有\(p^{(n)}_{ij} \to 0\), 注意 \[ \sum_{j=1}^N p^{(n)}_{ij} = 1, \] 令\(n \to \infty\)，等式左侧极限为0，右侧为1， 矛盾。

若\(S\)中有零常返状态，设为\(i\)。 令\(C = \{j: i \to j\}\), 由推论5.5可知\(C\)中的状态也是常返状态， 再由推论5.7可知\(C\)中的状态都是零常返状态， 从而 \[ \lim_{n\to\infty} p_{ij}^{(n)} = 0. \] 注意 \[ \sum_{j \in C} p^{(n)}_{ij} = 1, \] 在上式中令\(n \to \infty\)， 则左侧极限为0，右侧为1， 矛盾。

○○○○○○

推论5.9 若Markov链有一个零常返状态， 则必有无限个零常返状态.

证明： 设\(i\)为零常返状态， \(C = \{j: i \to j\}\), 则\(C\)中的状态也是零常返状态， 有\(\lim_{n\to\infty} p_{ij}^{(n)} = 0\)。 注意到 \[ \sum_{j \in C} p^{(n)}_{ij} = 1, \] 如果\(C\)为有限集合， 则上式两边令\(n \to \infty\)， 左侧极限为0，右侧为1， 矛盾， 所以\(C\)必为无限集合， 于是有无穷多个零常返状态。

○○○○○○

定理5.8没有讨论当\(j\)是正常返， 但非遍历时\(\lim_n p_{ij}^{(n)}\)的情况。 这种情况下，极限不一定存在， 存在时可能与\(i\)有关。 下面的定理侧面描述了这种情况：

定理5.9 设\(j\)为常返状态， 则对于任意的\(i \in S\)， 有 \[ \lim_{n\to\infty} \frac{1}{n+1} \sum_{k=0}^n p_{ij}^{(k)} = \frac{f_{ij}}{\mu_j} . \]

证明见(林元烈 2002) P.94定理3.3.5。

注1：左边的极限描述了从状态\(i\)出发， 在长期内平均处于状态\(j\)的概率， 这个概率等于从\(i\)可达\(j\)的概率， 除以从\(j\)返回\(j\)的平均间隔。 5.3.4给出了针对逐条轨道的结论。

如果\(i=j\)， 这个平均概率就等于\(1/\mu_j\)。

注2：可以将所有状态分为瞬态组\(T\)（不要求所有瞬态互通）和若干个常返状态组\(C_k, k=1,2,\dots\)， 其中\(C_k\)中的状态互通且为常返状态， 而\(C_k \cap C_j = \emptyset\)(\(k \neq j\))。 系统可以一直从瞬态出发一直在瞬态中运动（这要求有无穷多个瞬态）， 还可以从某个\(C_k\)出发一直在\(C_k\)中运动， 也可以从某个瞬态出发在有限步后进入某个\(C_k\)， 然后保持在\(C_k\)中运动。

下面的定理给出了\(j\)正常返但周期大于1的\(\lim_{n\to\infty} p_{ij}^{(n)}\)结果。 需要按周期中不同相位分别计算极限：

定理5.10 若\(j\)为正常返状态， 周期为\(d\)， 则对任意\(i \in S\)， \(0 \leq r \leq d-1\)， 有 \[\begin{equation} \lim_{n\to\infty} p_{ij}^{(nd+r)} = f_{ij}(r) \frac{d}{\mu_j}, \tag{5.10} \end{equation}\] 其中 \[ f_{ij}(r) = \sum_{m=0}^\infty f_{ij}^{(md + r)}, \] 当\(d=1\)时(这时状态\(j\)遍历)即 \[ \lim_{n\to\infty} p_{ij}^{(n)} = \frac{f_{ij}}{\mu_j} . \]

见(林元烈 2002) P.108定理3.5.2， 证明参考(何声武 1999)。

注：定理结论说明， 若\(j\)的周期\(d \geq 2\)， 则一般\(\lim_n p_{ij}^{(n)}\)不存在， 可以将\(n\)按照除以\(d\)的余数分为\(d\)个子序列， 每个子序列有单独的极限。

图5.6: 图上的简单随机游动

例5.21 设马氏链的状态空间为\({S}=\{1,2,3,4,5\}\)， 转移矩阵为 \[ P = \left(\begin{array}{ccccc} 1&0&0&0&0\\ 0&1&0&0&0\\ \frac{1}{2}&0&0&\frac{1}{2}&0\\ 0&0&\frac{1}{2}&0&\frac{1}{2}\\ 0&\frac{1}{2}&0&\frac{1}{2}&0 \end{array}\right) \] 试确定常返状态，瞬过状态， 并对常返状态\(i\)确定其平均回转时间\(\mu_i\).

解: 这是有限链，不能有零常返状态。

画出转移图5.6. 显然，状态\(1,2\)的周期为1， 状态\(3,4,5\)的周期为2.

\[ P^n \stackrel{n \to \infty}{\longrightarrow} \left(\begin{array}{ccccc} 1&0&0&0&0\\ 0&1&0&0&0\\ {*}&*&0&0&0\\ {*}&*&0&0&0\\ {*}&*&0&0&0 \end{array}\right) \] 从而\(1, 2\)是吸收态， 为正常返， \(\mu_1 = \mu_2 = 1\). \(3,4,5\)为瞬过状态。 此马氏链可分为三类，即\(\{1\}\),\(\{2\}\)和\(\{3,4,5\}\).

5.3.2 平稳分布

前面我们只讨论了马氏链的转移概率\(p_{ij}\)的有关问题， 下面我们将就它的初始分布的问题给出一些结论. 首先是关于马氏链的平稳分布和极限分布的概念.

定义5.12 对于马氏链，概率分布\(\{p_j, j \in S\}\)称为平稳分布，若 \[ p_j = \sum_{i \in S}p_i p_{ij}, \ \forall j \in S . \]

平稳分布又称不变分布。

记\(\boldsymbol \pi = (p_1, p_2, \dots)^T\)， 则平稳分布\(\boldsymbol \pi\)必须满足 \[ \boldsymbol \pi^T P = \boldsymbol\pi^T, \quad \boldsymbol \pi^T \boldsymbol 1 = 1. \]

若马氏链的初始分布\(P\{ X_0 = j \}= p_j\)是平稳分布， 则\(X_1\)的分布将是 \[\begin{aligned} P \{ X_1 = j \} =& \sum_{i \in S} P\{ X_1 = j | X_0 = i \} \cdot P\{ X_0 = i \} \\ =& \sum_{i \in S} p_{ij} p_i =p_j, \ \forall j \in S . \end{aligned}\] 这与\(X_0\)的分布是相同的， 依次递推可知\(X_n, n = 0,1,2,3,\dots\)将有相同的分布， 这也是为什么称\(\{p_i, i \in S \}\)为平稳分布的原因. 易见 \[ \boldsymbol \pi^T P^n = \boldsymbol\pi^T , \ n \geq 1 . \]

定理5.11 设马氏链\(\{X_n, n \geq 0 \}\)有平稳分布\(\boldsymbol \pi\)， 且\(X_0 \sim \boldsymbol \pi\)， 则\(\{X_n \}\)是严平稳的随机过程。

证明： 这时每一个\(X_n\)的边缘分布都是\(\boldsymbol \pi\)， 于是由定理5.2， \[ P(X_0 = i_0, X_1 = i_1, \dots, X_n = i_n) = \pi_{i_0} p_{i_0 i_1} p_{i_1 i_2} \dots p_{i_{n-1} i_n} , \] 同理有\(m \geq 0\)时 \[ P(X_m = i_0, X_{m+1} = i_1, \dots, X_{m+n} = i_n) = \pi_{i_0} p_{i_0 i_1} p_{i_1 i_2} \dots p_{i_{n-1} i_n} , \] 因此\(\{X_n, n\geq 0 \}\)是严平稳的。

定义5.13 称马氏链是遍历的， 如果所有状态不可约、非周期、正常返. 对于遍历的马氏链,极限 \[ \lim_{n \to \infty} p^{(n)}_{ij} = \pi_j = \frac{1}{\mu_j}, \quad j \in {S} \] 称为马氏链的极限分布。

定义中极限\(\pi_j=\frac{1}{\mu_j}\)， 是利用了定理5.8. 此定理说明， 对于遍历链， 不论从那个状态开始， 当\(n\)充分大时， 对任意\(n\)，\(X_n\)都有正概率处于状态\(j\)， \(j\)也是任意状态； \(X_n\)处于状态\(j\)的概率为正值\(\frac{1}{\mu_j}\)。 这给出了“遍历”这一术语的解释， 即系统在长时间运行中可以在任意时间到达任意状态。

下面的定理说明对于遍历的马氏链，极限分布就是平稳分布并且还是唯一的平稳分布.

定理5.12 (1) 对于遍历马氏链， \(\pi_j = \lim_{n \to \infty} p^{(n)}_{ij} = \frac{1}{\mu_j} > 0\)(\(j \in S\))是平稳分布且是唯一的平稳分布；

(2) 若马氏链所有状态都是非常返或零常返的，则平稳分布不存在.

证明： (1) 对遍历的马氏链， 由定理5.8知 \[ \lim_{n \to \infty}p^{(n)}_{ij} = \frac{1}{\mu_j} > 0 , \] 记为\(\pi_j\). 于是极限分布存在（极限分布存在则必唯一）。

先证明\(\{\pi_j, j \in S \}\)是平稳分布， 然后再来证明它是唯一的平稳分布。 这里仅给出有限链时的证明， 状态个数无限的链在证明时涉及到级数与极限交换次序， 需要较复杂的讨论，见5.7.2。

由于 \[ \sum_{j \in S} p^{(n)}_{ij} = 1 , \] 则有 \[\begin{equation} \lim_{n \to \infty} \sum_{j \in S} p^{(n)}_{ij} = 1 . \tag{5.11} \end{equation}\] 当\(S\)为有限状态时极限与求和可交换。 于是有 \[ \sum_{j \in S} \pi_j = 1 . \]

利用C-K方程得 \[ p^{(n+1)}_{ij} = \sum_{k \in S} p^{(n)}_{ik} p_{kj} , \] 两边取极限， 若\(S\)为有限状态则极限与求和可交换，于是 \[\begin{aligned} \lim_{n \to \infty} p^{(n+1)}_{ij} = \lim_{n \to \infty} \sum_{k \in S} p^{(n)}_{ik} p_{kj} =\sum_{k\in S}(\lim_{n \to \infty} p^{(n)}_{ik}) p_{kj} , \end{aligned}\] 即\(\pi_j = \sum_{k \in {S}}\pi_k p_{kj}\), 从而\(\{ \pi_j, j \in S \}\)是平稳分布.

再证\(\{\pi_j, j\in {S}\}\)是唯一的平稳分布. 假设另外还有一个平稳分布\(\{\tilde{\pi}_j, j \in S \}\), 则由 \[ \tilde{\pi}_j = \sum_{k \in S} \tilde{\pi}_k p_{kj} \] 归纳得到 \[\begin{equation} \tilde{\pi}_j = \sum_{k \in S} \tilde{\pi}_k p^{(n)}_{kj}, \quad n = 1, 2, \dots, \tag{5.12} \end{equation}\] 令\(n\to \infty\)， 若\(S\)为有限状态则极限与求和可交换， 有 \[\begin{aligned} \tilde{\pi}_j =& \sum_{i \in S} \tilde{\pi}_i \lim_{n \to \infty} p^{(n)}_{ij} \\ =& \sum_{i \in S} \tilde{\pi}_i \cdot \pi_j = \pi_j \cdot \sum_{i \in S} \tilde{\pi}_i = \pi_j, \ \forall j \in S . \end{aligned}\] 即平稳分布唯一.

(2) 所有状态都是零常返或瞬态时， 假设存在一个平稳分布\(\{\pi_j, j \in S\}\), 则由(5.12)有 \[ \pi_j = \sum_{i\in S} \pi_i p^{(n)}_{ij}, \ n = 1,2,\dots , \] 令\(n \to \infty\)， 若\(S\)为有限状态则极限与求和可交换， 因\(p^{(n)}_{ij}\to 0\), 推出\(\pi_j = 0, j \in S\), 这与\(\sum_{j \in S} \pi_j = 1\)矛盾。 于是对于所有状态都非常返或零常返的马氏链不存在平稳分布.

○○○○○○

注1：若马氏链为有限、不可约、非周期， 必为正常返从而为有限状态遍历马氏链， 平稳分布存在唯一且等于极限分布。 这时平稳方程存在唯一解且等于极限分布， 只要求解平稳方程。 这同时也给出了求\(\mu_j = \frac{1}{\pi_j}\)的方法。

注2：定理5.12没有给出马氏链存在正常返状态， 但非遍历链的结果。 实际上， 只要存在正常返状态， 平稳分布就存在， 但不一定唯一； 如果只有非常返和零常返状态， 平稳分布一定不存在。 下面的定理给出了一般的结果。

定理5.13 (1) 当且仅当所有状态都是非常返和零常返时， 马氏链没有平稳分布。

(2) 平稳分布存在唯一的充分必要条件是马氏链存在正常返状态且正常返状态都是互相连通的。

(3) 有限状态马氏链总存在平稳分布（不一定唯一）。

(4) 有限的不可约、非周期马氏链存在唯一的平稳分布。

见(林元烈 2002) P.111定理3.5.7。

注1：结论(1)说明只要有正常返状态就一定存在平稳分布但不一定唯一， 否则一定不存在平稳分布。 存在正常返状态是存在平稳分布的充分必要条件， 与是否不可约和是否非周期无关。

注2：结论(2)说明如果正常返状态按互通性分成两个或两个以上的组， 平稳分布就有多个。

注3：第(4)条是因为这时马氏链遍历， 由定理5.12第一条即可得结论。

注4: 结论(4)是因为有限状态、不可约、非周期必然遍历。 类似结论对无限状态马氏链是否成立？有如下结果。

定理5.14 不可约、非周期马氏链为遍历链（即状态都是正常返的）， 当且仅当它存在平稳分布。 这时平稳分布等于极限分布。

见(林元烈 2002) P.113定理3.5.8。 所以不可约、非周期马氏链或者是遍历的， 存在唯一的平稳分布同时也是极限分布； 或者是非常返或者零常返的， 这时不存在平稳分布， 也不存在极限分布。

定理5.15 设马氏链\(\{X_n, n \geq 0 \}\)不可约、非周期， 且有平稳分布\(\pi\)， 则 \[ \lim_{n\to\infty} \sum_{j \in S} |p_{ij}^{(n)} - \pi_j| = 0, \ \forall i \in S . \]

参见(钱敏平 et al. 2011) P.19定理1.5.5。 注意这时马氏链为遍历链， \(\pi\)是唯一的平稳分布和极限分布。 定理说明\(p_{ij}^{(n)}\)当\(n \to \infty\)时关于\(j\)一致地趋于\(\pi_j\)。

推论5.10 若不可约马氏链存在平稳分布\(\pi\)， 则 \[ \lim_{n\to\infty} \sum_{j \in S} \left| \frac{1}{n} \sum_{m=0}^n p_{ij}^{(m)} - \pi_j \right| = 0, \ \forall i \in S . \]

参见(钱敏平 et al. 2011) P.21推论1.5.6。 这时马氏链为正常返，但不一定是非周期的。 结论说明\(p_{ij}^{(n)}\)的局部平均序列\(\frac{1}{n} \sum_{m=0}^n p_{ij}^{(m)}\)当\(n \to \infty\)时关于\(j\)一致地趋于\(\pi_j\)。 因为没有要求非周期， 所以\(p_{ij}^{(n)}\)有可能等于0， 所以结论退化到了考虑\(\frac{1}{n} \sum_{m=0}^n p_{ij}^{(m)}\)， 这可以理解为从状态\(i\)出发， 时间\(1,2,\dots,n\)中的状态平均处于状态\(j\)的概率。 5.3.4给出了针对逐条轨道的结论。

例5.22 (用R和Julia计算平稳分布) 当马氏链为有限、不可约、非周期时， 平稳分布存在唯一，只要求解平稳方程。 用编程方法求解平稳方程。

平稳分布\(\boldsymbol \pi\)满足 \[ \boldsymbol \pi^T P = \boldsymbol\pi^T, \quad \boldsymbol 1^T \boldsymbol\pi = 1, \] 这是一个超定方程： \[ \begin{pmatrix} P^T - I \\ \boldsymbol 1^T \end{pmatrix} \boldsymbol \pi = \begin{pmatrix} \boldsymbol 0 \\ 1 \end{pmatrix}, \] 可以用最小二乘法求解\(\boldsymbol \pi\)。

R的输入\(P\)求解\(\boldsymbol \pi\)的函数：

solve.sta <- function(P, rational=FALSE){
  n <- nrow(P)
  y <- c(rep(0,n), 1)
  X <- rbind(t(P) - diag(n), 1)
  p <- solve(crossprod(X), crossprod(X, y)) |> c()
  if(rational){
    MASS::fractions(p)
  } else {
    p
  }
}

Julia语言：

using LinearAlgebra
function solve_sta(P, rat=false)
  P = float(P)
  n = size(P,1)
  X = [P' - Int[i==j ? 1 : 0 for i=1:n, j=1:n]; 
       ones(1, n)]
  y = [ones(n); 1]
  p = X \ y
  if rat
    return Rational.(round.(p; digits=6))
  else
    return p
  end
end

○○○○○○

例5.23 设马氏链的转移阵为 \[ P = \left(\begin{array}{ccc} 0.5&0.5&0\\ 0.5&0&0.5\\ 0&0.5&0.5 \end{array}\right) \] 求极限分布。

解： 易见马氏链为有限状态， 不可约，非周期，所以是遍历马氏链， 平稳存在唯一且等于极限分布。 平稳方程为 \[ \left\{ \begin{array}{lclcc} \pi_1&=&0.5\pi_1&+&0.5\pi_2\\ \pi_2&=&0.5\pi_1&+&0.5\pi_3\\ \pi_3&=&0.5\pi_2&+&0.5\pi_3 \end{array}\right. \] 求解得 \[ \boldsymbol{\pi} = (\pi_1,\pi_2,\pi_3) = (\frac{1}{3}, \frac{1}{3}, \frac{1}{3}) . \] 于是极限分布为 \[ \lim_{n \to \infty} p^{(n)}_{ij} = \lim_{n \to \infty} P\{X_n=j | X_0=i\} = \frac{1}{3} . \] 即0时刻从\(i\)出发在很久的时间之后马氏链处于状态\(1,2,3\)的概率均为\(\frac{1}{3}\)， 即\(X_n\)的极限分布为离散均匀分布.

图5.7: 6个车站

例5.24 设有6个车站, 车站中间的公路连接情况如图5.7所示. 汽车每天可以从一个站驶向与之直接相临的车站， 并在夜晚到达车站留宿， 次日凌晨重复相同的活动. 设每天凌晨汽车开往临近的任何一个车站都是等可能的， 试说明很长时间后， 各站每晚留宿的汽车比例趋于稳定. 求出这个比例以便正确地设置各站的服务规模.

解： 以\(\{X_n, n=0,1,\dots\}\)记第\(n\)天某辆汽车留宿的车站号. 这是一个马氏链， 转移概率矩阵为 \[ \mathbf{P}=\left(\begin{array}{cccccc} 0&\frac{1}{2}&0&0&0&\frac{1}{2}\\ \frac{1}{3}&0&\frac{1}{3}&0&0&\frac{1}{3}\\ 0&\frac{1}{2}&0&\frac{1}{2}&0&0\\ 0&0&\frac{1}{3}&0&\frac{1}{3}&\frac{1}{3}\\ 0&0&0&\frac{1}{2}&0&\frac{1}{2}\\ \frac{1}{4}&\frac{1}{4}&0&\frac{1}{4}&\frac{1}{4}&0 \end{array}\right) . \] 从图形易见所有状态互通， 其中车站1可以2步或者3步返回， 所以周期为1， 因此这是遍历马氏链， 平稳分布存在唯一且等于极限分布。 解平稳方程 \[ \left\{\begin{array}{ccl} \boldsymbol{\pi} P &=& \boldsymbol{\pi} \\ \sum^6_{i=1} \pi_i &=& 1 \end{array}\right. \] 其中\(\boldsymbol{\pi}=(\pi_1,\pi_2,\pi_3,\pi_4,\pi_5,\pi_6)\), 可得 \[ \boldsymbol\pi =(\frac{1}{8},\frac{3}{16}, \frac{1}{8}, \frac{3}{16}, \frac{1}{8}, \frac{1}{4}) . \] 所以在这个系统运行很长时间后， 无论开始汽车从哪一个车站出发它在任一个车站留宿的概率都是固定的， 从而所有的汽车也将以一个稳定的比例在各车站留宿.

可以用R程序求解上述方程：

P <- matrix(c(
  0, 1/2, 0, 0, 0, 1/2,
  1/3, 0, 1/3, 0, 0, 1/3,
  0, 1/2, 0, 1/2, 0, 0, 
  0, 0, 1/3, 0, 1/3, 1/3,
  0, 0, 0, 1/2, 0, 1/2,
  1/4, 1/4, 0, 1/4, 1/4, 0),
  byrow=TRUE, ncol=6)
solve.sta(P, rational=TRUE)
## [1]  1/8 3/16  1/8 3/16  1/8  1/4

Julia语言：

P = [
  0 1//2 0 0 0 1//2;
  1//3 0 1//3 0 0 1//3;
  0 1//2 0 1//2 0 0 ;
  0 0 1//3 0 1//3 1//3;
  0 0 0 1//2 0 1//2;
  1//4 1//4 0 1//4 1//4 0]
solve_sta(P, true) |> show
## Rational{Int64}[
##   1//8, 3//16, 1//8, 3//16, 1//8, 1//4]

○○○○○○

例5.25 设甲袋中有\(k\)个白球和1个黑球， 乙袋中有\(k+1\)个白球， 每次从两袋中各任取一球， 交换后放入对方的袋中. 证明经过\(n\)次交换后， 黑球仍在甲袋中的概率\(p_n\)满足 \[ \lim_{n \to \infty} p_n =\frac{1}{2} . \]

解： 以\(X_n\)表示第\(n\)次取球后甲袋中的黑球数， 则\(\{X_n,n=0,1,2,\dots\}\)是状态空间为\(S= \{0,1\}\)的时齐马氏链， 一步转移概率矩阵为 \[ P = \left(\begin{array}{cccccc} \frac{k}{k+1}&\frac{1}{k+1}\\ \frac{1}{k+1}&\frac{k}{k+1} \end{array}\right) . \] 这是不可约、非周期、有限状态马氏链， 是遍历的。 求解其平稳方程 \[ \left\{\begin{array}{l@{\quad}l} {\pi}_0&=\frac{k}{k+1}{\pi}_0+\frac{1}{k+1}{\pi}_1\\ {\pi}_1&=\frac{1}{k+1}{\pi}_0+\frac{k}{k+1}{\pi}_1 \end{array}\right. \] 以及\({\pi}_0+{\pi}_1=1\)， 解得 \[ \boldsymbol{\pi} = ({\pi}_0, {\pi}_1) = (\frac{1}{2}, \frac{1}{2}), \]故经过\(n\)次交换后， 黑球仍在甲袋中的概率\(p_n\)的极限为 \[ \lim_{n \to \infty} p_n =\lim_{n \to \infty} P\{X_n=1 \} = {\pi}_1 = \frac{1}{2} . \]

○○○○○○

例5.26 我国某种商品在国外销售情况共有连续24个季度的数据(其中1表示畅销，2表示滞销)： \[ 1,1,2,1,2,2,1,1,1,2,1,2,1,1,2,2,1,1,2,1,2,1,1,1 \] 如果该商品销售情况近似满足时齐性与马氏性.

(1) 试确定销售状态的一步转移概率矩阵.

(2) 如果现在是畅销，试预测这之后的第四个季度的销售状况.

(3) 如果影响销售的所有因素不变，试预测长期的销售状况.

解： 以\(X_n\)表示第\(n\)季度该种商品在国外的销售情况， 则\(\{X_n,n=1,2,\dots\}\)是一状态空间为\(\{1,2\}\)的时齐马氏链. 这是有限状态、不可约、非周期马氏链，是遍历的。

(1) 由\(1 \to 1\)有7次； 由\(1 \to 2\)有7次， 得\(p_{11}=p_{12}=\frac{7}{14}=\frac{1}{2}.\)

由\(2 \to 1\)有7次； 由\(2 \to 2\)有2次， 得\(p_{21}=\frac{7}{9},p_{22}=\frac{2}{9}.\)

一步转移概率矩阵为 \[ P = \left(\begin{array}{cccccc} p_{11}&p_{12}\\ p_{21}&p_{22} \end{array}\right) =\left(\begin{array}{cccccc} \frac{1}{2}&\frac{1}{2}\\ \frac{7}{9}&\frac{2}{9} \end{array}\right) . \]

(2) \[ P^{(4)} = P^4 =\left(\begin{array}{cccccc} 0.611&0.389\\ 0.605&0.395 \end{array}\right) \] 从而 \[ p_{11}^{(4)}= 0.611 > p_{12}^{(4)} = 0.389 , \] 即如果现在是畅销， 这之后第四个季度该种商品将以概率0.611畅销.

(3) 由平稳方程 \[ ({\pi}_1,{\pi}_2) =({\pi}_1,{\pi}_2) P \] 及规范性条件\({\pi}_1+{\pi}_2=1\)得 \[ \left\{\begin{array}{l@{\quad}l} {\pi}_1&=\frac{1}{2}{\pi}_1+\frac{7}{9}{\pi}_2\\ {\pi}_2&=\frac{1}{2}{\pi}_1+\frac{2}{9}{\pi}_2\\ {\pi}_1+{\pi}_2&=1 \end{array}\right. \] 解得 \[ \boldsymbol{\pi} =({\pi}_1,{\pi}_2) =(\frac{14}{23},\frac{9}{23}) = (0.61, 0.39). \]

即长期下去， 该种商品将以\(\frac{14}{23} = 61\%\)的概率畅销. 从观测数据的统计看， 畅销比例为\(15/24=62.5\%\)。

○○○○○○

不可约的马氏链的极限概率有如下总结：

\[ \begin{cases} \text{常返} \begin{cases} \text{正常返}(\Leftrightarrow \text{有平稳分布}) \begin{cases} \text{非周期(遍历)：} p_{ij}^{(n)} \to \pi_j \\ \text{周期：} \frac{1}{n} \sum_{k=0}^n p_{ij}^{(k)} \to \pi_j \end{cases} \\ \\ \text{零常返：} p_{ij}^{(n)} \to 0 \end{cases} \\ \\ \text{非常返：} p_{ij}^{(n)} \to 0 \end{cases} \]

5.3.3 平稳可逆分布

设马氏链\(\{X_n, n \geq 0 \}\)转移概率矩阵为\(P=(p_{ij})\)， 若存在概率分布\(\boldsymbol \pi = \{\pi_i \}\)使得 \[ \pi_i p_{ij} = \pi_j p_{ji}, \ \forall i, j \in S, \tag{5.13} \] 则称\(\boldsymbol \pi\)为此马氏链的一个平稳可逆分布或可逆分布。

平稳可逆分布必为平稳分布： \[\begin{aligned} \pi_i =& \pi_i \sum_{j \in S} p_{ij} = \sum_{j \in S} \pi_i p_{ij} \\ =& \sum_{j \in S} \pi_j p_{ji}, \end{aligned}\] 即\(\boldsymbol \pi\)是平稳分布。

所以， 为了构造一个具有平稳分布的马氏链， 只要取\(P\)满足不可约性和平稳可逆条件(5.13)， (5.13)也称为细致平衡(detailed balanced)条件。 这时所有状态是正常返的。 MCMC算法的设计就利用了这种性质。

如果\(X_0\)服从平稳可逆分布， 则将\(\{X_n \}\)的时间方向反转后仍是以\(P\)为转移概率矩阵的马氏链。

5.3.4 强大数律

定理5.16 (遍历定理) 设\(\{X_n, n \geq 0 \}\)是不可约、正常返马氏链， \(\mu_j\)是从\(j\)出发返回\(j\)的平均时间， 则\(\{X_n\}\)有平稳分布\(\{\pi_i = \frac{1}{\mu_j} \}\)， 且在\(X_0\)服从任何初始分布的条件下， 都有 \[ \lim_{N\to\infty} \frac{1}{N} \sum_{n=1}^N I_{\{ X_n = i\}} = \pi_i, \text{ a.s.} \] 即平稳分布也是马氏链处于状态\(i\)的长期比例； 反过来， 若\(\{X_n, n \geq 0 \}\)是不可约马氏链但平稳分布不存在， 则状态必为非常返或零常返。

参见(Ross 2019) P. 218定理4.1, (钱敏平 et al. 2011) P.23定理1.6.1和定理1.6.3。

定理5.17 设\(\{X_n, n \geq 0 \}\)是不可约、正常返马氏链， 则\(\{X_n\}\)有平稳分布\(\{\pi_i \}\)， 设随机变量\(Y\)分布为\(\{\pi_i \}\)， 函数\(g(x)\)定义在状态空间\(S\)上且为有界函数， 则 \[ \lim_{N \to \infty} \frac{1}{N} \sum_{n=1}^N g(X_n) = Eg(Y), \ \text{a.s.} \]

见(Ross 2019) P.230命题4.6， (钱敏平 et al. 2011) P.26推论1.6.6。

证明： 记\(a_i(N)\)为\(\{X_n\}\)在\(n=1,2,\dots,N\)中等于状态\(i\)的次数， 则由定理5.16可知 \[ \lim_{N\to\infty} \frac{a_i(N)}{N} = \pi_i , \text{ a.s.} \] 而 \[\begin{aligned} & \frac{1}{N} \sum_{n=1}^N g(X_n) = \frac{1}{N} \sum_{i=0}^\infty a_i(N) g(i) \\ =& \sum_{i=0}^\infty \frac{a_i(N)}{N} g(i), \end{aligned}\] 设\(|g(i)| \leq C\), \(\forall i \in S\)， 则 \[ \sum_{i=0}^\infty \left| \frac{a_i(N)}{N} g(i) \right| \leq C \frac{\sum_{i=0}^\infty a_i(N)}{N} = C, \] 由控制收敛定义可得 \[ \lim_{N\to\infty} \frac{1}{N} \sum_{n=1}^N g(X_n) = \sum_{i=0}^\infty \pi_i g(i) = E g(Y) . \]

推论5.11 若\(\{X_n \}\)是不可约有限状态马氏链， 则\(\{X_n \}\)存在平稳分布\(\{\pi_i \}\)， 对于定义在状态空间\(S\)上的任意函数\(g(x)\)， 都有 \[ \lim_{N \to \infty} \frac{1}{N} \sum_{n=1}^N g(X_n) = \sum_{i \in S} g(i) \pi_i, \ \text{a.s.} \]

证明： 这时\(\{X_n \}\)必为正常返状态， 且\(g(x)\)为有界函数， 由定理5.17可知结论成立。

定理5.18 设\(\{X_n, n \geq 0 \}\)是不可约、正常返马氏链， 则有\(\{X_n \}\)平稳分布\(\{\pi_i \}\)， 设随机变量\(Y\)分布为\(\{\pi_i \}\)， 函数\(g(x)\)定义在状态空间\(S\)上， 满足\(E|g(Y)| < \infty\)， 则 \[ \lim_{N \to \infty} \frac{1}{N} \sum_{n=1}^N g(X_n) = Eg(Y), \ \text{a.s.} \]

见(何书元 2008) P.194定理8.2(3)。

推论5.12 如果\(\{X_n \}\)是遍历马氏链， 则\(\{X_n \}\)存在唯一的平稳分布\(\{\pi_i \}\)（也是极限分布）， 设定义在状态空间\(S\)上的函数\(g(\cdot)\)满足\(E|g(Y)|<\infty\)， 则 \[ \lim_{N \to \infty} \frac{1}{N} \sum_{n=1}^N g(X_n) = Eg(Y), \ \text{a.s.} \]

这个推论说明， 可以用模拟马氏链的方法来估计与平稳分布\(\{\pi\}\)有关的数字特征。 设随机向量\(Y\)服从分布\(\{\pi\}\)， \(E[g(Y)]\)很难计算， 直接生成\(Y\)的简单随机样本也很困难， 就可以设计马氏链\(\{X_n \}\)， 使得\(\{X_n \}\)遍历且以\(\{\pi\}\)为极限分布和平稳分布， 则可以用\(\frac{1}{N} \sum_{n=1}^N g(X_n)\)估计\(E[g(Y)]\)。 虽然只要\(\{X_n \}\)不可约、正常返就可以， 但是最好加上非周期条件， 使得从任意初始状态\(i\)出发到任意状态\(j\)的概率极限都等于\(\pi_j\)。 对于不可约、非周期马氏链， 若转移概率满足细致平衡条件， 则存在平稳分布， 从而是遍历链， 所以在MCMC算法中， Metropolis-Hastings算法就利用了这样的设计。

5.4 马氏链的应用

5.4.1 群体消失模型(离散时间分支过程)

考虑一个能产生同类后代的个体组成的群体. 每一个体生命结束时以概率\(p_j\)(\(j=0,1,2,3,\dots\))产生了\(j\)个新的后代， 与别的个体产生的后代个数相互独立. 初始的个体数以\(X_0\)表示，称为第零代的总数； 第零代的后代构成第一代， 其总数记为\(X_1\)， 第一代的每个个体以同样的分布产生第二代，……， 一般地，以\(X_n\)记第\(n\)代的总数. 这里的\(n\)代表第几代而非具体时间。 此马氏链\(\{X_n,n=0,1,2,\dots\}\)称为离散时间分支过程.

现在假设群体是从单个祖先开始的， 即\(X_0=1\)，则有 \[ X_{n+1} = \sum_{i=1}^{X_{n}} Z_{n,i}, \ n=0,1,\dots \] 其中\(Z_{n,i}\)表示第\(n\)代的第\(i\)个成员的后代的个数.

首先来考虑第\(n\)代的平均个体数\(E[X_{n}]\)， 设 \[ \mu = \sum_{i=0}^{\infty} i p_i \] 是每个个体的后代个数的均值， 对\(X_n\)取条件期望，有 \[\begin{aligned} E[X_{n}] =& E[E[X_{n} | X_{n-1}]] \\ =& \mu E[X_{n-1}] = \mu^2 E[X_{n-2}] \\ =& \cdots = \mu^{n} . \end{aligned}\] 可以看出， 若\(\mu<1\)， 则平均个体数单调下降趋于0. 若\(\mu=1\)时， 各代平均个体数相同. 当\(\mu>1\)时， 平均个体数按指数阶上升至无穷.

下面就来考虑群体最终会消亡的概率\(\pi_0\). 对第一代个体数取条件，则 \[\begin{align} \pi_0 =& P\{\text{群体消亡}\} \\ =& \sum_{j=0}^{\infty} P\{\text{群体消亡} | X_1=j\} \cdot p_j \\ =& \sum_{j=0}^{\infty} \pi_0^j p_j \tag{5.14} \end{align}\] 上面的第二个等式是因为群体最终灭绝是以第1代为祖先的\(j\)个家族全部消亡， 而各家族已经假定为独立的，每一家族灭绝的概率均为\(\pi_0\).

很自然我们会假设： 家族消亡与\(\mu\)有关，在此我们给出一个定理， 以证明\(\pi_0=1\)的充要条件是\(\mu \leq 1\)。 不考虑\(p_0=1\)和\(p_0=0\)的平凡情况， 即家族在第零代后就消失或永不消失.

定理5.19 设\(0 < p_0 <1\)， 则\(\pi_0 = 1 \iff \mu \leq 1\).

证明： 定义 \[ F(x) = \sum_{j=0}^{\infty} p_j x^j , \ 0 \leq x \leq 1 , \] 显然\(F(0)=0\), \(F(1) = 1\)， \(F(x)\)是严格单调增函数。 由(5.14)式可知\(\pi_0\)满足 \[ F(\pi_0) = \pi_0, \] 即\(\pi_0\)是直线\(y=x\)和曲线\(y=F(x)\)交点的横坐标。 显然(1,1)是一个交点.

当\(p_0 + p_1 = 1\)时， \(y=F(x)= p_0 + p_1 x\)是一条直线， 斜率\(p_1\)在\((0,1)\)之间， 与\(y=x\)只能有一个交点\((1,1)\)， 即这时必有\(\pi_0 = 1\)， 最终消亡概率为1。

当\(p_0 + p_1 < 1\)时，由于 \[\begin{aligned} F(0) =& p_0 > 0, \quad F(1) = 1, \\ F'(x) =& \sum_{j=1}^{\infty} j p_j x^{j-1} > 0, \ 0<x<1 \\ F''(x) =& \sum_{j=2}^{\infty} j(j-1) p_j x^{j-2} > 0, \ 0<x<1 , \end{aligned}\] 可见这时\(F(x)\)是严格单调增的严格凸函数， 严格凸函数与任一直线都至多有2个交点。 曲线\(y = F(x)\)与直线\(y=x\)除了交点\((1,1)\)以外， 只可能有0或者1个交点。

于是， 当\(F(x)\)非直线时， 可按与\(y=x\)的交点是1个还是两个分为如下两种情况：

(1) 只有\((1,1)\)一个交点的情况。 这时群体最终消亡概率等于1。

(2) 存在一个\(0<s<1\)使得\(F(s)=s\), 那么此时\(\pi_0\)应取\(s\)还是1呢？ 可以证明，\(\pi_0\)必定取值为\(s\)， 为此只需证明\(\pi_0\)是方程\(x = F(x)\)的最小解， 利用这种情况下最小解为\(s\)就可得\(\pi_0 = s < 1\).

设\(\pi\)是方程\(x = F(x)\)的任意一个解， 利用归纳法证明\(\pi \geq P(X_n = 0)\)。 当\(n=1\)时， \[ \pi = \sum_{j=0}^{\infty} \pi^j p_j \geq \pi^0 p_0 = p_0 =P\{ X_1 = 0 \} . \] 归纳地，假设\(\pi \geq P\{X_n=0\}\)成立, 则 \[\begin{aligned} P\{X_{n+1}=0\} =& \sum_{j=0}^{\infty} P\{X_{n+1}=0 | X_1=j\} \cdot p_j \\ =& \sum_{j=0}^{\infty} (P\{X_n=0\})^j \cdot p_j \\ \leq& \sum_{j=0}^{\infty} \pi^j p_j \\ =& \pi . \end{aligned}\] 从而对一切\(n\)， \[ \pi \geq P\{X_n=0\} . \] 令\(A_n = \{X_n = 0\}\)， 则\(A_n \subset A_{n+1}\)， 于是 \[\begin{aligned} \pi_0 =& P( \{ \text{群体最终灭绝} \}) \\ =& P\left( \bigcup_{n=1}^\infty \{ X_n = 0 \} \right) \\ =& \lim_{n\to\infty} P(X_n=0) \\ \leq& \pi, \end{aligned}\] 即\(\pi_0\)是方程\(x = F(x)\), \(x \in [0,1]\)的最小解， 这就证明了在这种情况下\(\pi_0\)取值应为\(s\)， 最终消亡概率小于1。

这样， 可以根据\(F(x)\)的不同表现将分布\(\{p_j\}\)分为如下三种情况， 每一种情况下有对应的\(\mu\)值：

第一种情况，若\(p_0 + p_1=1\)， 已证明\(\pi_0 = 1\)， 而显然 \[ \mu = \sum_{j=0}^{\infty} j p_j = 0 \times p_0 + 1 \times p_1 = p_1 < 1 . \]

第二种情况，若\(p_0+p_1<1\)而且方程\(x=F(x)\)只有一个根， 有\(\pi_0=1\)。 因为\(F(0) > 0\), \(F(1)=1\), 由\(F(x)\)和\(y=x\)的连续性可知曲线\(y = F(x)\)在直线\(y = x\)上方， 即\(F(x) > x\), \(x \in (0, 1)\)。 这时必有此时 \[\begin{aligned} F'(1) =& \lim_{x \to 1-0} \frac{F(x) - F(1)}{x - 1} = \lim_{x \to 1-0} \frac{1 - F(x)}{1 -x} \\ \leq& \lim_{x \to 1-0} \frac{1 - x}{1 -x} \quad (\text{因为} F(x) \geq x) \\ =& 1 . \end{aligned}\] 而 \[ F'(1) = \sum_{j=0}^{\infty} j p_j = \mu , \] 从而\(\mu \leq 1\).

第三种情况下， 由\(F(x)\)得严格凸性可知对\(x \in (s, 1)\)有\(F(x) < x\), 类似可得\(F'(1) = \mu > 1\)。

综合三种情况就可以推出\(\pi_0=1 \iff \mu\leq 1\).

○○○○○○

在实际应用中， 考虑一个群体的真实增长时， 分支过程的假定在群体达到无限之前就不成立了(比如独立同分布性). 但另一方面， 利用分支过程研究消亡现象是有意义的， 因为一般灭绝常常发生在过程的早期.

5.4.2 人口结构变化的马氏链模型

这个应用在原教材中论述不够充分， 略去。

5.5 连续时间马氏链

5.5.1 概念

前面几节讨论的是时间和状态空间都是离散的马氏过程， 本节我们将介绍另外一种情况的马氏过程， 它的状态空间仍然是离散的， 但时间是连续变化的， 称为连续时间马氏链. 我们会给出它的一些性质， 一个重要的方程(Kolmogrov方程)和一个重要的应用(生灭过程).

定义5.14 设过程\(\{X(t), t \geq 0\}\)的状态空间\(S\)为离散空间， 为方便书写设\(S = \{0,1,2,\dots\}\)或其子集. 若对一切\(s, t\geq 0\)及\(i, j \in S\),有 \[\begin{aligned} P\{ X(t+s)=j | X(s)=i, X(u)=x(u), 0 \leq u <s \} = P\{ X(t+s)=j | X(s)=i \} \end{aligned}\] 成立， 则称\(\{X(t), t \geq 0 \}\)是一个连续时间马氏链.

连续时间马氏链定义中是\(\{x(u), 0 \leq u < s \}\)和\(x(s)=i\)条件下对未来的单个时间点\(t+s\)的条件分布仅依赖于\(X(s)=i\)， 实际上， 对\(\sigma(\{x(u): u > s \})\)中的事件的条件概率也仅依赖于\(X(s)=i\)。

条件概率\(P\{ X(t+s) = j | X(s) = i \}\)记作\(p_{ij}(s,t)\)， 表示过程在时刻\(s\)处于状态\(i\)， 经\(t\)时间后转移到\(j\)的转移概率， 并称\(P(s,t) = (p_{ij}(s,t))\)为相应的转移概率矩阵.

定义5.15 称连续时间马氏链是时齐的， 若\(p_{ij}(s,t)\)与\(s\)无关. 简记\(p_{ij}(s,t)=p_{ij}(t)\)， 相应地记\(P(t) = (p_{ij}(t))\).

我们只讨论时齐的连续时间马氏链， 并且简称为连续时间马氏链(在不引起混淆的情况下有时也称为马氏链).

对于连续时间马氏链来说, 除了要考虑在某一时刻它将处于什么状态外, 还关心它在离开这个状态之前会停留多长的时间， 从连续时间的马氏性来看， 因为已知\(t\)时刻的状态后， 未来的发展与\(t\)时刻之前的轨迹无关， 当然也与到\(t\)时刻为止已经在当前状态停留的时间长度无关， 所以系统在某一状态的“停留时间”具备“无记忆性”的特征， 应该服从指数分布， 下面我们给出一个具体的解释.

定理5.20 设\(\{X(t), t \geq 0\}\)是连续时间马氏链, 假定在时刻0过程刚刚到达\(i\)(\(i\in S\)). 以\(\tau_i\)记过程在离开\(i\)之前在\(i\)停留的时间， 则\(\tau_i\)服从指数分布.

证明： 我们只需证明对\(s, t \geq 0\), 有 \[\begin{equation} P\{ \tau_i > s + t | \tau_i > s \} = P\{ \tau_i > t \} , \end{equation}\] 即无记忆性.

注意到 \[\begin{aligned} & \{ \tau_i > s \} \iff \{X(u)=i, 0 < u \leq s | X(0) = i \} , \\ & \{ \tau_i > s + t \} \iff \\ & \{X(u)=i, 0 < u \leq s, X(v) = i, s < v \leq s+t | X(0)=i \} , \end{aligned}\] 则 \[\begin{aligned} & P\{\tau_i>s+t|\tau_i>s\}\\ =& P\{X(u)=i,0<u\leq s, X(v)=i, s<v\leq s+t|X(u)=i, 0\leq u\leq s\}\\ =& P\{X(v)=i, s<v\leq s+t|X(s)=i\}\\ =& P\{X(u)=i, 0<u \leq t|X(0)=i\}\\ =& P\{\tau_i>t\} . \end{aligned}\]

这里实际上利用了更强的马氏性： \(\mathscr F_s\)下关于\(\sigma(\{ X(u): u > s \})\)可测随机变量的条件期望等于对\(X(s)\)的条件期望。

○○○○○○

由上述定理， 实际上我们得到了另外一个构造连续时间马氏链的方法， 它是具有如下两条性质的随机过程.

1. 在转移到下一个状态之前处于状态\(i\)的时间服从速率参数为\(\mu_i\)的指数分布；

2. 在过程离开状态\(i\)时， 将以概率\(p_{ij}\)到达\(j\)， 且\(\sum_{j \in S} p_{ij}=1\).

注: 当\(\mu_i = \infty\)时， 它在状态\(i\)停留的平均时间为0， 即一旦进入马上离开， 称这样的状态为瞬过的. 瞬过状态的实际应用价值不大， 我们假设所考虑的连续时间马氏链中不存在瞬过状态， 即设 \[ 0 \leq \mu_i<+\infty, \ \forall i . \] 若\(\mu_i = 0\)， 称\(i\)为吸收态， 即一旦进入， 将停留的平均时间为无限长. 由此我们看出， 连续时间马氏链是一个做下面的运动的随机过程： 它以一个马氏链的方式在各个状态之间转移， 在两次转移之间以指数分布停留. 从上面已经知道， 这个指数分布与过程现在所处的状态有关， 但一定要与下面将转移到的状态独立(试用马氏性说明原因).

定义5.16 称一个连续时间马氏链是正则的， 若以概率1在任意有限长的时间内转移的次数是有限的.

如果非正则， 就存在一个\(\tau < \infty\)， 在\(t \to \tau-\)时转移间隔趋于零， 在\([0, \tau]\)内发生无穷次转移， 不容易定义\(t > \tau\)时的马氏链状态。 某些教材称正则条件为非爆炸的。

由正则性可得连续性条件 \[ \lim_{t\to 0}p_{ij}(t) = \delta_{ij} . \]

以下我们总假定所考虑的马氏链都满足正则性条件. 下面是几个连续时间马氏链的典型例子.

例5.27 (Poisson过程) 参数为\(\lambda\)的Poisson过程\(\{ N(t), t \geq 0\}\)， 取值于\(\{0,1,2,\dots\}\). 由第3章知道， 它在任一个状态\(i\)停留的时间服从指数分布， 并且在离开\(i\)时以概率1转到\(i+1\)(又一个事件发生)， 由Poisson过程的独立增量性容易看出它在\(i\)停留的时间与状态的转移是独立的 (特别是由它的平稳增量性\(\mu_i = \mu_{i+1} = \lambda\), \(i=0,1,2,\dots\))， 从而Poisson过程是时齐的连续时间马氏链. 对\(i \in S\),它的转移概率为 \[\begin{aligned} p_{i,i}(t) =& P\{ N(t+s) = i | N(s)=i \} \\ =& P\{N(t)=0\} \\ =& e^{-\lambda t} \\ p_{i,i+1}(t) =& P\{N(t+s)=i+1 | N(s)=i\} \\ =& P\{N(t) = 1 \} \\ =& \lambda t e^{-\lambda t} \\ p_{i,j}(t) =& \frac{(\lambda t)^{j-i}}{(j-i)!} e^{-\lambda t}, j > i+1 \\ p_{i,j}(t) =& 0, j < i . \end{aligned}\]

例5.28 (Yule过程) 考察生物群体繁殖过程的模型. 设群体中各个生物体的繁殖是相互独立的、强度为\(\lambda\)的Poisson过程， 并且群体中没有死亡，此过程称为Yule过程. 我们来说明Yule过程是一个连续时间马氏链.

解： 设在时刻0群体中有1个个体， 则群体将有的个体数是\(\{1,2,3,\dots\}\). 以\(T_i\)(\(i \geq 1\))表示群体数目从\(i\)增加到\(i+1\)所需的时间 （注意\(T_i\)是间隔时间而不是第\(i\)个事件的发生时间）， 由Yule过程定义，当群体数目为\(i\)时, 这\(i\)个个体是以相互独立的Poisson过程来产生后代的. 由Poisson过程的可加性知， 这相当于一个强度为\(\lambda i\)的Poisson过程； 由Poisson过程的独立增量性， 易知\(T_i\)与状态的转移是独立的(\(i \geq 1\))， 并且\(\{T_i\}\)是相互独立的参数为\(i \lambda\)的指数随机变量. 这就说明了Yule过程是一个连续时间马氏链， 我们来求它的转移概率\(p_{ij}(t)\).

首先 \[\begin{aligned} P\{T_1 \leq t\} =& 1 - e^{-\lambda t} \\ P\{T_1 + T_2 \leq t\} =& \int_0^t P\{T_1 + T_2 \leq t | T_1 = x \} \lambda e^{-\lambda x}dx \\ & \qquad(\text{利用全期望公式}) \\ =& \int_0^t P\{T_2 \leq t-x | T_1 = x \} \lambda e^{-\lambda x}dx \\ =& \int_0^t P\{T_2 \leq t-x \} \lambda e^{-\lambda x}dx \\ =& \int_0^t (1 - e^{-2 \lambda (t-x)}) \lambda e^{-\lambda x}dx \\ & \qquad(\text{注意} T_2 \sim \text{Exp}(2\lambda)) \\ =& (1 - e^{-\lambda t})^2 \\ P\{ T_1 + T_2 + T_3 \leq t \} =& \int_0^t P\{T_1 + T_2 + T_3 \leq t | T_1 + T_2 = x \} dP\{ T_1 + T_2 \leq x \} \\ =& \int_0^t (1 - e^{-3\lambda (t-x)}) 2 \lambda e^{-\lambda x} (1-e^{-\lambda x}) dx \\ =& (1 - e^{-\lambda t})^3 \\ \cdot \cdots \cdots \end{aligned}\]

一般地，用归纳法不难证明 \[ P\{ T_1 + T_2 + \cdots + T_j \leq t \} = (1 - e^{-\lambda t})^j . \] 而 \[ \{T_1 + T_2 + \cdots + T_j \leq t\} \iff \{X(t) \geq j+1 | X(0) = 1 \}, \] 所以 \[\begin{align} p_{1j}(t) =& P\{ X(t)=j | X(0)=1 \} \\ =& P\{ X(t) \geq j | X(0)=1 \} - P\{X(t) \geq j+1 | X(0)=1 \} \\ =& (1 - e^{-\lambda t})^{j-1} - (1-e^{-\lambda t})^j \\ =& e^{-\lambda t}(1 - e^{-\lambda t})^{j-1} \quad (j\geq 1) . \tag{5.15} \end{align}\] 这是一个几何分布，均值为\(e^{\lambda t}\).

又因为 \[ p_{ij}(t) = P\{ X(s + t) = j | X(s)=i \} , \] 相当于一个总量从\(i\)个个体开始的Yule过程的群体总数在\(t\)时间内增加到\(j\)的概率. 而这相当于\(i\)个独立的服从(5.15)式的几何随机变量的和取值为\(j\)的概率(想一想为什么)， 是Pascal分布， 于是 \[ p_{ij}(t) = \binom{j-1}{i-1} e^{-\lambda t i} (1-e^{-\lambda t})^{j-i}, \quad j \geq i \geq 1 . \]

○○○○○○

例5.29 (纯生过程) 考虑Yule过程的推广。 注意\(X(t)\)仍为计数过程， \(T_i\)为第\(i\)个事件的到来时间间隔， \(T_i\)服从参数为\(i \lambda\)的指数分布且相互独立。 推广假设这些到来间隔服从参数为\(\lambda_{i}\)的指数分布， 则这样的过程称为纯生过程。

对纯生过程， 如果间隔时间越来越短， 有可能在有限时间内发生无穷个事件。 记 \[ T = \sum_{i=1}^\infty T_i . \] 则事件\(\{ T < \infty \}\)表示在有限时间内发生了无穷次事件。 可以证明， \[\begin{aligned} & \sum_{i=1}^\infty \frac{1}{\lambda_i} < \infty \Longrightarrow P(T < \infty) = 1; \\ & \sum_{i=1}^\infty \frac{1}{\lambda_i} = \infty \Longrightarrow P(T < \infty) = 0 . \end{aligned}\] (参见(钱敏平 et al. 2011) P.72命题2.2.1。) 据此可知Yule过程在有限时间内不会有无穷次事件发生， 因此Yule过程在任意时间\(t\)时的个体数\(X(t)\)都是有穷值（以概率1意义下）。

○○○○○○

例5.30 (生灭过程) 仍然考虑一个生物群体的繁殖模型. 每个个体生育后代如例5.28的假定， 但是每个个体将以指数速率\(\mu\)死亡， 这是一个生灭过程，生灭过程的状态空间为\(\{0,1,2,\dots\}\). 在状态\(i\)(\(i \geq 1\))， 它能转移到\(i+1\)(生了一个)或\(i-1\)(死了一个)。 以\(T_i\)记过程从\(i\)到达\(i+1\)或\(i-1\)的时间. 类似例5.28可以得到， \(T_i\)相互独立且与状态会转移到\(i+1\)或是\(i-1\)是独立的， \(T_i\)服从参数为\(i \mu + i\lambda\)的指数分布(把生灭过程看成两个Yule过程之和，一个生，一个灭)， 并且下一次转移到\(i+1\)的概率\(p_{i,i+1}\)是\(\frac{\lambda}{\mu+\lambda}\)(见第3章习题3.3)， 到\(i-1\)的概率\(p_{i,i-1}\)为\(\frac{\mu}{\mu+\lambda}\). 这样的生灭过程也称为连续时间的分支过程。 概率转移\(p_{ij}(t)\)将在下一小节用Kolmogorov微分方程导出。

生灭过程的更一般的定义是当\(X(t)=i\)时， 有参数为\(\lambda_i\)的指数分布随机变量\(S\)， 和参数为\(\mu_i\)的指数分布随机变量\(T\)， \(S, T\)相互独立， 如果\(S < T\)就在\(t+S\)后转移到\(i+1\)， 否则就转移到\(i-1\)。 这些转移间隔之间独立。

例5.31 (M/M/S排队系统) 顾客的来到是参数为\(\lambda\)的Poisson过程. 服务员数为S个， 每个顾客接受服务的时间服从速率参数为\(\mu\)的指数分布. 遵循先来先服务， 若服务员没有空闲就排队的原则. 以\(X(t)\)记\(t\)时刻系统中的总人数， 则\(\{ X(t), t \geq 0\}\)是一个生灭过程(来到看作出生， 离去看作死亡)， 来到率是恒定参数为\(\lambda\)的Poisson过程， 离去过程的参数会发生变化， 以\(\mu_n\)记系统中有\(n\)个顾客时的离去率，则 \[ \mu_n = \begin{cases} n \mu & 1 \leq n \leq S , \\ S \mu & n > S . \end{cases} \] 请读者自己证明.

5.5.2 Kolmogorov微分方程

对于离散时间马氏链， 如果已知其转移概率矩阵\(P=(p_{ij})\)， 则其\(n\)步转移概率矩阵由其一步转移矩阵的\(n\)次方可得. 但是对于连续时间马氏链， 转移概率\(p_{ij}(t)\)的求解一般比较复杂. 下面我们先考虑\(p_{ij}(t)\)的一些性质.

定理5.21 时齐连续时间马氏链的转移概率\(p_{ij}(t)\)满足: \[\begin{aligned} (1)\ & p_{ij}(t)\geq 0; \\ (2)\ & \sum_{j\in S}p_{ij}(t)=1; \\ (3)\ & p_{ij}(t+s)=\sum_{k\in S}p_{ik}(t)p_{kj}(s) . \end{aligned}\]

证明： (1)和(2)由\(p_{ij}(t)\)的定义易知. 下面证明(3)。 \[\begin{aligned} p_{ij}(t+s) =& P\{X(t+s)=j|X(0)=i\}\\ =& \sum_{k\in {S}}P\{X(t+s)=j, X(t)=k|X(0)=i\}\\ =& \sum_{k\in {S}}P\{X(t+s)=j|X(t)=k, X(0)=i\}P\{X(t)=k|X(0)=i\}\\ =& \sum_{k\in {S}}P\{X(t+s)=j|X(t)=k\}p_{ik}(t)\\ =& \sum_{k\in {S}}p_{ik}(t)p_{kj}(s) \end{aligned}\]

一般称(3)为连续时间马氏链的C-K方程.

○○○○○○

转移概率\(p_{ij}(t)\)的性质：

命题5.3 设\(\{X(t), t \geq 0\}\)为正则的连续时间马氏链， 转移概率函数为\(p_{ij}(t)\)。则

(1) \(\lim_{h \downarrow 0} X(t+h) = X(t)\), a.s.

(2) \(p_{ij}(t)\)在\(t=0\)连续： \(\lim_{t \downarrow 0} p_{ij}(t) = p_{ij}(0)\)。

(3) \(p_{ij}(t)\)在\(t \in [0,\infty)\)一致连续，满足 \[ \sum_{j \in S} |p_{ij}(t+h) - p_{ij}(t)| \leq 2(1 - p_{ii}(h)) . \]

(4) \(p_{ii(t)} > 0\), \(\forall t \geq 0\)。

(5) \(p_{ij}(t)\)在\(t=0\)可导： \[ \lim_{t \downarrow 0} \frac{p_{ij}(t) - p_{ij}(0)}{t} = \begin{cases} q_{ij}, & i \neq j, \\ -q_{ii}, & i = j . \end{cases} \]

(6) 若\(q_{ii}=0\)，则\(p_{ii}(t) = 1\), \(\forall t \geq 0\)， 即\(i\)是吸收态。

(7) \(q_{ii} = \sum_{t > 0}\frac{1 - p_{ii}(t)}{t}\).

见(何书元 2008) P.210定理3.1和推论。

定理5.22 \[\begin{aligned} (1)\ & \lim_{t \to 0} \frac{1-p_{ii}(t)}{t} = q_{ii} \leq \infty ; \\ (2)\ & \lim_{t\to 0} \frac{p_{ij}(t)}{t} = q_{ij} < \infty . \end{aligned}\]

称\(q_{ij}\)为从状态\(i\)转移到\(j\)的转移速率. 这个速率的分子是很短时间内转移到\(j\)的概率， 分母是时间区间长度。 而\(q_{ii}\)是从状态\(i\)离开的速率。

命题5.4 连续时间马氏链在状态\(i\)停留的时间\(T_i\)服从速率参数为\(q_{ii}\)的指数分布。

证明： 设\(T_i\)的速率参数为\(\nu_i\)， 则 \[ P(T_i \leq t) = 1 - e^{-\nu_i t} . \] 由正则性， \(t \to 0\)时\([0,t]\)时间内最多仅有一次转移， 所以 \[ \{ T_i \leq t \} \iff \{ \exists u \in (0, t] \text{ s.t. } X(u) \neq i | X(0) = i \} \] 近似等于\(\{ X(t) \neq i | X(0)=i \}\)（当\(t\to\infty\)），于是 \[\begin{aligned} q_{ii} =& \lim_{t \to 0} \frac{1-p_{ii}(t)}{t} \\ =& \lim_{t \to 0} \frac{1}{t} P(X(t) \neq i | X(0) = i) \\ =& \lim_{t \to 0} \frac{1}{t} P(T_i \leq t) = \lim_{t \to 0}\frac{1}{t} (1 - e^{-\nu_i t} ) \\ =& \nu_i . \end{aligned}\]

○○○○○○

这个证明不够严格。

推论5.13 对有限状态时齐的连续时间马氏链，有 \[ q_{ii} = \sum_{j \neq i} q_{ij} < \infty . \]

证明：由\(\sum_{j\in S}p_{ij}(t) = 1\)有 \[ 1 - p_{ii}(t) = \sum_{j \neq i} p_{ij}(t) . \] 故由定理5.22可知 \[\begin{aligned} & \lim_{t\to 0} \frac{1 - p_{ii}(t)}{t} = \lim_{t\to 0} \sum_{j \neq i} \frac{p_{ij}(t)}{t} \\ =& \sum_{j \neq i} \lim_{t\to 0} \frac{p_{ij}(t)}{t} = \sum_{j \neq i} q_{ij} \\ <& \infty . \end{aligned}\]

○○○○○○

注：对于无限状态的情况， 一般只能得到 \[ q_{ii} \geq \sum_{j \neq i} q_{ij}. \]

为了简单起见, 设状态空间为\(S = \{ 1, 2, \dots, n, \dots \}\)， 此时记 \[ Q= \left(\begin{array}{cccccc} -q_{11}&q_{12}&q_{13}&\cdots&q_{1i}&\cdots\\ q_{21}&-q_{22}&q_{23}&\cdots&q_{2i}&\cdots\\ \vdots&\vdots&\vdots&\cdots&\vdots&\cdots\\ q_{i1}&q_{i2}&q_{i3}&\cdots&-q_{ii}&\cdots\\ \vdots&\vdots&\vdots&\cdots&\vdots&\ddots \end{array}\right) \] 称为连续时间马氏链的Q矩阵， 当矩阵元素\(q_{ii} = \sum_{j \neq i} q_{ij} < \infty\)时， 称该矩阵为保守的. 对有限状态时齐的连续时间马氏链， Q矩阵都是保守的。 若所有\(q_{ii}\)都有限，则Q矩阵为保守的。 对正则的马氏链， Q矩阵都是保守的（见(何书元 2008)节5.4.A）。

若\(q_{ii} = \infty\)， 则马氏链在状态\(i\)停留时间等于0， 这个状态相当于不起作用； 若\(\sum_{j \neq i} q_{ij} < q_{ii} < \infty\)， 则从状态\(i\)出发有正概率没有目的地。 所以一般仅考虑保守的情况。

下面我们应用这两个定理及推论，来导出一个重要的微分方程.

定理5.23 (Kolmogorov微分方程) 设连续时间马氏链\(\{X(t), t \geq 0\}\)的Q矩阵是保守的，即 \[ \sum_{j \neq i} q_{ij} = q_{ii} < \infty, \ \forall i \in S, \] 则对一切\(i, j \in S\)和\(t\geq 0\)，有

(1) 向后方程：

\[\begin{equation} p'_{ij}(t) = \sum_{k \neq i} q_{ik} p_{kj}(t) - q_{ii} p_{ij}(t) . \tag{5.16} \end{equation}\]

(2) 在适当的正则条件下， 有向前方程:

\[\begin{equation} p'_{ij}(t) = \sum_{k \neq j} p_{ik}(t) q_{kj} - p_{ij}(t) q_{jj} . \tag{5.17} \end{equation}\]

证明： (1) 由连续时间马氏链的C-K方程有 \[ p_{ij}(t+h) = \sum_{k \in S} p_{ik}(h) p_{kj}(t) . \] 或等价地 \[ p_{ij}(t+h) - p_{ij}(t) p_{ii}(h) = \sum_{k \neq i} p_{ik}(h) p_{kj}(t) . \] 变形为 \[ p_{ij}(t+h) - p_{ij}(t) = \sum_{k \neq i} p_{ik}(h) p_{kj}(t) - (1 - p_{ii}(h)) p_{ij}(t) . \] 于是 \[\begin{align} & \lim_{h \to 0} \frac{p_{ij}(t+h) - p_{ij}(t)}{h} \\ =& \lim_{h \to 0} \sum_{k \neq i} \frac{p_{ik}(h)}{h} p_{kj}(t) - \lim_{h \to 0} \frac{(1 - p_{ii}(h))}{h} p_{ij}(t) . \tag{5.18} \end{align}\] 若此马氏链状态是有限的， 应用定理5.22和推论5.13从上式直接可得(1)(向后方程).

下面证明对于无限状态情形向后方程成立. 由式(5.18)我们只需证明其中的极限与求和可交换次序即可.

对于固定的\(N\)，有 \[\begin{aligned} & \liminf_{h\to 0}\sum_{k\not= i}\frac{p_{ik}(h)}{h}p_{kj}(t) \\ \geq & \liminf_{h\to 0}\sum_{\stackrel{k\not= i}{k<N}}\frac{p_{ik}(h)}{h}p_{kj}(t)\\ = &\sum_{\stackrel{k\not= i}{k<N}} \liminf_{h\to 0}\frac{p_{ik}(h)}{h}p_{kj}(t)\\ =&\sum_{\stackrel{k\not= i}{k<N}}q_{ik}p_{kj}(t) . \end{aligned}\] 由\(N\)的任意性，得 \[\begin{align} \liminf_{h \to 0} \sum_{k \neq i} \frac{p_{ik}(h)}{h} p_{kj}(t) \geq \sum_{k\not= i}q_{ik}p_{kj}(t) . \tag{5.19} \end{align}\]

又因为\(p_{kj}(t) \leq 1\), \(\forall k \in S\)， 所以 \[\begin{aligned} & \limsup_{h \to 0} \sum_{k \neq i} \frac{p_{ik}(h)}{h} p_{kj}(t) \\ \leq& \limsup_{h \to 0} \left[\sum_{k \neq i, k<N} \frac{p_{ik}(h)}{h} p_{kj}(t) + \sum_{k \geq N} \frac{p_{ik}(h)}{h} \right] \\ =& \limsup_{h \to 0} \left[ \sum_{k \neq i, k<N} \frac{p_{ik}(h)}{h} p_{kj}(t) + \left( \sum_k \frac{p_{ik}(h)}{h} - \sum_{k< N} \frac{p_{ik}(h)}{h} \right) \right] \\ =& \limsup_{h \to 0} \left[ \sum_{k \neq i, k<N} \frac{p_{ik}(h)}{h} p_{kj}(t) + \left( \frac{1 - p_{ii}(h)}{h} - \sum_{k \neq i, k<N} \frac{p_{ik}(h)}{h} \right) \right] \\ =& \sum_{k \neq i, k<N} q_{ik} p_{kj}(t) + q_{ii} - \sum_{k \neq i, k<N}q_{ik} . \end{aligned}\]

同样由\(N\)的任意性，可知 \[\begin{align} &\limsup_{h \to 0} \sum_{k \neq i} \frac{p_{ik}(h)}{h} p_{kj}(t) \leq \sum_{k \neq i} q_{ik} p_{kj}(t) . \tag{5.20} \\ &\qquad(\text{因为}q_{ii}=\sum_{k \neq i} q_{ik} < \infty) \end{align}\]

结合(5.19)和(5.20)就证明了 \[ \lim_{h \to 0} \sum_{k \neq i} \frac{p_{ik}(h)}{h} p_{kj}(t) = \sum_{k \neq i} q_{ik} p_{kj}(t) . \] 于是向后方程得证.

向后方程用矩阵形式写出即是 \[ P'(t) = Q P(t), \] 其中\(P(t) = (p_{ij}(t))\), \(Q=(q_{ij})\).

(2) 在(1)中计算\(t+h\)的状态时是对退后到时刻\(h\)的状态来取条件的(所以称为后退方程)， 这里我们考虑对时刻\(t\)的状态取条件， 用C-K方程 \[ p_{ij}(t+h) = \sum_{k \in S} p_{ik}(t) p_{kj}(h) . \] 同理得到 \[\begin{aligned} & \lim_{h \to 0} \frac{p_{ij}(t+h)-p_{ij}(t)}{h} \\ =& \lim_{h \to 0} \left[ \sum_{k \neq j} p_{ik}(t) \frac{p_{kj}(h)}{h} - \frac{1-p_{jj}(h)}{h} p_{ij}(t) \right] . \end{aligned}\] 假若上式中极限与求和号可交换， 则有定理的结论(2)成立， 以矩阵形式写出即为 \[ P'(t) = P(t) Q . \] 但是这个假定不一定成立， 所以在定理中， 我们加了“适当正则”这个条件。 对于有限状态的马氏链或生灭过程(特别是只生不灭的纯生过程)， 它都是成立的.

○○○○○○

例5.32 (泊松过程) 利用Kolmogorov微分方程推导泊松过程的转移概率。

由泊松过程的等价定义， \[\begin{aligned} \begin{cases} p_{k,j}(h) = 0, & j < k; \\ p_{k,j}(h) = o(h), & j - k \geq 2; \\ p_{k, k+1}(h) = \lambda h + o(h); \\ p_{k, k}(h) = 1 - \lambda h + o(h) \end{cases} \end{aligned}\] 于是 \[\begin{aligned} \begin{cases} q_{kj} = 0, \quad j < k \text{ 或 } j \geq k+2; \\ q_{k,k+1} = \lim_{h\to 0} \frac{p_{k, k+1}(h)}{h} = \lambda ; &\\ q_{kk} = \lim_{h\to 0} \frac{1 - p_{k, k}(h)}{h} = \lambda . \end{cases} \end{aligned}\]

利用Kolmogorov向后方程， \[\begin{aligned} p_{ij}'(t) =& \sum_{k\neq i} q_{ik} p_{kj}(t) - q_{ii} p_{ij}(t), \end{aligned}\] 上式求和中仅\(k = i+1\)的项非零，故 \[\begin{align} p_{ij}'(t) =& q_{i,i+1} p_{i+1,j}(t) - q_{ii} p_{ij}(t) \\ =& \lambda p_{i+1,j}(t) - \lambda p_{ij}(t) . \tag{5.21} \end{align}\]

因为\(p_{ij}(t) = 0\)对\(j<i\)， 所以只需要求解\(j \geq i\)的情形。 并注意 \[ p_{ii}(0) = 1, \quad p_{ij}(0) = 0 (j \neq i) . \]

对\(j=i\)，(5.21)变成 \[\begin{aligned} p_{ii}'(t) =& \lambda p_{i+1,i}(t) - \lambda p_{ii}(t), \end{aligned}\] 其中\(p_{i+1,i}(t)=0\)故 \[ p_{ii}'(t) = -\lambda p_{ii}(t) . \] 记\(f(t) = p_{ii}(t)\)，则 \[\begin{aligned} f'(t) =& -\lambda f(t) ,\\ f(0) =& 1 . \end{aligned}\] 将方程化为 \[ \frac{d}{dt} \log f(t) = -\lambda, \] 则有 \[ f(t) = C e^{-\lambda t}, \] 由\(f(0)=1\)知\(C=1\)， 所以\(f(t) = e^{-\lambda t}\)， 即 \[ p_{ii}(t) = e^{-\lambda t} . \]

对\(j = i+1\)，(5.21)变成 \[\begin{aligned} p_{i,i+1}'(t) =& \lambda p_{i+1,i+1}(t) - \lambda p_{i,i+1}(t) \\ =& \lambda e^{-\lambda t} - \lambda p_{i,i+1}(t) . \end{aligned}\] 记\(f(t) = p_{i,i+1}(t)\), 则 \[\begin{aligned} \begin{cases} f'(t) = \lambda e^{-\lambda t} - \lambda f(t), \\ f(0) = 0, \end{cases} \end{aligned}\] 变换得 \[\begin{aligned} f'(t) + \lambda f(t) =& \lambda e^{-\lambda t}, \\ f'(t) e^{\lambda t} + f(t) \cdot \lambda e^{\lambda t} =& \lambda, \\ \frac{d}{dt} [ f(t) e^{\lambda t} ] =& \lambda, \\ f(t) e^{\lambda t} =& c_1 + \lambda t, \\ f(t) =& c_1 e^{-\lambda t} + \lambda t e^{-\lambda t}, \end{aligned}\] 利用\(f(0)=0\)得\(c_1=0\)，于是 \[\begin{aligned} f_{i,i+1} =& \lambda t e^{-\lambda t} . \end{aligned}\]

对\(j=i+2, i+3, \dots\)递推猜测有一般公式 \[\begin{align} p_{i,i+k}(t) = \frac{(\lambda t)^k}{k!} e^{-\lambda t}, \ k=0,1,2,\dots, \tag{5.22} \end{align}\] 归纳地，设(5.22)对\(k\)成立， 只要证明对\(k+1\)成立。 事实上当\(j=k+1\)时利用(5.21)式有 \[\begin{aligned} p_{i,i+k+1}'(t) =& \lambda p_{i+1,i+k+1}(t) - \lambda p_{i,i+k+1}(t) \\ =& \lambda \frac{(\lambda t)^k}{k!} e^{-\lambda t} - \lambda p_{i,i+k+1}(t), \end{aligned}\] 记\(f(t) = p_{i,i+k+1}(t)\)，有 \[ f'(t) = \lambda \frac{(\lambda t)^k}{k!} e^{-\lambda t} - \lambda f(t) . \] 变换得 \[\begin{aligned} f'(t) + \lambda f(t) =& \lambda \frac{(\lambda t)^k}{k!} e^{-\lambda t} ,\\ f'(t) e^{\lambda t} + f(t) \lambda e^{\lambda t} =& \lambda \frac{(\lambda t)^k}{k!}, \\ \frac{d}{dt} [ f(t) e^{\lambda t}] =& \frac{\lambda^{k+1} t^k}{k!}, \\ f(t) e^{\lambda t} =& c_1 + \frac{(\lambda t)^{k+1}}{(k+1)!}, \\ f(t) =& c_1 e^{-\lambda t} + \frac{(\lambda t)^{k+1}}{(k+1)!} e^{-\lambda t}, \end{aligned}\] 由\(f(0)=0\)得\(c_1=0\)， 于是 \[ p_{i,i+k+1}(t) = \frac{(\lambda t)^{k+1}}{(k+1)!} e^{-\lambda t} . \]

注意：对泊松过程， \[ p_{i,i+k}(t) = P(N(t+s) - N(s) = k | N(s) = i), \ k=0,1,2,\dots \] 为参数\(\lambda t\)的泊松分布的概率分布列。

○○○○○○

例5.33 (Yule过程) 类似泊松过程， 给出Yule过程\(\{X(t), t \geq 0\}\)的转移概率.

解：

Yule过程是纯生过程， 当\(X(t)=i\)时出生一个个体的速率为\(i\lambda\)。 这时类似于例5.32的泊松过程， 只是速率参数有变化，所以由 \[\begin{aligned} \begin{cases} p_{k,j}(h) = 0, & j < k; \\ p_{k,j}(h) = o(h), & j - k \geq 2; \\ p_{k, k+1}(h) = k \lambda h + o(h); \\ p_{k, k}(h) = 1 - k \lambda h + o(h) \end{cases} \end{aligned}\] 得到 \[\begin{aligned} \begin{cases} q_{kj} = 0, & j < k \text{ 或 } j \geq k+2; \\ q_{k,k+1} = \lim_{h\to 0} \frac{p_{k, k+1}(h)}{h} = k \lambda ; &\\ q_{kk} = \lim_{h\to 0} \frac{1 - p_{k, k}(h)}{h} = k \lambda . \end{cases} \end{aligned}\]

利用Kolmogorov向前方程， \[\begin{aligned} p_{ij}'(t) =& \sum_{k\neq j} p_{ik}(t) q_{kj} - p_{ij}(t) q_{jj}, \end{aligned}\] 上式求和中仅\(k = j-1\)的项非零，故 \[\begin{align} p_{ij}'(t) =& p_{i,j-1}(t) q_{j-1,j} - p_{ij}(t) q_{jj} \\ =& (j-1) \lambda p_{i,j-1}(t) - j \lambda p_{ij}(t) . \tag{5.23} \end{align}\]

因为\(p_{ij}(t) = 0\)对\(j<i\)， 所以只需要求解\(j \geq i\)的情形。 并注意 \[ p_{ii}(0) = 1, \quad p_{ij}(0) = 0 (j \neq i) . \] 对\(j=i\)， 由\(p_{i,i-1}(t)=0\)，(5.23)变成 \[ p_{ii}'(t) = -i\lambda p_{ii}(t), \] 于是由\(p_{ii}(0)=1\)解得 \[ p_{ii}(t) = e^{-i \lambda t} . \]

对\(j=i+1\)，代入(5.23)得 \[\begin{aligned} p_{i,i+1}'(t) =& i\lambda p_{ii}(t) - i\lambda p_{i,i+1}(t) \\ =& i\lambda e^{-i \lambda t} - (i+1)\lambda p_{i,i+1}(t) . \end{aligned}\] 记\(f(t) = p_{i,i+1}(t)\)， 则 \[ f'(t) = i\lambda e^{-i \lambda t} - (i+1) \lambda f(t) . \] 变换得 \[\begin{aligned} f'(t) + (i+1) \lambda f(t) =& i\lambda e^{-i \lambda t}, \end{aligned}\] 两边乘以\(e^{(i+1) \lambda t}\)，得 \[\begin{aligned} \frac{d}{dt}[f(t) e^{(i+1) \lambda t}] =& i\lambda e^{\lambda t},\\ f(t) e^{(i+1) \lambda t} =& c_1 + i e^{\lambda t}, \end{aligned}\] 由\(f(0)=0\)得\(c_1 = -i\)， 于是 \[ p_{i,i+1}(t) = f(t) = i e^{-i \lambda t} [1 - e^{-\lambda t}] . \]

对\(j=i+2, i+3, \dots\)递推猜测有一般公式 \[\begin{align} p_{ij}(t) = \binom{j-1}{i-1} e^{-i \lambda t}[1 - e^{-\lambda t}]^{j-i}, j-i=0,1,2,\dots, \tag{5.24} \end{align}\] 用归纳法只要证明(5.24)对\(j\)成立则对\(j+1\)成立。 由(5.23)得 \[\begin{aligned} p_{i,j+1}'(t) =& j \lambda p_{ij}(t) - (j+1) \lambda p_{i,j+1}(t) \\ =& j \lambda \binom{j-1}{i-1} e^{-i \lambda t}[1 - e^{-\lambda t}]^{j-i} - (j+1) \lambda p_{i,j+1}(t), \end{aligned}\] 记\(f(t) = p_{i,j+1}(t)\)， 则 \[ f'(t) + (j+1) \lambda f(t) = \frac{j!}{(i-1)!(j-i)!} \lambda e^{-i \lambda t}[1 - e^{-\lambda t}]^{j-i}, \] 两边乘以\(e^{(j+1) \lambda t}\)，得 \[\begin{aligned} \frac{d}{dt}[f(t) e^{(j+1) \lambda t}] =& \frac{j!}{(i-1)!(j-i)!} \lambda e^{(j-i+1) \lambda t}[1 - e^{-\lambda t}]^{j-i} \\ =& \frac{j!}{(i-1)!(j-i)!} \lambda e^{\lambda t} [e^{\lambda t} (1 - e^{-\lambda t})]^{j-i} \\ =& \frac{j!}{(i-1)!(j-i)!} \lambda e^{\lambda t} \\ [e^{\lambda t} - 1]^{j-i} =& \frac{j!}{(i-1)!(j-i)!} \frac{1}{j-i+1} \frac{d}{dt}[[e^{\lambda t} - 1]^{j-i+1}], \end{aligned}\] 于是 \[\begin{aligned} f(t) e^{(j+1) \lambda t} =& c_1 + \frac{j!}{(i-1)!(j-i+1)!} [e^{\lambda t} - 1]^{j-i+1} \\ =& c_1 + \binom{j}{i-1} e^{(j-i+1) \lambda t}[1 - e^{-\lambda t}]^{j-i+1}, \\ f(t) =& c_1 e^{-(j+1) \lambda t} + \binom{j}{i-1} e^{-i\lambda t}[1 - e^{-\lambda t}]^{j-i+1}, \end{aligned}\] 由\(f(0)=0\)得\(c_1=0\)， 结果得证。

○○○○○○

例5.34 (生灭过程) 导出生灭过程的Kolmogorov微分方程。

解：

对生灭过程， \[\begin{aligned} p_{ij}(h) = \begin{cases} i \lambda h + o(h), & j=i+1, \\ i \mu h + o(h), & j=i-1, \\ (i \lambda + i\mu)h + o(h), & j=i, \\ o(h), & |j-i| \geq 2, \end{cases} \end{aligned}\] 于是 \[\begin{aligned} \begin{cases} q_{i,i+1} = i \lambda, \\ q_{i,i-1} = i \mu, \\ q_{ii} = i\lambda + i\mu, \\ q_{ij} = 0, & j \neq i, i \pm 1 . \end{cases} \end{aligned}\]

当状态\(i=0\)时为吸收状态， \(p_{00}(t)=1\), \(p_{0j}(t) = 0\)(\(j\neq i\))。

按向后方程，对\(i \geq 1\)，\(j \geq 0\)，有 \[\begin{aligned} p_{ij}'(t) =& \sum_{k\neq i} q_{ik} p_{kj}(t) - q_{ii} p_{ij}(t) \\ & \qquad\text{(仅} k = i\pm 1 \text{时非零)} \\ =& q_{i,i-1} p_{i-1,j}(t) + q_{i,i+1} p_{i+1,j}(t) - q_{ii} p_{ij}(t) \\ =& i\mu p_{i-1,j}(t) + i\lambda p_{i+1,j}(t) - (i\lambda + i\mu) p_{ij}(t) . \end{aligned}\]

用向前方程， 当\(i \geq 1\), \(j \geq 1\)时 \[\begin{aligned} p_{ij}'(t) =& \sum_{k\neq j} p_{ik}(t) q_{kj} - p_{ij}(t) q_{jj} \\ & \qquad\text{(仅} k = j\pm 1 \text{时非零)} \\ =& q_{j-1,j} p_{i,j-1}(t) + q_{j+1,j} p_{i,j+1}(t) - q_{jj} p_{ij}(t) \\ =& (j-1) \lambda p_{i,j-1}(t) + (j+1) \mu p_{i,j+1}(t) - (j \lambda + j \mu) p_{ij}(t), \end{aligned}\] 当\(i \geq 1\), \(j=0\)时， 方程中仅\(k=1\)的求和项非零且\(j\lambda + j\mu=0\)， 这时 \[ p_{i0}'(t) = \mu p_{i1}(t) . \]

○○○○○○

5.6 连续时间连续状态的马氏过程

定义5.17 设\(\{X(t), \mathscr F(t), t \geq 0 \}\)是概率空间\((\Omega, \mathscr F, P)\)上的适应过程， 如果对任意有界Borel函数\(g(x)\)，有 \[ E(g(X(t)) | \mathscr F(s)) = E(g(X(t)) | X(s)), \ \forall 0 \leq s < t , \] 则称\(\{X(t), \mathscr F(t), t \geq 0 \}\)为马氏过程。

对马氏过程\(\{X(t), \mathscr F(t), t \geq 0 \}\)， 函数 \[ F(s, t; x, y) = P(X(t) \leq y | X(s) = x), \ 0 \leq s < t, \ x, y \in \mathbb R \] 称为过程的转移概率分布； 如果存在非负函数\(f(s, t; x, y)\)使得 \[ F(s, t; x, y) = \int_{-\infty}^y f(s, t; x, u) \,du, \] 则称\(f(s, t; x, y)\)为过程的转移概率密度。 如果\(F(s, t; x, y) = F(0, t-s; x, y)\)， 则称过程是时齐的， 记\(F(0, \tau; x, y)\)为\(F(\tau; x, y)\)， 对时齐马氏过程， 若转移概率密度存在则记为\(f(\tau; x, y)\)。

关于时间集合为\(T\)， 取值空间为\(S\)的关于\(\mathscr F(t)\)适应的马氏过程\(\{X(t), \mathscr F(t), t \in T \}\)， 也可以如上定义。 可以证明， 存在函数族\(\{ p(s, t; x, A): s < t, x \in \mathbb R, A \in \mathcal{B}(\mathbb R) \}\), 满足：

• (1) 对于任意\(A \in \mathcal{B}(\mathbb R)\)，\(p(s, t; x, A)\)关于\(x\)为Borel函数；
• (2) 对于任意\(x \in \mathbb R\), \(p(s, t; x, A)\)关于\(A\)是\(\mathcal{B}(\mathbb R)\)上的概率测度；
• (3) 对于任意的有界Borel函数\(g\)， \[ E[g(X(t)) | \mathscr F(s)] = E[g(X(t)) | X(s)] = \int_{\mathbb R} g(y) p(s, t; X(s), dy) . \] 称函数族\(\{ p(s, t; x, A): s < t, x \in \mathbb R, A \in \mathcal{B}(\mathbb R) \}\)为马氏过程\(\{ X(t), \mathscr F(t), t \in T \}\)的转移概率族。 若\(p(s, t; x, A) = p(0, t-s; x, A)\)恒成立， 则称此马氏过程为时齐的， 记转换概率函数为\(p(\tau; x, A)\)。 如果状态空间\(S\)是\(\mathbb R\)的区间， 且对给定\(s, t, x\)， \(p(s, t; x, A)\)关于\(A\)有密度\(f(s, t; x, y)\)， 则称\(f(s, t; x, y)\)为转移概率密度，这时 \[ E[g(X(t)) | \mathscr F(s)] = E[g(X(t)) | X(s)] = \int_{\mathbb R} g(y) f(s, t; X(s), y) \,dy. \]

例5.35 设\((\Omega, \mathscr F, \mathscr F(t), t \geq 0, P)\)是带有子\(\sigma\)代数流的概率空间， \(\{X(t) \}\)为关于\(\{\mathscr F(t) \}\)的马氏过程，状态空间为\(\mathbb R\)， 转移概率分布族为\(\{ p(s,t; x, A) \}\)， 若转移概率分布族满足空间不变性： \[ p(s, t; x, A) = p(s, t; x+y, A + y), \ \forall s<t, A, y, \] 其中\(A + y = \{x+y: x \in A \}\)， 则\(\{X(t) \}\)为独立增量过程。

见(刘勇 2022)第二章。

证明： 对任意\(A \in \mathcal{B}(\mathbb R)\)， \[\begin{aligned} & E[ I_A(X(t) - X(s)) | \mathscr F(s)] \\ =& E[ I_A(X(t) - z) | \mathscr F(s)] \Big|_{z = X(s)} \\ =& E[ I_{A+z}(X(t)) | \mathscr F(s)] \Big|_{z = X(s)} \\ =& \int_{\mathbb R} I_{A+z}(y) p(s,t; X(s), dy) \Big|_{z = X(s)} \\ =& p(s, t; X(s), A+z) \Big|_{z = X(s)} \\ =& p(s, t; X(s), A+X(s)) \\ =& p(s, t; 0, A) . \end{aligned}\] 结果与\(X(s)\)无关。由此， \[\begin{aligned} & P(X(t) - X(s) \in A) \\ =& E[ I_A(X(t) - X(s))] \\ =& E \left\{ E[ I_A(X(t) - X(s)) | \mathscr F(s)] \right\} \\ =& p(s,t; 0, A) . \end{aligned}\]

来证明\(X(t)-X(s)\)与\(\mathscr F(s)\)独立。 \(\forall A \in \mathcal B(\mathbb R)\)， \(B \in \mathscr F\)， \[\begin{aligned} & P( \{(X(t)-X(s) \in A\} \cap B) \\ =& E [ I_A(X(t)- X(s)) I_B(\omega)] \\ =& E \left\{ E [ I_A(X(t)- X(s)) I_B(\omega) | \mathscr F(s)] \right\} \\ =& E \left\{ I_B(\omega) \cdot E [ I_A(X(t)- X(s)) | \mathscr F(s)] \right\} \\ =& E \left\{ I_B(\omega) p(s,t; 0, A) \right\} \\ =& p(s,t; 0, A) E[I_B(\omega)] \\ =& P(X(t)-X(s) \in A) P(B), \end{aligned}\] 这就证明了\(\{X(t), \mathscr F(t) \}\)是独立增量过程。 注意这里的独立增量过程比原来的定义略强， 需要\(X(t)-X(s)\)与\(\mathscr F(s)\)独立， \(\mathscr F(s)\)是包含\(\sigma(X(u), u \in [0,s])\)的。

○○○○○○

5.7 补充

5.7.1 级数的极限定理

考虑\(\lim_{n\to \infty} \sum_{i=1}^\infty a_i^{(n)}\)的极限与求和号交换问题。 因为级数是Riemann-Stieljes积分的特例， 也可以看成关于点测度的Lebesgue积分， 所以积分的收敛定理仍成立。

引理5.2 (级数的单调收敛) 设\(\{ \pi_i \geq 0, i=1,2,\dots \}\)， \[ 0 \leq a_i^{(n)} \leq a_i^{(n+1)}, \ i=1,2,\dots, \ n = 1,2,\dots, \] 且 \[ \lim_{n\to\infty} a_i^{(n)} = a_i , \] 则 \[ \lim_{n\to\infty} \sum_{i=1}^\infty \pi_i a_i^{(n)} = \sum_{i=1}^\infty \pi_i a_i . \]

引理5.3 (级数的Fatou引理) 设\(\{ \pi_i \geq 0, i=1,2,\dots \}\)， 若 \[ \lim_{n\to\infty} a_i^{(n)} = a_i , i=1,2,\dots, \] 则 \[ \varliminf_{n\to\infty} \sum_{i=1}^\infty \pi_i a_i^{(n)} \geq \sum_{i=1}^\infty \pi_i a_i . \]

引理5.4 (级数的控制收敛定理) 设\(\{ a_i^{(n)} \}\)满足 \[ |a_i^{(n)}| \leq b_i, \ \forall i, \ \forall n, \] 其中\(\sum_{i=1}^\infty b_i < \infty\)， 且\(\lim_{n\to\infty} a_i^{(n)} = a_i\), \(\forall n\)， 则 \[ \lim_{n\to\infty} \sum_{i=1}^\infty a_i^{(n)} =\sum_{i=1}^\infty a_i . \]

证明：

\(\forall \epsilon > 0\), \(\exists N_1\)使得 \[ \sum_{i=N_1+1}^\infty b_i < \frac{\epsilon}{2}, \] 从而 \[ \sum_{i=N_1+1}^\infty |a_i^{(n)}| < \frac{\epsilon}{4} . \] 由条件可知\(|a_i| = \lim_n |a_i^{(n)}| \leq b_i\)， 从而 \[ \sum_{i=N_1+1}^\infty |a_i| < \frac{\epsilon}{4} . \]

对\(\sum_{i=1}^{N_1} a_i^{(n)}\)， 存在\(N_2 > N_1\)使得\(n > N_2\)时 \[ \sum_{i=1}^{N_1} |a_i^{(n)} - a_i| < \frac{\epsilon}{2} . \] 于是\(n > N_2\)时 \[\begin{aligned} & \sum_{i=1}^\infty |a_i^{(n)} - a_i| \\ =& \sum_{i=1}^{N_1} |a_i^{(n)} - a_i| + \sum_{i=N_1+1}^\infty |a_i^{(n)} - a_i| \\ \leq& \frac{\epsilon}{2} + \sum_{i=N_1+1}^\infty |a_i^{(n)}| + \sum_{i=N_1+1}^\infty |a_i| \\ < \epsilon . \end{aligned}\] 即 \[ \lim_{n\to\infty} \sum_{i=1}^\infty |a_i^{(n)} - a_i| = 0, \] 从而 \[\begin{aligned} & \lim_{n\to\infty}\left| \sum_{i=1}^\infty a_i^{(n)} - \sum_{i=1}^\infty a_i \right| \\ \leq& \lim_{n\to\infty} \sum_{i=1}^\infty |a_i^{(n)} - a_i| = 0 . \end{aligned}\]

○○○○○○

控制收敛定理的另一种叙述是： 若\(\{\pi_j \geq 0\}\)， \(|a_i^{(n)}| \leq c\), \(\forall i, n\)， 则 \[ \lim_{n\to\infty} \sum_{i=1}^\infty \pi_i a_i^{(n)} = \sum_{i=1}^\infty \pi_i a_i . \] 当\(\sum_j \pi_j = 1\)时即引理5.4。

5.7.2 定理5.12证明

这里给出定理5.12在无限链情形下的证明。 不妨设状态空间\(S = \{ 1, 2, \dots \}\)。

(1) 对遍历的马氏链， 由定理5.8知 \[ \lim_{n \to \infty}p^{(n)}_{ij} = \frac{1}{\mu_j} > 0 , \] 记为\(\pi_j\). 于是极限分布存在（极限分布存在则必唯一）。

先证明\(\{\pi_j, j \in S \}\)是平稳分布， 这要证明 \[\begin{align} \sum_{j\in S} \pi_j = 1, \tag{5.25} \end{align}\] 和 \[\begin{align} \pi_j = \sum_{i \in S} \pi_i p_{ij} , \ \forall j \in S. \tag{5.26} \end{align}\] 然后再来证明\(\{\pi_j \}\)是唯一的平稳分布。

对任意\(n, M\)有 \[ 1 = \sum_{j \in S} p_{ij}^{(n)} \geq \sum_{j=1}^M p_{ij}^{(n)} . \] 固定\(M\)令\(n \to \infty\)得 \[ \sum_{j=1}^M \pi_j \leq 1, \] 从而 \[\begin{align} \sum_{j \in S} \pi_j \leq 1 . \tag{5.27} \end{align}\] 这说明级数\(\sum_{j \in S} \pi_j\)收敛。

下面证明 \[\begin{align} \pi_j \geq \sum_{i \in S} \pi_i p_{ij}^{(n)}, \ \forall j \in S, \ n \geq 1 . \tag{5.28} \end{align}\] 用归纳法。 由C-K方程， \[\begin{aligned} p_{ij}^{(n+1)} =& \sum_{l \in S} p_{il}^{(n)} p_{lj} \\ \geq& \sum_{l=1}^M p_{il}^{(n)} p_{lj}, \end{aligned}\] 固定\(M\)令\(n \to \infty\)则得 \[ \pi_j \geq \sum_{l=1}^M \pi_l p_{lj}, \] 于是 \[\begin{align} \pi_j \geq \sum_{l \in S} \pi_l p_{lj} = \sum_{i \in S} \pi_i p_{ij}^{(1)}, \tag{5.29} \end{align}\] 即(5.28)对\(n=1\)成立。 设(5.28)对\(n\)成立， 来证明(5.28)对\(n+1\)成立。 在(5.28)两边乘以\(p_{jk}\)并关于\(j\)求和， 得 \[\begin{align} & \sum_{j \in S} \pi_j p_{jk} \\ \geq& \sum_{j \in S} \sum_{i \in S} \pi_i p_{ij}^{(n)} p_{jk} \\ =& \sum_{i \in S} \pi_i \sum_{j \in S} p_{ij}^{(n)} p_{jk} \\ =& \sum_{i \in S} \pi_i p_{ik}^{(n+1)} . \tag{5.30} \end{align}\] 由(5.29)可知(5.30)左边满足 \[ \pi_k \geq \sum_{j \in S} \pi_j p_{jk}, \] 于是(5.30)变成 \[\begin{align} \pi_k =& \sum_{i \in S} \pi_i p_{ik}^{(n+1)} . \tag{5.31} \end{align}\] 即(5.28)对\(n+1\)成立。 由数学归纳法知(5.28)成立。

下面证明(5.28)只有等号成立。 如果不然， 设存在\(n \geq 1\)和\(j_0 \in S\)使得 \[ \pi_j > \sum_{i \in S} \pi_i p_{ij}^{(n)}, \ j = j_0, \] 则上式关于\(j\)求和，得 \[\begin{aligned} \sum_{j \in S} \pi_j >& \sum_{j \in S} \sum_{i \in S} \pi_i p_{ij}^{(n)} \\ =& \sum_{i \in S} \pi_i \sum_{j \in S} p_{ij}^{(n)} \\ =& \sum_{i \in S} \pi_i, \end{aligned}\] 矛盾。所以有 \[\begin{align} \pi_j = \sum_{i \in S} \pi_i p_{ij}^{(n)}, \ \forall j \in S, \ n \geq 1 . \tag{5.32} \end{align}\]

因\(\pi_i p_{ij}^{(n)} \leq \pi_i\)，\(\sum_{i \in S} \pi_i < \infty\)（见(5.27)）， 由引理5.4可知极限与求和号可交换， 有 \[ \pi_j = \sum_{i \in S} \pi_i \pi_j = \pi_j (\sum_{i \in S} \pi_i), \] 由\(0 < \pi_j < \infty\)可知 \[ \sum_{i \in S} \pi_i = 1 . \] 即(5.25)成立。 在(5.32)中取\(n=1\)就得到了(5.26)， 所以\(\{ \pi_j \}\)是平稳分布。

下面证明\(\{ \pi_j \}\)是是唯一的平稳分布。 若存在离散分布\(\{ \tilde\pi_j \}\)也满足 \[\begin{align} & \sum_{j \in S} \tilde \pi_j = 1, \\ & \tilde\pi_j = \sum_{i \in S} \tilde\pi_i p_{ij}, \ \forall j \in S . \tag{5.33} \end{align}\] 类似于上面关于(5.28)的证明， 可以得到 \[\begin{align} \tilde \pi_j = \sum_{i \in S} \tilde \pi_i p_{ij}^{(n)}, \ \forall j \in S, \ n \geq 1 . \tag{5.34} \end{align}\] \(n=1\)时即(5.33)。 归纳地，设(5.34)对\(n\)成立， 在(5.34)两边乘以\(p_{jk}\)并对\(j\)求和， 得 \[\begin{aligned} \tilde \pi_k =& \sum_{j \in S} \tilde\pi_j p_{jk} = \sum_{j \in S} \sum_{i \in S} \tilde\pi_i p_{ij}^{(n)} p_{jk} \\ =& \sum_{i \in S} \tilde\pi_i \sum_{j \in S} p_{ij}^{(n)} p_{jk} = \sum_{i \in S} \tilde\pi_i p_{ik}^{(n+1)} , \end{aligned}\] 由归纳法知(5.34)成立。 在(5.34)中令\(n \to \infty\)， 由引理5.4可知极限与求和号可交换， 得 \[\begin{aligned} \tilde\pi_j =& \sum_{i\in S} \tilde \pi_i \pi_j = \pi_j \sum_{i\in S} \tilde \pi_i = \pi_j . \end{aligned}\] 所以\(\{\pi_j \}\)是唯一平稳分布。

(2) 如果所有状态都是非常返或者零常返的， 则由定理5.8， \[ \lim_{n\to\infty} p_{ij}^{(n)} = 0, \ \forall i, j \in S . \] 如果存在平稳分布\(\{ \pi_j \geq 0 \}\)， 由(5.34)可知 \[ \pi_j = \sum_{i \in S} \pi_i p_{ij}^{(n)}, \ \forall j \in S, \ n \geq 1 . \] 令\(n \to \infty\)， 由引理5.4可知极限与求和号可交换，于是 \[ \pi_j = \sum_{i \in S} \pi_i \cdot 0 = 0, \] 这与\(\sum_{j \in S} = 1\)矛盾， 所以所有状态都是非常返或者零常返时不存在平稳分布。

○○○○○○

5.7.3 强马氏性

设\(\tau\)是取值于\(\{0, 1, 2, \dots \} \cup \{\infty\}\)的广义随机变量， \(\{X_n, n=0,1,2,\dots \}\)是马氏链， 若\(\{ \tau = n \}\)可以被\(X_0, X_1, \dots, X_n\)的值确定， 则称\(\tau\)是关于\(\{X_n \}\)的一个停时。 即选择一个时间停止对\(\{X_n \}\)的观测， 如果能够用截止到\(n\)为止的观测值决定是否停止观测， 就是一个停时。

定义5.18 \(\{X_n, n=0,1,2,\dots \}\)是马氏链， 状态空间为\(S\)， 设\(\tau\)是取值于\(\{0, 1, 2, \dots \} \cup \{\infty\}\)的广义随机变量， 如果对任意\(n \geq 0\)和\(i_0, i_1, \dots, i_n \in S\)， 下面两种情况中必有一种成立： \[\begin{aligned} & \{X_0 = i_0, X_1 = i_1, \dots, X_n = i_n \} \subset \{ \tau \leq n \}; \\ & \{X_0 = i_0, X_1 = i_1, \dots, X_n = i_n \} \subset \{ \tau > \}, \end{aligned}\] 则称\(\tau\)是\(\{X_n\}\)的一个停时。

定理5.24 \(\{X_n, n=0,1,2,\dots \}\)是马氏链， 转移概率矩阵为\(P\)， 设\(\tau\)是\(\{X_n \}\)的一个停时。 当\(\tau < \infty\)时， 定义\(Y_n = X_{\tau + n}\), \(n \geq 0\)。 则在\(\tau < n\)，\(X_{\tau} = i\)的条件下, \(\{Y_n, n \geq 0 \}\)是一个从\(i\)出发， 以\(P\)为转移概率矩阵的马氏链， 且它与\(\{X_0, X_1, \dots, X_{\tau}\}\)独立。

参见(钱敏平 et al. 2011) P.48定理1.12.3。 显然\(\tau \equiv n\)是停时， 强马氏性推出马氏性； 上述定理说明马氏性也推出强马氏性。 强马氏性说明从任何一个停时重新出发仍是一个转移概率相同的马氏链且与历史独立。

参考文献

Ross, Sheldon M. 2019. Introduction to Probability Models. 12th ed. Academic Press. https://doi.org/https://doi.org/10.1016/C2017-0-01324-1.

———. 2008. 随机过程. 北京大学出版社.

何声武. 1999. 随机过程导论. 高等教育出版社.

刘勇. 2022. 应用随机分析. https://www.math.pku.edu.cn/teachers/liuyong/asa/lectnote22.pdf.

林元烈. 2002. 应用随机过程. 清华大学出版社.

钱敏平, 龚光鲁, 陈大岳, and 章复熹. 2011. 应用随机过程. 高等教育出版社.