2 随机过程的基本概念和基本类型
2.1 基本概念
定义2.1 随机过程是概率空间\((\Omega, {\mathscr F}, P)\)上的一族随机变量\(\{X(t), t \in T\}\)， 其中\(t\)是参数，它属于某个指标集\(T\), \(T\)称为参数集.
注：
- 当\(T=\{0,1,2,\cdots \}\)时称之为随机序列或时间序列.
- 参数\(t\)经常被解释为时间。
- 随机过程\(\{X(t, \omega), t \in T, \omega \in \Omega\}\)是定义在\(T\times \Omega\)上的二元函数, 但仅要求对每个\(t \in T\)，\(X(t)\)是随机变量； 仅在某些情景下才要求\(X(t,\omega)\)是二元可测的。
- 参数空间\(T\)是向量集合时，随机过程\(\{X(t), t \in T\}\)称为随机场.
\(X(t)\)表示系统在时刻\(t\)所处的状态. \(X(t)\)的所有可能状态构成的集合为状态空间，记为\(S\). 一般如果不作说明都认为状态空间是实数集\(\mathbb R\)或\(\mathbb R\)的子集.
随机过程的分类:
（1）依照状态空间可分为连续状态和离散状态；
（2）依照参数集，可分为离散参数过程和连续参数过程。
例2.1 (随机游动) 一个醉汉在路上行走，以概率\(p\)前进一步， 以概率\(1-p\)后退一步（假定其步长相同）. 以\(X(t)\)记他在路上的位置， 则\(X(t)\)就是直线上的随机游动.
例2.2 (布朗运动) 英国植物学家布朗注意到飘浮在液面上的微小粒子不断进行无规则的运动, 这种运动后来称为布朗运动. 它是分子大量随机碰撞的结果. 若记\((X(t),Y(t))\)为粒子在平面坐标上的位置， 则它是平面上的布朗运动.
例2.3 (排队模型) 顾客来到服务站要求服务. 当服务站中的服务员都忙碌， 即服务员都在为别的顾客服务时， 来到的顾客就要排队等候. 顾客的到来、每个顾客所需的服务时间都是随机的， 所以如果用\(X(t)\)表示\(t\)时刻的队长， 用\(Y(t)\)表示\(t\)时刻到来的顾客所需的等待时间， 则\(\{X(t), t \in T\}\), \(\{Y(t), t \in T\}\)都是随机过程.
2.2 有限维分布与Kolmogorov定理
定义2.2 对任意有限个\(t_1, \dots, t_n \in T\)， 定义随机过程的\(n\)维分布\(F_{t_1, \dots, t_n}(x_1, \dots, x_n)\)： \[ F_{t_1, \dots, t_n}(x_1, \dots, x_n) = P(X(t_1) \leq x_1, \dots, X(t_n) \leq x_n). \] 随机过程的所有的一维分布，二维分布，……，\(n\)维分布等等的全体 \[ \{ F_{t_1, \dots, t_n}(x_1, \dots, x_n):\; t_1, \dots, t_n \in T, n \geq 1 \} \] 称为随机过程\(\{X(t), t \in T\}\)的有限维分布族.
注： 知道了随机过程的有限维分布族就知道了\(\{X(t), t \in T\}\)中任意\(n\)个随机变量的联合分布， 也就掌握了这些随机变量之间的相互依赖关系. 但是， 对于连续参数的随机过程， 如果考虑涉及到一个区间上的随机过程的事件概率， 因为涉及到无穷且不可数个随机变量共同的事件概率， 仅有限维分布族不能完全确定这些事件的概率， 通常需要对随机过程添加一些额外的要求， 比如轨道连续，均方连续等。
例2.4 本例来自Karlin and Taylor “A First Course in Stochastic Process”节1.3. 设\(U \sim U(0,1)\)， 随机过程\(\{X_t, t \in [0,1] \}\)和\(\{Y_t, t \in [0,1] \}\)定义如下： \[ X_t = \begin{cases} 1, & t = U , \\ 0, & \text{其它}. \end{cases} \] \[ Y_t = 0, \ \forall t \in [0, 1] . \] 则\(\{X_t \}\)与\(\{ Y_t \}\)的有限维分布相同。 但事件 \[ A = \{X_t \leq 0.5, \ t \in [0,1] \} \] 概率为0， 事件 \[ B = \{Y_t \leq 0.5, \ t \in [0,1] \} \] 概率为1.
分布族的性质:
（1）对称性： 对\((1,2,\dots,n)\)的任一排列\((j_1, j_2, \dots, j_n)\)，有 \[\begin{aligned} & F_{t_{j_1}, \dots, t_{j_n}}(x_{j_1}, \dots, x_{j_n}) \\ =& P(X(t_{j_1}) \leq x_{j_1}, \dots, X(t_{j_n}) \leq x_{j_n}) \\ =& P(X(t_1) \leq x_1, \dots, X(t_n) \leq x_n) \\ =& F_{t_1, \dots, t_n}(x_1, \dots, x_n). \end{aligned}\]
（2）相容性： 对于 \(m < n\)，有 \[ F_{t_1, \dots, t_m, t_{m+1}, \dots, t_n} (x_1, \dots, x_m, \infty, \dots, \infty) = F_{t_1, \dots, t_m}(x_1, \dots, x_m). \]
定理2.1 (Kolmogorov存在性定理) 设有限维分布函数\(\{F_{t_1, \dots, t_n}(x_1, \dots, x_n):\; t_1, \dots, t_n \in T, n \geq 1\}\)满足上述的对称性和相容性， 则必存在一个随机过程\(\{X(t), t \in T\}\)，使 \[ \{F_{t_1, \dots, t_n}(x_1, \dots, x_n):\; t_1, \dots, t_n \in T, n \geq 1\} \] 恰好是\(\{X(t), t \in T\}\)的有限维分布族.
证明略。
定义2.3 (高斯过程) 若随机过程\(\{ X(t), t \in T \}\)的所有有限维分布都是多元正态分布， 则称\(\{X(t) \}\)为高斯过程。
注：随机过程的有限维分布族是随机过程概率特征的完整描述, 它是证明随机过程存在性的有力工具. 但是在实际问题中， 要知道随机过程的全部有限维分布是不可能的， 因此， 人们想到了用随机过程的某些数字特征来刻画随机过程.
定义2.4 设\(\{X(t), t \in T\}\)是一随机过程.
（1）称\(X(t)\)的期望\(\mu_X(t) = E[X(t)]\)为过程的均值函数(如果存在的话).
（2）如果\(\forall t \in T\), \(E[X^2(t)]\)存在， 则称随机过程\(\{X(t), t \in T \}\)为二阶矩过程. 此时，称函数\(\gamma(t_1, t_2) = E[(X(t_1)-\mu_X(t_1))(X(t_2)-\mu_X(t_2))]\), \(t_1, t_2 \in T\) 为过程的协方差函数； 称\(\text{Var}[X(t)] = \gamma(t,t)\)为过程的方差函数.
由Schwartz不等式知， 二阶矩过程的协方差函数存在。
有些教材还定义如下的相关函数： \[ R(t_1, t_2) = E[X(t_1) X(t_2)] = \gamma(t_1, t_2) + \mu_X(t_1) \mu_X(t_2) . \]
协方差函数\(\gamma(s, t)\)满足如下的性质：
（1）对称性：\(\gamma(s, t) = \gamma(t, s)\)；
（2）非负定性：对任意正整数\(n\)和任意\(t_1, \dots, t_n \in T\), 任意实数\(a_1, \dots, a_n\)，都有 \[ \sum_{i=1}^n \sum_{j=1}^n a_i a_j \gamma(t_i, t_j) \geq 0 . \]
例2.5 \(X(t)=X_0 + tV\), \(a \leq t \leq b\), 其中\(X_0\)和\(V\)是相互独立且服从\(N(0,1)\)分布的随机变量. 求均值函数和协方差函数。
解答： 由多元正态分布的性质可知\(X(t)\)服从正态分布， 且\(X(t_1), \dots, X(t_n)\)也是\(n\)维正态分布. 所以只要知道它的一阶矩和二阶矩就完全确定了它的分布. 每一条轨道是一条直线， 截距和斜率都是随机变量的值。
\[\begin{aligned} \mu_X(t) = E[X(t)] = E(X_0 + tV) = EX_0 + t EV =0 ,\\ \gamma(t_1, t_2) = E[X(t_1)X(t_2)] = E[(X_0 + t_1 V)(X_0 + t_2 V)] \\ = E[X_0^2] + t_1 t_2 E[V^2] = 1 + t_1 t_2. \end{aligned}\]
○○○○○○
高斯过程的有限维分布完全由其均值函数和协方差函数确定； 反过来，有如下存在性定理：
定理2.2 (高斯过程存在定理) 设\(\mu(t)\)，\(t \in T\)为实值函数， \(\gamma(s, t)\), \(s, t \in T\)为二元实值函数， 满足对称性与非负定性条件， 则存在高斯过程\(\{ X(t), t \in T\}\)使得\(\{ X(t) \}\)以\(\mu(t)\)为均值函数， 以\(\gamma(s,t)\)为协方差函数。
证明略， 参见(谢衷洁 1990) P.5。
定义2.5 设\(\{X(t), t \geq 0 \}\)和\(\{Y(t), t \geq 0 \}\)是两个随机过程。 若对任意的正整数\(n, m\)和任意的\(0 \leq t_1 < t_2 < \dots < t_n\)和\(0 \leq s_1 < s_2 < \dots < s_m\)， 随机向量\((X(t_1), X(t_2), \dots, X(t_n))\)与随机向量\((X(s_1), X(s_2), \dots, X(s_m))\)相互独立， 则称这两个随机过程相互独立。
命题2.1 设\(\{X(t), t \geq 0 \}\)和\(\{Y(t), t \geq 0 \}\)是两个随机过程。 若对任意的正整数\(n\)和任意的\(0 \leq t_1 < t_2 < \dots < t_n\)， 随机向量\((X(t_1), X(t_2), \dots, X(t_n))\)与随机向量\((Y(t_1), Y(t_2), \dots, Y(t_n))\)相互独立， 则这两个随机过程相互独立。
证明： 对任意的正整数\(n, m\)和任意的\(0 \leq t_1 < t_2 < \dots < t_n\)和\(0 \leq s_1 < s_2 < \dots < s_m\)， 设\(\{t_1, t_2, \dots, t_n \} \cup \{s_1, s_2, \dots, s_m \}\)的各个元素从小到大排列为 \[ 0 \leq u_1 < u_2 < \dots < u_k, \] 其中\(k \leq n+m\)。 则随机向量\((X(u_1), X(u_2), \dots, X(u_k))\)与随机向量\((Y(u_1), Y(u_2), \dots, Y(u_k))\)。 两个随机向量相互独立， 其中的子集也相互独立， 故结论成立。
○○○○○○
2.3 随机过程的基本类型
2.3.1 平稳过程
定义2.6 如果随机过程\(\{ X(t), t \in T\}\)对任意的\(t_1, \dots, t_n \in T\)和任意的\(h\)(使得\(t_i + h \in T\))， \((X(t_1+h), \dots, X(t_n+h))\)与\((X(t_1), \dots, X(t_n))\)具有相同的联合分布， 记为 \[ (X(t_1+h), \dots, X(t_n+h)) \stackrel{d}{=} (X(t_1), \dots, X(t_n)), \] 则称\(\{ X(t), t \in T\}\)为严平稳的.
定义2.7 如果\(X(t)\)是二阶矩过程， 并且均值函数\(E[X(t)] = \mu\)（不依赖于\(t\)）, 协方差函数\(\gamma(t,s)\)只与时间差\(t-s\)有关， 则称\(\{ X(t), t \in T\}\)为宽平稳过程或二阶平稳过程.
注：
- 对于宽平稳过程， 由于\(\gamma(s,t) = \gamma(0, t-s)\), \(s, t \in {\mathbb R}\)， 可记为\(\gamma(t-s)\);
- \(\gamma(\tau)\)为偶函数， 且\(\gamma(0)=\text{Var}(X(t))\), \(|\gamma(\tau)| \leq \gamma(0)\);
- \(\gamma(\tau)\)具有非负定性， 即对任意时刻\(t_k\)和实数\(a_k, k=1,2, \cdots, N\)， 有 \[ \sum_{i=1}^N \sum_{j=1}^N a_i a_j \gamma(t_i - t_j) \geq 0. \]
当参数\(t\)仅取整数值\(0,\pm 1, \pm 2, \dots\)或\(0, 1, 2, \dots\)时， 称宽平稳过程为宽平稳序列. 在时间序列分析中经常简称宽平稳序列为平稳列。
例2.6 (白噪声序列) 设\(\{X_n, n=0, 1, \dots \}\)为一列两两互不相关的随机变量序列， 满足\(EX_n=0\), \(n=0,1,2,\dots\), 且 \[ E(X_m X_n) = \begin{cases} 0 & \text{当} m \neq n , \\ \sigma^2 & \text{当} m=n , \end{cases} \] 则称\(\{X_n \}\)是白噪声序列， 记为\(\text{WN}(0, \sigma^2)\)。 白噪声序列\(\{X_n\}\)是宽平稳的. 这是因为协方差函数\(\text{Cov}(X_n, X_m)=E(X_n X_m)\)只与\(m-n\)有关.
例2.7 (线性序列) 设\(\{ \varepsilon(n), n \in \mathbb Z \}\)为白噪声列WN(0,\(\sigma^2\))， 实数列\(\{a_j, j \in \mathbb Z\}\)满足\(\sum_{j=-\infty}^{\infty} |a_j| < \infty\)， 定义 \[ X(t) = \sum_{j=-\infty}^{\infty} a_j \varepsilon(t-j), \ t \in \mathbb Z, \] 则\(\{X(t) \}\)定义的级数a.s.收敛， 称\(\{X(t) \}\)为线性序列。 如果条件放宽到\(\{a_j \}\)平方可和， 则定义仍成立， 其中的级数是\(L^2\)收敛。
例2.8 (AR模型) 设\(\{ \varepsilon_n, n \in \mathbb Z \}\)为白噪声列WN(0,\(\sigma^2\))， 实数\(a\)满足\(|a|<1\)， 则存在平稳列\(\{ X(t) \}\)使得 \[ X(t) = c + a X(t-1) + \varepsilon_{t} . \] 称\(\{X(t)\}\)服从一阶自回归(AR)模型。
例2.9 (MA模型) 设\(\{ \varepsilon_n, n \in \mathbb Z \}\)为白噪声列WN(0,\(\sigma^2\))， 实数\(b\)满足\(|b|<1\)， 定义\(\{ X(t) \}\)为 \[ X(t) = \mu + \varepsilon_{t} + b \varepsilon_{t-1} , \ t \in \mathbb Z. \] 称\(\{X(t)\}\)服从一阶滑动平均(MA)模型。
对于平稳序列， 如果我们要从实际数据建立平稳序列的模型， 就需要估计其均值和自协方差函数。 均值\(\mu = E[X(t)]\)和自协方差函数\(\gamma(k) = E[(X(t)-\mu)(X(t+k)-\mu)] = \text{Cov}(X(t), X(t+k))\)都是针对整个概率空间\(\Omega\)的积分， 如 \[ \mu = E[X(t)] = \int_{\Omega} X(t,\omega) \,dP(\omega) . \] 理论上， 这需要观察许多条独立的轨道， 对这些不同轨道的观测值进行平均。 但是， 实际中我们一般仅能观测到一条轨道， 需要从这一条轨道的有限个观测值估计平稳序列的均值和自协方差函数。 如果这样的估计是相合的， 就成这个平稳列具有某种“遍历性”。
随机过程中“严平稳遍历”的定义很复杂， 参见王梓坤《随机过程通论》第197–204页（北京师范大学出版社，1996）。 这里给出一个严平稳遍历的充分条件， 和严平稳遍历的性质。
定理2.3 如果\(\{ X(t) \}\)为线性序列， 且其中的白噪声序列独立同分布， 则\(\{ X(t) \}\)为严平稳遍历序列。
定理2.4 如果\(\{ X(t) \}\)为严平稳遍历序列， 则
（1）强大数律成立：如果\(E|X(1)| < \infty\)，则 \[ \lim_{n \to \infty} \frac{1}{n} \sum_{t=1}^n X(t) = E(X(1)), \text{ a.s.} ; \]
（2）对任意多元函数\(\phi(x_1, \dots, x_m)\)， \(Y(t) = \phi(X(t), X(t-1), \dots, X(t-m+1))\)也是严平稳遍历序列。
这两个定理的证明略， 定理参见(何书元 2003)节1.5。
对于非严平稳遍历的情形， 也有一些略放松的条件可以使得从一条轨道估计的均值函数和自协方差函数相合。
定理2.5 （1）设\(\{X(t), -\infty < t < \infty\}\)是平稳过程， 则当且仅当 \[ \lim_{B \to \infty} \frac{1}{B} \int_0^{2B} (1 - \frac{\tau}{2B}) \gamma(\tau) \,d\tau =0 \] 时 \[ E \left[ \frac{1}{2B} \int_{-B}^B X(t) \,dt - E(X(1)) \right]^2 \to 0, \ B \to \infty . \]
（2）设\(\{X_n, n \in \mathbb Z \}\)是平稳序列， 其均值函数为\(\mu\), 协方差函数为\(\gamma(\tau)\)，则当且仅当 \[ \lim_{N \to \infty} \frac{1}{N} \sum_{\tau =0}^{N-1} \gamma(\tau) = 0. \] 时 \[ E \left[ \frac{1}{N} \sum_{t=1}^N X(t) - E(X(1)) \right]^2 \to 0, \ N \to \infty . \]
证明略，见教材。
推论2.1 若\(\int^{\infty}_{-\infty} |\gamma(\tau)| \,d\tau < \infty\), 则定理2.5中（1）的条件满足。
证明略，见教材。
推论2.2 对于平稳序列， 若\(\gamma(\tau) \to 0\)(\(\tau \to \infty\)), 则定理2.5中（2）的条件满足。
证明略，见教材。
定理2.6 设\(\{X(t), t \in \mathbb R \}\)为四阶矩有限的宽平稳过程， 均值为零， 则当且仅当 \[ \lim_{B \to \infty} \frac{1}{B} \int_0^{2B} \left( 1 - \frac{s}{2B} \right) [Q(s) - \gamma^2(\tau)] \,ds = 0, \ \forall \tau \in \mathbb R \] 时 \[ E \left[ \frac{1}{2B} \int_{-B}^B X(t) X(t+\tau) \,dt - \gamma(\tau) \right]^2 \to 0, \ B \to \infty . \] 其中\(Q(s) = E[X(t+\tau+s) X(t+s) X(t+\tau) X(t)]\)。
证明略，参见教材。
2.3.2 独立增量和平稳增量
定义2.8 对随机过程\(\{ X(t), t \geq 0 \}\)， 如果对任意正整数\(n\)和\(t_1, t_2, \dots, t_n\), 其中\(0 \leq t_1 < t_2 < \dots < t_n\)， 随机变量\(X(t_1), X(t_2)-X(t_1), \dots, X(t_n)-X(t_{n-1})\)是相互独立的， 则称\(X(t)\)为独立增量过程. 如果对任意的\(t_1 < t_2\)和\(h > 0\)， \(X(t_1+h)-X(t_1)\)与\(X(t_2+h)-X(t_2)\)分布相同, 则称\(\{X(t), t \in T\}\)为是平稳增量过程. 兼有独立增量和平稳增量的过程称为平稳独立增量过程.
对于平稳独立增量过程， 设\(X(0)=0\)， \(0 \leq t_1 < t_2 < \dots < t_n\), \(h > 0\)， 则\((X(t_1), X(t_2) - X(t_1), \dots, X(t_n) - X(t_{n-1})\)与\((X(t_1 + h), X(t_2 + h) - X(t_1 + h), \dots, X(t_n + h) - X(t_{n-1} + h)\)有相同的联合分布。
随机过程\(\{X(t), t \geq 0\}\)的特征函数为\(\psi_{X(t)}(u)=E[e^{i u X(t)}]\)， 我们有如下定理:
定理2.7 设\(\{X(t), t \geq 0\}\)是一个独立增量过程， \(X(0)=0\), 则\(X(t)\)具有平稳增量的充分必要条件是： 其特征函数具有可乘性，即 \[ \psi_{X(t+s)}(u) = \psi_{X(t)}(u) \psi_{X(s)}(u) . \]
证明： 必要性： 注意到 \[ X(t+s) = X(s) + [X(t+s) - X(s)] \] 可得。
充分性：由独立增量性有 \[\begin{aligned} & \psi_{X(t)}(u) \psi_{X(s)}(u) = \psi_{X(t+s)}(u) \\ =&E[e^{i u X(t+s)}] = E[e^{i u \left\{ [X(t+s)-X(s)] + X(s)\right\} }] \\ =& E\{e^{i u [X(t+s)-X(s)]}\} E[e^{i u X(s)}] \\ =& \psi_{X(t+s)-X(s)}(u) \psi_{X(s)}(u) . \end{aligned}\] 从两边约掉\(\psi_{X(s)}(u)\)，得 \[ \psi_{X(t)}(u) = \psi_{X(t+s)-X(s)}(u) . \] 这说明\(X(t+s)-X(s)\)与\(X(t)-X(0)\)同分布，从而有平稳增量。
○○○○○○
平稳独立增量过程的均值函数是时间\(t\)的线性函数。 本书后面将要介绍的泊松过程和布朗运动都是这类过程。 这两类过程是随机过程理论中的两块最重要的基石。
设\(\{X(t), t \geq 0 \}\)是平稳独立增量过程， \(X(0)=0\), \(\mu(t) = E[X(t)]\)，\(b = \mu(1)\)。 则 \[ \mu(2) = E \{X(2) - X(0) \} = E\{ [X(2)-X(1)] + [X(1) - X(0)] \} = 2 b . \] 归纳可知\(\mu(k) = k b\), \(k=0,1,2,\dots\)。 同理可知对有理数\(p/q\)有\(\mu(\frac{p}{q}) = b \frac{p}{q}\)。 若假定\(\mu(t)\)连续， 则有\(\mu(t) = b t\)。