5 Hilbert空间中的平稳序列

5.1 Hilbert空间

本章中设\(\{X_t\}\)是平稳序列。 \(X_t\)可以用线性组合\(\sum_{j=1}^k a_j x_{t-j}\)预测。应该推广到用无穷的线性组合\(\sum_{j=1}^\infty a_j x_{t-j}\)预测。这就需要研究这样的无穷线性组合的性质。

在线性代数的欧式空间理论中，一个向量\(\boldsymbol y\)到一个子空间\(S\)的最短距离，是\(\boldsymbol y\)与\(\boldsymbol y\)在\(S\)上的投影向量的距离。将预测误差按均方误差度量，也可以得到类似结论，但是需要考虑无穷维空间的问题。

所有二阶矩有限的随机变量组成的一个无穷维函数空间\(L^2\)，所有\(\{X_t\}\)及其有限和无穷线性组合也构成一个无穷维函数空间，是\(L^2\)的子空间。下面从有限线性组合讲起。

5.1.1 平稳列导出的线性空间

设\(\{X_t\}\)是平稳序列。令 \[ L^2(X) = \left\{ \left. \sum_{j=1}^k a_j X(t_j) \right| a_j \in \mathbb R, t_j \in \mathbb Z, 1 \leq j \leq k, k \in \mathbb N_+ \right\} \] \(\forall X, Y, Z \in L^2(X), a, b \in \mathbb R\)有

\(X+Y =Y+X\in L^2(X)\), \((X+Y)+Z=X+(Y+Z)\);
\(0 \in L^2(X)\), \(X+0=X\), \(X+(-X)=0 \in L^2(X)\);
\(a(X+Y)=aX+aY\in L^2(X)\), \((a+b)X=aX+bX\), \(a(bX)=(ab)X\).

即\(L^2(X)\)是一个线性空间。

5.1.2 将线性空间推广为Hilbert空间

令\(L^2 = \{Y: E Y^2 < \infty \}\)，易见\(L^2\)是线性空间， \(L^2(X)\)是\(L^2\)空间的子空间。

在\(L^2\)中定义内积\(\langle X,Y\rangle =E(XY)\)，则 \[\begin{aligned} & \langle X,Y\rangle =\langle Y,X\rangle \\ & \langle aX+bY,Z\rangle =a\langle X,Z\rangle +b\langle Y,Z\rangle \end{aligned}\] \(\langle X,X\rangle \geq 0\), 并且 \(\langle X,X\rangle =0\)当且仅当 \(X=0\) , a.s., 所以 \(L^2\) 又是内积空间. \(L^2\)中的0元素，定义为a.s.等于0的随机变量。

内积有Schwarz不等式(习题1.6.2) \[ |\langle X,Y \rangle | \leq [\langle X,X \rangle \langle Y,Y \rangle ]^{1/2} . \]

我们还需要对无穷线性组合的封闭性。需要极限的概念。

由内积定义模(范数) \[ \| X \| = (\langle X, X\rangle )^{1/2} \] Schwarz不等式可以写成 \[ |\langle X,Y \rangle | \leq \|X \| \cdot \| Y \| . \] 由Schwarz不等式可以证明模满足三角不等式 \[ \| X + Y \| \leq \| X \| + \| Y \| . \]

由模定义距离 \[ \| X-Y \| = (\langle X-Y,X-Y\rangle )^{1/2} . \] 则\(\|X-Y\| = \|Y-X\| \geq 0\), 且\(\|X-Y\|=0\)当且仅当\(X=Y\), a.s.. 距离满足三角不等式： \[ \|X-Y\| \leq \|X-Z\| + \|Z-Y\| . \]

对有限维线性空间，定义了内积已经足够，因为有限维内积空间与\(\mathbb R^n\)同构。对无穷维空间，要考虑极限问题。

定义5.1 对\(\xi_n \in L^2\), \(\xi_0 \in L^2\):

如果\(\lim_{n\to \infty}\| \xi_n - \xi_0\| = 0\), 则称\(\xi_n\)在\(L^2\)中(或均方)收敛到\(\xi_0\), 记做 \(\xi_n \stackrel{\text{m.s.}}{\to} \xi_0\)或 \(\xi_n \stackrel{L^2}{\to} \xi_0\).
如果当\(n,\ m \to \infty\)时, \(\| \xi_n-\xi_m\| \to 0\), 则称\(\{\xi_n\}\)是\(L^2\)中的基本列或Cauchy列.

定理5.1 如果\(\{\xi_n\}\)是\(L^2\)中的基本列, 则(在a.s.的意义下)有惟一的\(\xi \in L^2\)使得 \(\xi_n \stackrel{\text{m.s.}}{\to} \xi\).

证明略。（同学们自学）

定义5.2 (完备的内积空间) 每个基本列都有极限在空间内的内积空间称为完备的内积空间，又称Hilbert空间。

由定理5.1， \(L^2\)是Hilbert空间。

用\(\bar L^2(X)\)表示\(L^2\)中包含\(L^2(X)\)的最小闭子空间，则\(\bar L^2(X)\) 是Hilbert空间，称为由平稳序列\(\{X_t\}\)生成的Hilbert空间。

5.1.3 内积的连续性

定理5.2 (内积的连续性) 在内积空间中, 如果 \(\| \xi_n - \xi\| \to 0\), \(\| \eta_n - \eta \| \to 0\) 则有

\(\| \xi_n\| \to \| \xi \|\),
\(\langle \xi_n, \eta_n \rangle \to \langle \xi,\eta\rangle\).

注意：由第2条当然有 \[\begin{aligned} \langle \xi_n, \eta \rangle \to \langle \xi, \eta \rangle \end{aligned}\]

证明:

\[\begin{alignat*}{2} & (1)\ & & \Big|\, \| \xi_n \| - \| \xi \| \, \Big| \\ & & \leq& \| \xi_n - \xi \| \to 0 \ (n\to\infty)\\ & (2)\ & & \Big| \langle \xi_n, \eta_n \rangle - \langle \xi, \eta \rangle \Big| \\ & & =& \Big| \langle \xi_n, \eta_n - \eta \rangle + \langle \xi_n - \xi, \eta \rangle \Big| \\ & & \leq& \Big| \langle \xi_n, \eta_n - \eta \rangle \Big| + \Big| \langle \xi_n - \xi, \eta \rangle \Big| \\ & & \leq& \|\xi_n\| \cdot \|\eta_n - \eta\| + \|\xi_n - \xi\| \cdot \|\eta \| \\ & & \to& 0 . \ (n\to\infty) \end{alignat*}\]

例5.1 (n维欧式空间) \(\mathbb R^n\)是线性空间，定义内积 \(\langle \boldsymbol{a}, \boldsymbol{b} \rangle = \boldsymbol{a}^T \boldsymbol{b}\) 则为内积空间。

\(\mathbb R^n\)是完备的内积空间。 \(| \boldsymbol{a} | = \sqrt{\boldsymbol{a}^T \boldsymbol{a}}\) 为欧氏模。此空间有限维：由\(n\)个元素（\(n\)维向量）组成基。

5.1.4 平稳列的有限维欧式空间

设\(\{X_t\}\)是零均值平稳列，\(\boldsymbol{X} = (X_1,\dots,X_n)\)。令\(L_n = \text{sp}\{ X_1, \dots, X_n \} = \{\boldsymbol{a}^T \boldsymbol{X}: \boldsymbol{a} \in \mathbb R^n \}\), 则\(L_n\)是Hilbert空间，称为由\(\boldsymbol{X}\)生成的Hilbert空间。

\(L_n\)是线性空间和内积空间易验证，下面证明其完备性。

先设 \(\{X_t\}\)是标准白噪声WN\((0,1)\)。对任何线性组合\(\xi_k = \boldsymbol a_k^T \boldsymbol X\), 只要 \[ \| \xi_k-\xi_m\| ^2 = \| \boldsymbol{a}^T_k \boldsymbol X - \boldsymbol{a}^T_m \boldsymbol{X} \| ^2 =(\boldsymbol{a}_k - \boldsymbol{a}_m)^T (\boldsymbol a_k - \boldsymbol a_m)\to 0, \] 由例5.1知道有\(\boldsymbol{a} \in \mathbb R^n\) 使得 \[ | \boldsymbol a_k -\boldsymbol a |\to 0 \] 当\(k \to \infty\), 取 \(\xi = \boldsymbol a ^T\boldsymbol X\) 时, \[ \| \xi_k - \xi \|^2 =(\boldsymbol a_k - \boldsymbol a)^T(\boldsymbol a_k - \boldsymbol a )\to 0. \] 可见\(\{X_t\}\)是标准白噪声WN\((0,1)\)时\(L_n\) 是完备的.

对一般的零均值平稳序列, 可以设协方差阵\(\Gamma=E(\boldsymbol X \boldsymbol X^T)\)的秩是\(m\), \(m\leq n\). 对\(\Gamma\)做特征值分解得(注意这是随机向量的常用手法) \[\begin{aligned} \Gamma =& P^T \Lambda P \\ \Lambda =& \text{diag}\{ \lambda_1, \dots, \lambda_m, 0, \dots, 0 \} \end{aligned}\] 令 \[\begin{aligned} A =& \text{diag}\{ \lambda_1^{-1/2}, \dots, \lambda_m^{-1/2}, 1, \dots, 1 \} \stackrel{\triangle}{=} \Lambda^{-1/2} \\ \boldsymbol Y =& A P \boldsymbol X, \quad \boldsymbol X = P^T A^{-1} \boldsymbol Y \end{aligned}\] 则 \[\begin{aligned} \text{Var}(\boldsymbol Y) =& A P \text{Var}(\boldsymbol X) P^T A = A P P^T \Lambda P P^T A \\ =& \text{diag}\{ 1,\dots,1, 0, \dots, 0 \} \end{aligned}\] 因此\(Y_1, \dots, Y_m\)是某零均值白噪声列的某段。 \(\boldsymbol X\)的线性组合即\(Y_1,\dots, Y_m\)的线性组合。因此\(L_n\)是完备的。

○○○○○○

5.1.5 \(L^2\)意义下的线性序列

考虑\(L^2\)中的零均值白噪声列\(\{\varepsilon_t\}\), 设\(\text{Var}(\varepsilon_t)=\sigma^2\). 设\(\{a_j\} \in l_2\). 令 \[ \xi_n(t) = \sum_{j=-n}^n a_j \varepsilon_{t-j}, \ t \in \mathbb Z \] 则\(\xi_n(t) \in L^2\)。对\(m<n\)，当\(m \to \infty\)时 \[\begin{aligned} \| \xi_n - \xi_m \|^2 =& \| \sum_{m<|j|\leq n} a_j \varepsilon_{t-j} \|^2 \\ =& \sigma^2 \sum_{m<|j|\leq n} a_j^2 \leq \sigma^2 \sum_{|j| > m} a_j^2 \to 0 \end{aligned}\] 由\(L^2\)完备性知存在\(X_t \in L^2\)使得 \(\xi_n(t) \stackrel{\text{m.s.}}{\to} X_t\)。

记\(\xi_n(t)\)在\(L^2\)中的极限\(X_t\)为 \[ X_t = \sum_{j=-\infty}^\infty a_j \varepsilon_{t-j}, \ t \in \mathbb Z \] 来证明\(\{ X_t \}\)平稳。

由\(L^2\)中内积连续性得 \[\begin{aligned} E X_t = \lim_{n\to\infty} \langle \xi_n(t), 1 \rangle = \lim_n E \xi_n(t) = 0 \end{aligned}\] 以及 \[\begin{aligned} E X_t X_{t+k} =& \lim_n \langle \xi_n(t), \xi_n(t+k) \rangle \\ =& \lim_n \langle \sum_{j=-n}^n a_j \varepsilon_{t-j}, \sum_{l=-n}^n a_l \varepsilon_{t+k-l} \rangle \\ =& \lim_n \sum_{j=-n}^n \sum_{l=-n}^n a_j a_l \delta_{k-l+j} \sigma^2 \\ =& \sigma^2 \sum_{j=-\infty}^\infty a_j a_{j+k} \end{aligned}\] 这就证明了\(\{X_t \}\)为平稳列。

○○○○○○

5.2 复值时间序列

设\(X, Y\)为随机变量， \(Z = X + i Y\)称为复值随机变量。 \(E Z = E X + i E Y\). \[ \text{Cov}(Z_1, Z_2) = E\left( (Z_1 - E Z_1) (Z_2 - E Z_2)^* \right) \] (\(Z^*\)表示\(Z\)的共轭转置)

对于两个复随机向量\(\boldsymbol Z_1\), \(\boldsymbol Z_2\)， \[ \text{Cov}(\boldsymbol Z_1, \boldsymbol Z_2) = E \left( (\boldsymbol Z_1 - E \boldsymbol Z_1) (\boldsymbol Z_2 - E \boldsymbol Z_2)^* \right) \]

\(E |Z|^2 = E X^2 + E Y^2 < \infty\)时称\(Z\)是二阶矩有限的复随机变量。所有二阶矩有限复随机变量的集合\(H\)在定义内积\(\langle X,Y \rangle = E(X Y^*)\)后构成Hilbert空间。

复值随机变量的序列\(\{Z_n\}\)称为复值时间序列. 若\(E Z_n = \mu\), \(\text{Cov}(Z_n, Z_m) = \gamma_{n-m}\)， \(\forall n,m \in \mathbb Z\), 则称\(\{Z_n\}\)是复值平稳序列。

\[ \gamma_{-k} = \gamma_k^* . \]

若复值零均值平稳列\(\{\varepsilon_t \}\)满足 \[\begin{aligned} \text{Cov}(\varepsilon_n, \varepsilon_m)=\sigma^2 \delta_{n-m}, \quad \forall n,m \in \mathbb Z \end{aligned}\] 则称\(\{\varepsilon_t\}\)为复值零均值白噪声。

例5.2 设\(Y \sim \text{U}[-\pi, \pi]\)。定义 \[\begin{aligned} \varepsilon_n=e^{i n Y}, \ n\in \mathbb Z. \end{aligned}\] 则 \[\begin{aligned} E \varepsilon_n =&\delta_n \\ E (\varepsilon_n \bar \varepsilon_m) =&\frac{1}{2\pi}\int_{-\pi}^{\pi} e^{i(n-m)y} \, dy \\ =& \delta_{n-m} \end{aligned}\] 即\(\{\varepsilon_t\}\)为复值白噪声(需要将\(\varepsilon_0\)定义为\(0\))。

对于平方可和的实数列\(\{a_j\}\), 定义 \[\begin{aligned} Z_n = \sum_{j=-\infty}^{\infty} a_j \varepsilon_{n-j} = \sum_{j=-\infty}^{\infty} a_je^{i(n-j)Y}, \ \ n\in \mathbb Z. \end{aligned}\] 由内积的连续性得到 \[\begin{aligned} E Z_n =& \sum_{j=-\infty}^{\infty} a_j E \varepsilon_{n-j} = a_n \\ E (Z_n \bar Z_m) =& \sum_{j=-\infty}^{\infty} \sum_{k=-\infty}^{\infty} a_j a_k E(\varepsilon_{n-j} \varepsilon_{m-k}) \\ =& \sum_{j=-\infty}^{\infty} \sum_{k=-\infty}^{\infty} a_j a_k \delta_{n-m-j+k} \\ =& \sum_{k=-\infty}^{\infty} a_k a_{k+n-m} \end{aligned}\] 因为均值非常数，所以\(\{Z_n \}\)不是复值平稳列。

另一方面， \[\begin{aligned} & E (Z_n \bar Z_m) \\ =& E \left[ \sum_{j=-\infty}^{\infty} a_j e^{i(n-j)Y} \sum_{k=-\infty}^{\infty} a_k e^{-i(m-k)Y} \right] \\ =& \frac{1}{2\pi} \int_{-\pi}^{\pi} \left( \sum_{j=-\infty}^{\infty} a_j e^{i(n-j)y} \right) \left( \sum_{k=-\infty}^{\infty} a_k e^{-i(m-k)y} \right) \; dy \\ =& \frac{1}{2\pi} \int_{-\pi}^{\pi} \left|\sum_{j=-\infty}^{\infty} a_j e^{-ijy} \right|^2 e^{i(n-m)y} \; dy \end{aligned}\] 即 \[\begin{aligned} \sum_{j=-\infty}^{\infty} a_j a_{j+k} = \frac{1}{2\pi}\int_{-\pi}^{\pi} \left|\sum_{j=-\infty}^{\infty} a_je^{-ijy} \right|^2 e^{iky}\; dy. \end{aligned}\]

定义 \[\begin{aligned} f(\lambda) =& \frac{\sigma^2}{2\pi} \left| \sum_{j=-\infty}^{\infty} a_j e^{-ij\lambda} \right|^2 = \frac{\sigma^2}{2\pi} \left| \sum_{j=-\infty}^{\infty} a_j e^{ij\lambda} \right|^2 \end{aligned}\] 就得到公式 \[\begin{align} \sigma^2 \sum_{j=-\infty}^\infty a_j a_{j+k} = \int_{-\pi}^{\pi}f(y) e^{iky}\, dy \tag{5.1} \end{align}\]

○○○○○○

5.3 附录：补充知识

5.3.1 绝对可和系数的线性序列与L2的线性序列

系数绝对可和的线性平稳列是系数平方可和的线性平稳列的特例。系数绝对可和的线性平稳列的极限是a.s.极限，设\(\sum_j |a_j| < \infty\), \[\begin{aligned} X_t = \sum_{j=-\infty}^\infty a_j \varepsilon_{t-j}, \ \text{a.s.} \end{aligned}\] 而 \[\begin{aligned} Y_t = \sum_{j=-\infty}^\infty a_j \varepsilon_{t-j}, \ (L^2) \end{aligned}\] 记 \[\begin{aligned} \xi_n = \sum_{j=-n}^n a_j \varepsilon_{t-j}, \end{aligned}\] 则 \[\begin{aligned} \xi_n \to X_t, \ \text{a.s.}, \quad \xi_n \to Y_t, \ (L^2) \end{aligned}\] 这时 \[\begin{aligned} \xi_n \stackrel{\text{Pr}}{\to} X_t, \quad \xi_n \stackrel{\text{Pr}}{\to} Y_t, \end{aligned}\] 由测度论可知同一序列如果有两个依概率的极限则这两个极限a.s.相等。

5.3.2 随机过程的均方连续性

定义5.3 (均方连续) \[\begin{aligned} \lim_{h \to 0} \| \xi_{t_0 + h} - \xi_{t_0} \| = 0 \end{aligned}\] 称\(\{\xi_t \}\)在\(t=t_0\)均方连续，如果对所有\(t_0 \in \mathbb R\)都成立则称称\(\{\xi_t \}\)在\(\mathbb R\)上均方连续。

均方连续不一定轨道连续。若\(\{ \xi_t \}\)是平稳过程(连续时)，则 \(\{ \xi_t \}\)在\(\mathbb R\)上均方连续 \(\Longleftrightarrow\) \(\{ \xi_t \}\)在\(t=0\)均方连续 \(\Longleftrightarrow\) \(\gamma(\tau)\)在\(\mathbb R\)连续 \(\Longleftrightarrow\) \(\gamma(\tau)\)在\(\tau=0\)连续。