§3 随机过程

一、 一般随机过程

[随机过程的定义] 对于每个tÎT(T 是某个固定的实数集),x(t)是个随机变量，就把这样的随机变量族{x(t)，tÎT}称为随机过程。随机过程一次实验的结果是定义在T上的函数，称为随机过程的一次实现。当参数t的变化范围T是个整数集合，则称

x(t), t=0,±1,±2,L

为随机序列。

当T只包含一个或有限个元素，{x(t)，tÎT}就是概率论中研究过的随机变量或随机矢量。

[随机过程的有穷维分布函数族] 设{x(t)，tÎT}是随机过程，对任意的正整数n及任意的t₁, t₂, L，t_nÎT,随机变量x(t₁) ,x(t₂) ,L，x(t_n)的联合分布函数为

称为随机过程的有穷维分布函数族。它不仅刻划了对应于每一个t的随机变量x(t)的统计规律性，而且也刻划了各个随机变量x(t)之间的关系，从而完整地描述了随机过程的统计规律性。

[随机过程的统计参数] 设{x(t)，tÎT}是个复值随机过程(指它的实部和虚部都是实的随机过程)。主要的统计参数有：

1^° 均值函数 对每个tÎT,随机变量x(t)的数学期望（均值）

称为随机过程的均值函数，式中F_t(x)是x(t)的分布函数。

2^° 协方差函数与方差函数 对任意的s, tÎT,

称为随机过程的协方差函数(或相关函数)，式中m(t)是均值函数。

特别地，当s=t,则称

为随机过程的方差函数(或自相关函数)。

3^° 高阶矩 若对任意的正整数n，非负整数m₁ , m₂ ,L , m_n , m= m₁+m₂+L+m_n及任意实数t₁,t₂,L,t_n，随机变量的数学期望存在，则

称它为x(t)在t₁,t₂,L,t _n矩的一个m阶矩。

[随机过程的均方连续性] 设{x(t)，tÎT}是一随机过程，t₀ÎT,如果

即

则称x(t)在t=t₀是均方连续的，式中l.i.m.表示均方收敛。如果x(t)对于任意tÎT都是均方连续，就称x(t)在T上是均方连续的。

随机过程{x(t)，tÎT}的如下三命题是等价的：

1^° 随机过程{x(t)，tÎT}在T上均方连续；

2^° 随机过程{x(t)，tÎT}的协方差函数R(s,t)(s,tÎT)关于s,t是连续的；

3^° 随机过程{x(t)，tÎT}的协方差函数R(s,t)(s,tÎT)在对角线s=t上关于s,t是连续的。

下面介绍特殊类型的随机变量：

[独立随机过程] 若对任意的正整数n和任意的任意的t₁,t₂,Lt_nÎT,随机变量x(t₁),x(t₂),L,x(t_n)是相互独立的，即

则称{x(t)，tÎT}是独立随机过程。

[正态过程] 若对任意的正整数n和任意的t₁,t₂,L,t_nÎT,随机变量x(t₁),x(t₂),L,x(t_n)的联合分布总是正态的，即

则称{x(t)，tÎT}是正态（或高斯）过程，式中R_jk=R(j,k),(R_jk)称为协方差矩阵;(R^jk)是(R_jk)的逆矩阵。

[马尔科夫过程] 若对任意的n=1,2,L和任意的t₀,t₁,L,t_nÎT(其中t₀<t₁<L<t_n)以及任意的实数x, y，等式

P{x(t_n)≤y|x(t_n-1)=x,x(t_n-2)=x_n-2,L,x(t₀)=x₀}=P{x(t_n)≤y|x(t_n-1)=x}

对所有的x(t_n-1),L, x(t₀)成立，则称{x(t)，tÎT}是马尔科夫过程，简称马氏过程。

[时齐马尔科夫过程] 设{x(t)，tÎT}是马尔科夫过程，若对任意的t₁ÎT,t₂ÎT

(t₁<t₂),条件分布

即条件分布F(t₁,x;t₂,y)只依赖于t₂-t₁,x,y,则称{x(t)，tÎT}是一个时齐(对时间齐次地)的马尔科夫过程。

[具有独立增量的随机过程] 若对及任意一组，其中），随机变量，，¼，是相互独立的，则称是个具有独立增量的随机过程。

[具有平稳增量的随机过程] 若对任意的t₁,t₂ÎT和任意h(t₁+h,t₂+hÎT)，随机变量

x(t₂+h)(t₁+h)与x(t₂)(t₁)

遵从相同的概率分布，则称是具有平稳增量的随机过程。

[泊松过程] 设{x(t)，0≤t<∞}是具有平稳独立增量，取非负整数值的随机过程。如果对于任意t (0≤t<∞),关系式

(k=0,1,2,L)

成立(其中λ>0为常数)，则称{x(t)，0≤t<∞}为泊松过程。

[维纳过程] 若随机过程{x(t)，0≤t<∞}满足P(x(0)=0)=1,具有平稳独立增量，并且随机变量x(t)的分布密度函数是

则称{x(t)，0≤t<∞}是维纳过程或布郎运动过程。

[平稳过程] 若对于n=1,2,L,任意t_mÎT(m=1,2,L,n)及任意的τ(t_m+τÎT,m=1,2,L,n)，等式

成立，则称{x(t)，tÎT}是平稳过程(狭义的平稳过程)。

二、 马尔科夫过程

1、转移概率

[状态与状态转移概率] 考虑一系列随机试验，其中每次试验的结果如果出现可列个两两互斥事件E₁,E₂,L中的一个而且仅出现一个，则称这些事件E_i(i=1,2,L)为状态。如果E_i出现，就称系统处在状态E_i。用p_ij(t,τ)表示“已知在时刻t系统处在状态E_i的条件下，在时刻τ（t>τ）系统处在状态E_j”的条件概率，称p_ij(t,τ)为转移概率。

[过程的无后效应与时齐性] 无后效性 若在已知时刻t₀系统所处状态的条件下，在时刻t₀以后系统将到达状态的情况与时刻t₀以前系统所处的状态无关，则称过程为无后效的。

时齐性 若转移概率p_ij(t,τ)只与i,j,τ有关，则称过程为时齐的，简记

p_ij(τ)=p_ij(t,t+τ)

2、马尔科夫链

[马尔科夫链] 马尔科夫链是时间与状态都是离散的马尔科夫过程。

1^° 设在一系列随机试验下，系统的可能离散状态为 E₀,E₁,L,如果对于任意二正整数k,m,任意整数0≤j₁<j₂<L<j_l<m,等式

都成立(表示“第m次试验出现E_m”的事件)，那末称这一随机试验列为马尔科夫链，简称马氏链。

2^° 随机变量序列{x_n}(n=0,1,L)为马尔科夫链的定义

设{x_n}(n=0,1,L)为一随机变量序列，它们中间的每一个都可能取值(相当于所处状态E_i) x_i(i=0,1,2,L),如果对于任意正整数k,m,任意正整数0≤j₁<j₂<L<j_l<m,等式

成立，就称{x_n}为马尔科夫链，简称马氏链。

通常可取{x_i}={1,2,L}。

马氏链所刻划的随机试验序列，可以直观地理解为要验测“将来”所处的状态只要用“现在”已知的状态，而“过去”的状态不起任何作用，这就是无后效性。

马氏链，以至于马尔科夫过程都是具有无后效性的随机过程。

[马尔科夫链的转移概率矩阵] 如果在时刻m系统由状态E_i经过一次转移到达状态E_j的概率和时刻m无关，那末就可用p_ij表示这个一次转移概率。显然

（p_ij≥0,i,j=0,1,2,L）

转移概率p_ij可排成一个转移概率矩阵

这是一个每行元素和为1的非负元素的矩阵，称为马氏链的一步转移概率矩阵。

同样用表示系统由状态E_i经过n次转移而到达E_j的转移概率，

同样定义马氏链的n步转移概率矩阵：

由无后效性，得

称为切普曼-柯尔莫哥洛夫方程。

由切普曼-柯尔莫哥洛夫方程可以推出

P⁽ⁿ⁾=Pⁿ

[闭集与状态的分类] 考虑时齐的马氏链。设E为状态空间，E=(E₀,E₁,E₂,L),如果存在正整数n使得，则称E_k可自E_j到达，并记为E_jÞE_k. 。如E_jÞE_k且E_kÞE_j，就说E_j，E_k,互通，记作E_jÛE_k。

称E的子集C为闭集，是指C外的任一状态都不能自C内任一状态到达。设E是闭集，若单点集{E_k}成一闭集，就称E_k为吸引状态，若E内不存在真子集是闭集，称这个马氏链是不可分的。

记“系统处在状态E_i的条件下，经n步转移初次到状态E_j”的条件概率为，它可用转移概率表示为

于是

记

它是“系统在开始处于状态E_i的条件下，经有穷次转移后终于到达状态E_j”的条件概率，并令

如f_ij=1,则可视m_ij为从状态E_i出发，初次到达状态E_j转移次数的数学期望

状态分类如下：

1° 如果f_jj=1,则称E_j为常返的；如果f_jj<1，则称E_j为非常返的；

2° 设E_j是常返状态，若m_jj=∞，则称E_j为消极常返的(或零状态)；若μ_jj<∞,则称E_j为积极常返的(或正状态)。

3° 如果正整数有最大公约数t，当t>1,称E_j为周期的，或具有周期t;当t=1,则称E_j为非周期的。

4° 如果E_j是常返，非周期正状态，则称E_j为遍历的。

状态分类的判别法

1° E_j为非常返的充分必要条件是。

2° 若E_j是有周期t的常返状态，则。

3° 若E_j是遍历的，则。

4° 若E_j是常返的，则它为零状态的充分必要条件是。

[马尔科夫链的分解定理] 任一系统的状态空间可以分解为下列不交子集D,C₁,C₂,L之和，其中

1^° 任一C_j是由常返状态构成的不可分的闭集，C_i中的状态不能自C_j(i≠j)中的状态到达；

2^° C_j中的状态属同类：或者都是零的，或者都是遍历的，或者都是有周期的非零的状态(在任何一种情况下，C_j中各状态都有相同的周期)，而且f_ik=1(E_iÎC_j,E_kÎC_j);

3^° D由一切非常返状态构成(C_j中的状态可能自D中的状态到达，反过来不行)。

[马尔科夫链的遍历性定理] 对于不同的类型，有如下的遍历性定理：

1^° 若E_kÎD或E_k为零状态，则对任意的j，有

2^° 若E_k是周期为t的正的常返状态，则对任意的j，有

(1≤r≤t)

其中

表示自E_j出发，在某n步(n≡r(modt))上初次到达E_k的概率。

3^° 对于不可分非周期的马氏链，极限

存在，而且只能有下面两种情况：

（i）所有p_j(出现E_j的概率)都大于零，此时{p_j}是唯一的平稳分布，即概率分布{p_j}满足

（j=0,1,L）

（ii）所有的p_j都等于零，此时不存在平稳分布。

3、时间连续、状态离散的马尔科夫过程

这里只考虑时齐的马尔科夫过程。

[切尔曼-柯尔莫哥洛夫方程] 令p_ij(t)表示时间间隔为t、系统从状态E_i转移到状态E_j的概率，那末

， p_ij(t)≥0

对于t>0,τ>0有切尔曼-柯尔莫哥洛夫方程

它是马尔科夫过程研究的基础。

[遍历性定理] 任何时间连续，状态有限(E₁,L，E_n)的马尔科夫过程，如果存在一个t₀，使得对于任何的i,r,p_ir(t₀)>0,那末极限

(0≤j, i≤n)

存在并且与i无关。

[柯尔莫哥洛夫的前进和后退方程] 如果只有有限个状态的马尔科夫过程满足

就称它是随机连续的马尔科夫过程。

对状态有限的随机连续的马尔科夫过程，有柯尔莫哥洛夫的前进和后退方程：

(前进方程)

(后退方程)

其中

4、扩散过程

[扩散过程的定义] 状态连续的马尔科夫过程{x(t)，0≤t<∞}，如果它的条件

分布函数F(t,x;τ,y)对任何的ε>0及t₁<t<t₂，t₁→t，t₂→t，关于x一致地成立下列三个关系：

（i）

（ii）

（iii）

就称马尔科夫过程{x(t)，0≤t<∞}为扩散过程。

[柯尔莫哥洛夫第一方程] 如果扩散过程的条件分布函数F(t,x;τ,y)的偏导数

存在，且对任何t, x, y和τ(τ>t)连续，那末函数F(t,x;τ,y)满足柯尔莫哥洛夫第一方程

[柯尔莫哥洛夫第二方程] 如果扩散过程的条件分布函数F(t,x;τ,y)具有分布密度f(t,x;τ,y),并且下面的各个偏导数

存在且连续，那末f(t,x;τ,y)满足柯尔莫哥洛夫第二方程

三、平稳随机过程

[弱平稳过程] 如果随机过程{x(t),tÎT}满足

就称它是弱平稳过程(或广义的平稳过程)。

广义的平稳过程不一定是狭义的平稳过程；反过来，狭义的平稳过程也不一定是广义的平稳过程，但是如果狭义平稳过程的二阶矩存在，那们那末它必是广义的平稳过程。

对于正态过程来说，广义平稳性和狭义平稳性是一致的。

在理论研究中，考虑复值随机过程常常更加方便。所谓复值随机变量x是指x=η+ix,其中η, x都是随机变量；而复值随机过程就是x(t)=η(t)+ ix(t),其中η(t), x(t)都是实值随机过程。

复值随机变量x=η+ix的均值(或数学期望)定义为

两个复值随机变量x₁，x₂的相关矩定义为

复值随机过程{x(t),tÎT}的广义平稳性，是指它满足

下面考虑的都是复值的广义平稳过程。

[相关函数的谱分解] 如果函数R(τ)是某一均方连续平稳过程{x(t), <t<}的相关函数，那末

其中F(λ)是有界不减函数，满足,称为平稳过程{x(t),<t<}的谱函数(工程上称为频谱)。

如果F(λ)绝对连续，记，称为谱密度(工程上称为频谱密度)，这时

当{x(t), <t<}是实值平稳过程时，相关函数R(τ)可以表示成

或(当谱密度存在时)

其中F₁(λ)=2F(λ)+c(c为常数)，。

特别，对复值平稳序列{x_n, n=0,±1,L}有

(k=0,±1,L)

其中谱函数F(λ)满足

F()=0, F(p)=R(0)

[遍历性定理]

1^° 如果{x(t),-∞<t<∞}是均方连续的平稳过程，那末

的充分必要条件是：

2^° 如果{x_n, n=0,±1,L}是平稳序列，那末

的充分必要条件是：

3^° 如果{x(t),-∞<t<∞}是均值为零的均方连续的平稳过程，又对取定的常数 t >0,也是均方连续的平稳过程，记其相关函数为R_t(u),那末

的充分必要条件是：

4^° 如果{ n=0,±1,L}是均值为零的平稳序列，又对取定的整数m, n=0,±1,L}也是平稳序列，记其相关函数为R_m(k),那末

的充分必要条件是：

遍历性定理表明，对于平稳过程，只要它满足定理的条件(在实际中它们是常常能够满足的)，那末对样本空间的平均(如均值、相关矩等)可以用对时间的平均来代替，更具体地说，只要用平稳过程在足够长时间的一次实现，就可以确定过程的均值和相关函数。这正是遍历性定理在实用上重要的原因。

[平稳过程的谱展式] 如果{x(t),-∞<t<∞}是均值为零的均方连续平稳过程，那末有

其中

满足 （i）EZ(l)=0

（ii）当区间与不相重叠时

(即Z(l)是具正交增量的过程)

（iii） (F(l)是谱函数)

Z(l)称为x(t)的随机谱函数，x(t)的积分表示式称为x(t)的谱展式。

特别，如果x(t)是实值均方连续平稳过程，那末有

其中

满足 （i）EZ₁(l)=EZ₂(l)=0,

（ii）当区间与不相重叠时

(j,k=1,2)

（iii）

(F(l)是谱函数)

如果{x_n, n=0,±1,L}是均值为零的平稳序列，那末有

其中随机谱函数Z(l)是

（-p≤λ≤p）

它也满足类似于均方连续平稳过程的随机谱函数的性质（i）~(iii)。