3、时间连续、状态离散的马尔科夫过程

这里只考虑时齐的马尔科夫过程。

[切尔曼-柯尔莫哥洛夫方程]  令p_ij(t)表示时间间隔为t、系统从状态E_i转移到状态E_j的概率，那末

，  p_ij(t)≥0

对于t>0,τ>0有切尔曼-柯尔莫哥洛夫方程

它是马尔科夫过程研究的基础。

[遍历性定理]  任何时间连续，状态有限(E₁,L，E_n)的马尔科夫过程，如果存在一个t₀，使得对于任何的i,r,p_ir(t₀)>0,那末极限

   (0≤j,  i≤n)

存在并且与i无关。

[柯尔莫哥洛夫的前进和后退方程]  如果只有有限个状态的马尔科夫过程满足

                      

就称它是随机连续的马尔科夫过程。

对状态有限的随机连续的马尔科夫过程，有柯尔莫哥洛夫的前进和后退方程：

                      (前进方程)

                       (后退方程)

其中