《马尔可夫》马尔可夫链

Ddcc 2018年8月1日 10:27 1021916684@qq.com
马尔可夫性 马尔可夫过程 马尔可夫链

如需转载请注明出处:http://zczzxz.top,整理不易请谅解。

安德雷·马尔科夫

      1856年出生的马尔科夫是俄国非常有名的数学家,他和切比雪夫、李雅普诺夫一起,将概率论从濒临衰亡的边缘拯救出来。三人中以马尔科夫的贡献尤为重要,潜心向学的马尔科夫,年仅40岁就被选为科学院院士,一生中发表的概率论方面的文章或专著共有二十五篇(部)之多。他研究并提出一个用数学方法就能解释自然变化的一般规律模型,后人将其命名为马尔科夫链(Markov Chain)。

马尔可夫性:过程或(系统)在时刻t0所处的状态为已知的条件下,过程在时刻t>t0所处状态的条件分布过程在时刻t0之前所处的状态无关的特性。

马尔可夫过程:具有马尔可夫性的随机过程称为马尔可夫过程。

马尔可夫链:是具有马尔可夫性质的随机变量的一个数列。

特性

1、  转移概率

条件概率为马氏链在时刻ai条件下,在时刻m+n转移到状态aj的转移概率

转移概率具有特点:

由转移概率组成的矩阵称为马氏链的转移矩阵,它是随机矩阵。

2、  平稳性

当转移概率只与i,j及时间间距n有关时,称转移概率具有平稳性。同时也称这些链是齐次的或时齐的。

以下为n步转移概率矩阵:

对于齐次的马氏链,n步转移概率矩阵是一步转移矩阵的n次方,即:

设任意相继的两天中,雨天转晴天的概率为2/5,晴天转雨天的概率为1/4,任一天晴或雨是互为逆事件。Xn表示第n天状态,0表示晴,1表示雨。试定出马氏链转移概率矩阵。又已知今天为晴天,问后天为晴天的概率等于多少?

状态转移矩阵:

看一下树状图的形式:

可以看成是划红线的两个部分的概率和。