关于马尔可夫链的混淆

Question

马尔可夫链方法和条件概率是这两件事有关吗？如果它们碰巧是相关的;请解释他们之间的关系。

Answer 1

在概率论中，条件概率是一个事件发生的可能性的量度（假设，推定，断言或证据）。

给定B的条件概率通常写为P（A | B）

让我们去马尔可夫链

过程满足马尔科夫属性，如果可以作出预测这个过程的未来完全基于现在的状态，也可以知道过程的完整历史。即以系统的当前状态为条件，其未来和过去是独立的。

并定义变量：

A - 一个过程的当前状态

乙 - 过程的预测状态

即使它是未来和过去独立的，我们有一个现状和预测依赖于当前状态作为条件。所以我们可以把它写成P（A | B），它是条件概率定义。

Answer 2

马尔可夫链和条件概率试图回答不同的问题。但是它们在某种意义上是相关的。

在马尔可夫链中，我们看看一个带有状态和状态转换的系统。事件触发状态转换和事件发生的概率可能取决于系统所处的状态 - 这就是条件概率发挥作用的地方。

让我们看看到下面的例子中得到的条件概率的把握第一：

条件概率可以定义为： P(A|B) := P(A AND B)/P(B)

在口头上：乙已经发生的假设事件是多大事件A发生的概率？

实施例：球在一个盒子：

让具有（R）编，（B）略（L）飞行和（H）在一个盒子eavy球。 球可以重或轻，红色或蓝色。

Balls | Light | Heavy | Total 
    ------------------------------------ 
    Red  | 10 | 20 | 30 
    Blue | 30 | 40 | 70 
    Total | 40 | 60 | 100 

采摘P（X），其中X的装置（R）编，（B）略，（H）eavy或（L）飞行，红和光（RL）的红色和重（RH的概率），等等如下：

Event | N | Total | P  
    ---------------------------- 
     R | 30 | 100 | 0.3 
     B | 70 | 100 | 0.7 
     L | 40 | 100 | 0.4 
     H | 60 | 100 | 0.6 
     RL | 10 | 100 | 0.1 
     RH | 20 | 100 | 0.2 
     BL | 30 | 100 | 0.3 
     BH | 40 | 100 | 0.4 

我们谈条件概率，如果我们遇到这样的问题：

什么是具有蓝色球，如果我们已经选择了一个重球的概率是多少？

P（B | H）= P（B和H）/ P（H）= #BH/#H = 40/60 = 2/3

马尔可夫链有一点不同：

对于马尔可夫链的例子，我们需要一个稍微不同的实验。

想象一下两个盒子的设置;一个用（L）轻球和一个用（H）小球。

实验：

• 匹克ñ球，并把它们放回盒子之后。

• 开始在框（L）

• 如果（B）ED球被拾取，从（H）eavy箱选择一个球。

• 如果拿起（R）球，从（L）ight Box中挑选一个球。

问题：它有多大可能是第n个球很重？

当马尔可夫链，我们首先尝试建立一个状态机处理： 状态（L）意味着你从与光球 挑选一个球的结果箱子采摘可能导致同一状态的转换或不同的一个。 转换将被表示为{R，B}并且它们的概率在括号中。

  +-----+ R(2/4)   +-----+ 
      |  |<------------------- |  | 
    .-------->|  |      |  | <------. 
    \R(1/4) | L | B(3/4)   | H |  /B(4/6) 
    \--------|  | ------------------->|  | -----/ 
      +-----+      +-----+ 

现在我们可以将状态表示为矢量，并将所有转换及其概率表示为矩阵。一个步骤后（N = 1），我们将在以下状态：

  ^N 
|1/4 2/6| |1| |1/4| | L | 
|  | x | | = | | = | | 
|3/4 4/6| |0| |3/4| | H | 

所以在状态L是可能性是1/4，状态H是3/4。 如果N = 1000，我们只需重新应用转换矩阵1000次，即 ，这与将矩阵提升到1000次方并应用于状态向量相同。经过1000步后，处于状态L的概率将为〜0.31和H〜0.69。

注：

• 通过设计，该矩阵的项是第一个问题的条件概率。

• 矩阵的n次幂收敛，因此在无限级后处于某种状态的概率。