markov-chains

    0热度

    1回答

    生成马尔科夫转移矩阵想象我有一系列的4个可能的状态马尔可夫(A,B,C,d): X = [A, B, B, C, B, A, D, D, A, B, A, D, ....] 怎样才能使用Python马尔可夫变换矩阵?矩阵必须是4乘4,表示从每个状态移动到其他3个状态的概率。 我一直在看很多例子,但在所有这些例子中,矩阵是给出的,而不是基于数据计算的。 我也看着hmmlearn,但是我没有看到如

    0热度

    1回答

    有没有人可以帮我设计状态空间图马尔科夫决策过程从伯克利CS188赛车的例子。 赛车例如 例如,我可以做100个动作,我想运行值迭代得到最大化回报我最好的政策。 当我只有3个状态(酷,温暖和过热)时,我不知道如何添加“结束”状态并完成MDP。 我在考虑拥有100个冷静状态和100个暖状态,例如从Cool1你可以去Cool2,Warm2或Overheated等等。 在这个例子中,我接近0的状态值高于接

    0热度

    1回答

    我试图比较马尔可夫链(MC)模拟和实际数据的直方图。我尝试使用下面的代码来运行模拟,但我并不完全了解它。 R似乎已经接受了代码,但我不知道如何运行直方图......对于背景,数据是美国经济的扩张和收缩(在这里找到:http://www.nber.org/cycles.html)。我已经将这两个状态之间的转换矩阵设置为“P”,其中列总计为1,状态之间的转换计算为“每个状态中的转换/月数”。我认为,“

    1热度

    1回答

    我试图从头开始构建马尔可夫链用户转换矩阵,但卡在字典值分配中。下面是示例代码 ## user purchase sequence seperated by '|' at different time intervals ## lets say in first purchase user bought 3 4 12 23 45 41 25 these products then 4 5 12 1

    0热度

    1回答

    我试图增加在每一步的离散马尔可夫链中的初始状态向量,以便在某个将来的点时间解决状态向量元素,似乎相当麻烦。 举一个简单的例子,假设一个公司有一个初始状态向量,它由具有3个转换状态(入门级,升级,退出公司)的入门级雇员组成。 1000入门级员工的初始状态向量被定义为: initialstate <- t(as.matrix(c(1000,0,0))) 剩余入门级,获得晋升,或离开公司的过渡矩阵由

    0热度

    1回答

    有大量的文字模拟马尔可夫链的例子,但是,对于一个状态改变(基于概率随着时间的推移前的天气变化),我找不到任何的例子。对于恩,可以说 Sunny --> Sunny = probability is 0.8 Sunny --> Rainy = probability is 0.2 我在寻找什么是写一个算法,它可以显示当前的天气,直到N无步骤的方法。 为e.g:f(3) => S,S,R 我猜我

    0热度

    2回答

    我试图找到链状态从k-1跳转到状态1,然后命中状态k的概率。 任何人都可以发现我的错误吗? 我试图模拟马尔科夫链,但我想做一个代码,让我找到k ={1, 2, 3, ........17}的概率。但我真的无法获得代码。 这是错误消息,我总是得到 Error in while (X[i] > 1 && X[i] < k) { : missing value where TRUE/FALSE

    1热度

    1回答

    我想在R中绘制一个图,它绘制了对于不同k值的马尔可夫链中的最终状态之前击中第一个状态的概率。但是打印时,如果我只得到k的最终值,而不是对于所有的k为1〜17 这是一个问题: 对于p = 0.5,Q = 0.1,产生的代码来估计概率在最终状态之前击中状态1,对于k = 1,...,15。产生对k的估计图。其中k =过渡维数 任何人都可以发现我的错误吗? for(k in 1:17) { p <-

    -1热度

    1回答

    我在计算转移概率矩阵时遇到了麻烦。我有几个ID和他们的搜索模式(页面访问)。例如: Id Page 1 A 1 A 1 B 2 C 2 C 3 D 3 E 3 F 1 D 1 G 4 G 4 C 4 H 2 D 2 C 我也有页面的初始概率:P_a,....,P_h。如何在R(最好)或Python中进行编码,以获得所有id的Page变量的转换概率矩阵。我知道如何做

    1热度

    1回答

    我正在寻找一种方式来产生柯尔莫哥洛夫 - 查普曼方程Mathcad来解决马尔可夫链的问题。 问题是要找到系统的状态之一的概率。系统有N个组件。 我有2^N个节点(状态),和2 * N参数的曲线图:N a的,这是概率第N个成分会分解和N b的,这是破组件将成为健康的概率再次。 N可以是接近10,这意味着,将有1024个方程式至少,所以我在寻找一种方式来产生这些方程。 的Mathcad是不是必需的,任