考虑一个系统，其中两个人坐在一张桌子旁，共享三本书。在任何时候，他们都在看书，桌子上还剩下一本书。当一个人读完他/她当前的书时，他/她将它与桌子上的书交换并开始阅读。阅读时间呈指数分布，由bi，j表示我读书j的人的平均时间。这个马尔可夫链的状态空间是什么？
Let b = [1 2 4]
[5 1 2]
这是什么马尔可夫链的状态空间以及如何构建率矩阵Q？
我从我的讲义中得到了这个练习，不知何故发现状态空间混乱，因为它是一个连续的时间马尔可夫链。
这些都是可能的状态我能想到的：
人I1和I2，图书A，B，C
i1,A
i1,B
i1,C
i2,A
i2,B
i2,C
但我怎么能以图形方式表示这一点？我尝试过，但每个用户有一个单独的马尔可夫链（reducible），我怀疑是正确的。我认为从那里构建基于矩阵b的速率的速率矩阵应该是可以的。
即使您计划编写代码来解决此问题，这也是http://stats.stackexchange.com可能更适合的那些问题之一。原因之一是你有一个容易使用的数学模式，而在你不这样做。但无论如何，我会在这里给出答案。
当你想构建你的马尔可夫链时，无论它是连续时间还是离散链都无所谓，因为它们基于相同的概念并且通过正式简单的过渡相关（就像当长度变成无限小时，差商成为导数）。相反，重要的是你正确地获得国家的信息内容。所以，为了进行转换，需要评估这里需要的内容。
为此，您提出的状态变量还不够：它只包含一个阅读器，并且缺少时间。很明显，你需要读者和状态变量中的书籍。但是他们开始的时间也是需要的，否则你不知道他们什么时候完成这本书。
所以，一个具有可变的状态下结束了
S = ({book_reader_1, start_time_1}, {book_reader_2, start_time_2})
转移函数然后可以通过从start_time指数分布积分为当前时间t，这给读者已经完成的概率来评价在时间t。你需要为两个读者都这样做，但是你可以单独做，因为它们不会影响他们的阅读时间。