下面是一个简单的两状态马尔可夫链：

假设建立了描述小孩状态的马尔可夫链模型，可以将“玩耍”、“吃饭”、“睡觉”和“哭闹”作为状态，这些状态和其他行为一起 构成一个“状态空间”：所有可能状态的列表。
此外，在状态空间的顶部，马尔可夫链告诉你从一个状态跳到另一个状态或“过渡”的可能 性。比如，小孩正在玩接下来的五分钟内入睡而不是哭的可能性。

speed

真正使用MDP是并不总是绘制马尔可夫链图，而是使用“转移矩阵”来计算概率。状态空间中的每个状态作为一行一列包含一次， 矩阵中的每个单元格告诉您从其行状态转换到其列状态的概率。所以，在矩阵中，单元格所做的工作与图表中箭头所做的相同。