简单介绍一下马尔可夫链如何使用，尽可能少的数学或统计量。

马尔可夫链的大多数解释都直接渗透到数学和统计中，而没有提供任何直观的概念意义。教科书和讲座通常强调准确性和效率，而不是实际的可理解性。在本文中，我将尝试使用一个简单的示例并尽可能少地使用数学或统计量来提供马尔可夫链背后的基本直觉。本文并非旨在全面，而是旨在补充您在教科书及其他地方看到的更正式的解释。

什么是马尔可夫链？

马尔可夫链是一系列事件，其中某件事发生的可能性仅取决于它之前发生的事情。对于音乐家而言，这就像使下一张专辑的成功仅取决于最新专辑的成功一样。遥远的过去发生的一切都无所谓。

让我们考虑4个时间段。在马尔可夫链中，时间4中发生的任何情况仅取决于时间3中的情况。时间1或时间2中发生的任何事情对于时间4而言都无关紧要。

在马尔可夫链中，时间4的情况仅取决于时间3的情况。无论时间1和时间2发生什么，都不会直接影响时间4的情况。

马尔可夫链为何重要？

我们应该关心马尔可夫链有两个普遍的原因。

首先，现实世界中的许多事物的行为有点像马尔可夫链。我们可以想到一些例子，这些例子中的不久的将来主要取决于最近的过去而不是整个历史。

天气是一个常见的例子。如果今天下雨，那么明天肯定会下雨。明天的天气可能会像今天的天气。一个月前是否下雨并没有真正影响明天的天气预报。这不是马尔可夫链的完美示例，因为我们有像季节之类的东西，但是非常合适。

其次，马尔可夫链使我们能够将复杂的问题减少为一组简单的步骤，可以轻松地对其进行编程并在计算机上运行。当我们有一台计算机执行相同的步骤数千次时，我们可以为无法解决的问题提供非常接近的答案。稍后，我将介绍马尔可夫链如何使我们使用一组称为马尔可夫链蒙特卡洛方法的机器学习技术。

那么，马尔可夫链如何工作？举例说明很有帮助。

示例：iPhone与Android

让我们考虑一下智能手机用户，我们可以将其分为两种类型：iPhone用户和Android用户。这些是我们可能的状态。成为iPhone用户是一种状态。成为Android用户是另一种状态。完整的可能性就是状态空间。在这种情况下，状态空间仅由两个可能的状态组成：成为iPhone用户或成为Android用户。

假设每年每个人都购买新的智能手机。您可以坚持使用当前类型的智能手机或开关。假设用户倾向于坚持使用当前的智能手机类型，但有时可能会切换。

因此，如果您当前使用的是iPhone，那么您购买的下一部手机可能是另一部iPhone。假设这个机率是80％。但是，您也有机会切换到Android。假设这种切换的可能性为20％。

而且，如果您当前使用的是Android手机，则可能会再次购买Android手机-概率为70％-但您也有可能切换到iPhone-概率为30％。

明年获得iPhone或Android手机的可能性取决于您今年是iPhone还是Android用户

与您当前的智能手机类型保持不变或切换的所有这些概率中的每一个都称为过渡概率。过渡概率是"条件概率"，其中一年中成为iPhone或Android用户的概率取决于（"有条件"）您上一年是iPhone还是Android用户。

所有这些转移概率加在一起构成一个转移矩阵。 过渡矩阵使我们能够针对每种可能的未来状态（无论您明年是iPhone用户还是Android用户），针对每种可能的当前状态绘制概率，无论您今年是iPhone用户还是Android用户。

我们可以考虑不仅会在今年和明年发生的情况，而且还会考虑后一年的情况。

如果您在第1年以iPhone用户身份开始，那么这些就是在第2年和第3年成为iPhone用户或Android用户的可能性

如果我们在第1年开始使用iPhone，那么在第2年，我们有80％的机会再次拥有iPhone，而有20％的机会拥有Android手机。我们可以在3年级再次做同样的事情，但是这次我们将过渡概率应用于2年级的情况。如果在第2年拥有iPhone，那么在第3年，我们就有80％的机会拥有iPhone和20％的机会拥有Android手机。但是，如果我们在第2年拥有Android手机，那么在第3年，我们拥有iPhone的机会为30％，拥有Android手机的机会为70％。

我们可以在许多智能手机用户的小组级别上考虑这一点。假设我们的用户最初是90％的iPhone用户和10％的Android用户的混合体。这称为初始分布。

如果我们将初始分配应用于一组100个智能手机用户，则意味着在第一年中，我们将从90个iPhone用户和10个Android用户开始。在第2年，有些人将切换，而有些人将保留其现有的智能手机平台。有多少人会切换，有多少人会留下，取决于我们之前设置的过渡概率。

在90位iPhone用户中：

• 其中80％将使用iPhone，这意味着72个iPhone用户
• 20％的用户将切换到Android，这意味着18个Android用户

在10个原始Android用户中：

• 70％的用户将继续使用Android，这意味着有7位Android用户
• 30％的用户将切换到iPhone，这意味着3个iPhone用户

因此，在第2年，如果将所有这些加在一起，最终得到：

• 75位iPhone用户
• 25个Android用户

对于第3年，我们将再次应用相同的过渡概率，但改为第2年。我们在第二年的iPhone用户中有一部分会在第三年保留iPhone用户（占80％），而其余的会切换到Android（占20％）。我们在第二年的Android用户中有一部分会保留在第三年的Android用户中（70％），而其余的会改用iPhone（30％）。对于3年级，您是否在第1年时最初是iPhone用户并不重要，重要的是您在第2年中是否是iPhone用户。

对于第4年和第5年以及此后的每年，我们会将过渡概率应用于上一年的智能手机用户分布。我们可以根据需要执行很多年。

固定分布

如果我们继续多年，iPhone用户和Android用户的比例最终将趋于稳定。您可以在下面看到，大约6年后，我们的用户群最终稳定在大约60％的iPhone用户和40％的Android用户。在100年，1000年或100万年之后，我们的iPhone和Android用户比例基本保持不变。

当我们观察长期分布会发生什么时，我们发现了极限分布。当我们的极限分布收敛到稳定值时，我们称其为平稳分布（也称为不变分布或平衡分布）。因此，对于我们的示例，从长远来看，iPhone用户和Android用户的60/40比例是固定分布。

事实证明，从长远来看，我们融合到iPhone和Android用户的确切比例仅取决于我们的过渡概率。如果我们改变任何过渡概率，那将改变我们的平稳分布。例如，如果我们将今年iPhone用户再次坚持使用iPhone的可能性从80％增加到90％，从长远来看，我们最终将iPhone用户与Android用户的比例分成了75/25。这些长期平稳分布可以使用线性代数从数学上找到。

事实证明，从长远来看，我们的初始分布并不重要。不管我们是从90％的iPhone用户和10％的Android用户起步，还是从50％的iPhone用户和50％的Android用户起步。花费的时间可能会有所不同，但是只要我们的过渡概率保持不变，最终我们将达到相同的稳态60/40分裂。

遍历马尔可夫链

从长远来看，是否所有的马尔可夫链都收敛到我们示例中的单个平稳分布？不会。事实证明，只有一种特殊类型的马尔可夫链（称为遍历马尔可夫链）会像这样收敛到单个分布。遍历马尔可夫链是满足两个特殊条件的马尔可夫链：不可约和非周期性。我将解释这些含义。

条件1：不可还原

首先，我们必须能够最终从任何一个状态进入任何其他状态。我们永远不会永远陷入一个或一组状态。如果这是真的，那么马尔可夫链被认为是不可约的。

对于我们的智能手机示例来说就是如此。如果您是iPhone用户，则可以在明年或将来的某个时间成为Android用户。如果您是Android用户，则可以在明年或将来的某个时间成为iPhone用户。如果我们以不同的方式设置示例，以便一旦您成为iPhone用户，就永远无法切换到拥有Android手机，那么我们的马尔可夫链将不再是不可简化的。

请记住，要使马尔可夫链不可约，您不必立即到达每个状态。可能的情况是，要采取某种步骤才能达到某种状态。但是重要的是，最终您可以通过足够的步骤达到任何状态。

条件2：非周期性

其次，我们不会陷入定期在同一组状态之间来回循环的麻烦。换句话说，我们的马尔可夫链必须是非周期性的。

首先解释什么是周期马尔可夫链是有帮助的。当我们每隔2或3个或更多个规则时间间隔最终以相同状态结束时，马尔可夫链是周期性的。对于我们的智能手机示例，让我们回到只考虑单个用户的角度。这次，假设您每年肯定要切换使用哪种类型的智能手机（因此切换的可能性为1）。因此，如果您从第1年开始使用iPhone，那么在第2年就拥有Android手机，然后在第3年又拥有iPhone。

周期性马尔可夫链的一个例子。如果我们每年以100％的概率更换手机，那么每隔一年我们就会得到一部iPhone，而每隔两年就会得到一部Android手机。

您会很快发现，在奇数年中，您肯定会拥有iPhone，甚至在数年中，您肯定会拥有Android手机。在这种情况下，您的马尔可夫链是周期性的，因为您以固定的时间间隔（在这种情况下，每两年一次）在iPhone和Android手机之间来回循环。

但是在我们具有各种转换概率的原始智能手机示例中，我们永远都不会以这种规律最终在iPhone和Android之间循环。尽管我们确实会在两个可能的状态（iPhone和Android）之间来回切换，但我们并非定期进行此操作。换句话说，并非每2年或每3年购买一部iPhone都是如此。没有固定的模式可以预测每隔奇数年或偶数年或每3或5年就拥有一部iPhone。由于没有基于时间的模式，因此此马尔可夫链被称为非周期性的。

当满足这两个条件时，即当我们的马尔可夫链既不可约又是非周期性时，那么我们可以说我们的马尔可夫链是遍历的。如果将所有这些放在一起，我们就会得到遍历定理，该定理表明，从长远来看，遍历所有Markov链都会收敛到单个平稳分布，而与我们的初始分布无关。换句话说，如果您在许多时间段内运行这些特殊类型的马尔可夫链之一，则无论您如何开始，都会越来越接近某个分布。

我们可以看到我们的智能手机用户的小组级案例就是这种情况。由于我们设置过渡概率的方式（例如，今年的iPhone用户占明年iPhone用户的80％），我们创建了一个遍历遍历的马尔可夫链。而且由于我们的马尔可夫链是遍历遍历的，因此我们可以应用遍历遍历定理，并且事先知道从长远来看，我们最终将融合到一定数量的iPhone和Android用户。遍历定理使我们无需经历多年的马尔可夫链就能知道这一点。

马尔可夫链蒙特卡洛

我们为什么要关心遍历定理？因为这是称为马尔可夫链蒙特卡洛方法的强大的机器学习技术的基础。马尔可夫链蒙特卡洛方法（通常缩写为MCMC）涉及在计算机上运行马尔可夫链的模拟，以获取复杂的统计问题的答案，而这些问题通常很难解决，甚至无法解决。

遍历定理是使用马尔可夫链蒙特卡罗方法的基础，因为它可确保收敛。只要在建立马尔可夫链蒙特卡洛模拟时使用遍历马尔可夫链，我们就可以确保由我们的模拟生成的数据点确实会收敛到单个分布。但是在另一篇文章中，将进一步介绍马尔可夫链蒙特卡罗方法。