一、概念
马尔可夫链（Markov Chain, MC）是具有 "无后效性" 的随机过程 ，核心是 "未来状态的概率仅依赖于当前状态，与更早期的状态无关"。它是时间序列分析、强化学习、蒙特卡洛方法（MCMC）等领域的基础数学模型，广泛用于描述状态随时间随机转移的系统（如天气变化、股票波动、用户行为序列等）。
二、原理
马尔可夫链的本质是马尔可夫性（Markov Property） ，其数学定义为：对于任意时刻 t，系统的下一个状态的条件概率，仅由当前状态
决定，与历史状态无关。即：
三、构成要素
一个完整的马尔可夫链由3个核心要素构成，缺一不可。
1、状态空间S
系统所有可能的 "状态" 集合，可分为离散状态空间 （有限或无限）和连续状态空间（通常称为 "马尔可夫过程"）。
- 离散有限集合：如天气，S={晴，雨，阴}；
- 离散无限集合：如随机游走，S={...，-2，-1，0，1，2，...}，状态为整数位置；
- 连续集合：如温度，S={-50，50}，状态为温度值，连续，此时为马尔可夫过程。
2、转移概率矩阵P
描述 "从一个状态转移到另一个状态的概率"，是马尔可夫链的 "动态核心"。对于离散状态空间，转移概率矩阵 P 是一个 n × n 的矩阵，其中元素
表示"当前状态为
时，下一个状态为
的概率"，即：
转移概率矩阵具有如下几个关键性质：
- 每行元素之和为1（概率的归一性）：
，从任意状态出发，下一个状态必属于S；
- 元素非负：
3、初始状态分布
系统在初始时刻 t=0 的状态概率分布，即，满足
，且
。例如，当天气的初始时刻（t=0）为晴的概率是0.5，雨的概率是0.3，阴的概率是0.2，则有：
四、关键性质（离散有限状态）
马尔可夫链的长期行为由其结构决定，核心性质包括：
1、齐次性（时间齐次性）
转移概率不随时间变化，即从状态到
的概率，在任意时刻t都相同，数学表达式为：
大多数场景下默认讨论 "齐次马尔可夫链"（如天气转移概率不随季节变化），非齐次链（转移概率随时间变）需额外标注。
2、不可约性
对于任意两个状态，存在某个时刻
，使得从
出发经过k步转移到
的概率大于0。即系统可以从任意一个状态到达其他任意状态，不存在孤立的子状态集合。
为了直观理解，我们可以举一个反例，若状态空间分为{晴,阴}和{雨}，且 "晴 / 阴无法转移到雨，雨也无法转移到晴 / 阴"，则该链是 "可约的"。
3、遍历性
若马尔可夫链不可约且 "非周期"（状态的返回周期为 1，即不会陷入 "晴→阴→晴→阴" 的固定周期循环），则存在平稳分布，满足
。且无论初始分布
如何，当转移步数
时，k步转移概率矩阵
的每行都会收敛到
。
简单来说，就是系统长期运行后，状态分布会稳定在一个固定的平稳分布上，与初始状态无关。例如天气链长期运行后，晴、雨、阴的概率会稳定在某个值，不再变化。
五、示例
这里，我们用矩阵表示马尔可夫链状态转移，并计算平稳分布。设有三个状态S={s1,s2,s3}，则其状态转移概率矩阵P定义为：
其中，表示从状态
转移到
的概率，且每行元素之和为1，满足概率归一性。这里，我们设定每个状态的具体数值，有：
下面我们计算平稳分布，根据定义，平稳分布需要满足以下条件：
- 转移后分布不变：
- 概率归一性：
- 非负性：
我们将展开为方程组有：
解方程得，验证得
，满足平稳分布条件。