马尔可夫

详解机器学习中的马尔可夫链马尔可夫链（Markov Chain, MC）是具有 “无后效性” 的随机过程，核心是 “未来状态的概率仅依赖于当前状态，与更早期的状态无关”。它是时间序列分析、强化学习、蒙特卡洛方法（MCMC）等领域的基础数学模型，广泛用于描述状态随时间随机转移的系统（如天气变化、股票波动、用户行为序列等）。

强化学习-马尔可夫模型前文提到了强化学习源自马尔可夫决策过程，本文从马尔可夫概念入手，讲解和马尔可夫有关的模型和概念。马尔科夫模型是一个很大的概念，从模型的定义和性质来看，具有马尔科夫性质、并以随机过程为基础模型的随机过程/随机模型被统称为马尔科夫模型，其中就包含我们悉知的马尔科夫链、马尔科夫决策过程、隐马尔科夫链（HMM）和马尔科夫随机场等随机过程/随机模型。

我是有底线的