马尔科夫链
马尔可夫链（Markov Chain）是一种描述随机过程（Stochastic Process）的数学模型，具有"无记忆性"（Markov Property），即未来状态只依赖于当前状态，而与过去状态无关。马尔可夫链广泛应用于物理学、生物学、经济学、计算机科学等领域，是随机过程理论中的基础工具之一。
以下是马尔可夫链的详细介绍：
1. 马尔可夫链的定义
马尔可夫链是一组随机变量 ( {X_n, n \in T} )，其中：
- ( X_n ) 表示在时刻 ( n ) 的状态。
- 状态空间 ( S ) 是 ( X_n ) 可能取值的集合，可以是离散的或连续的。
- 马尔可夫性质（Markov Property）：
P(X_{n+1} = x_{n+1} \| X_n = x_n, X_{n-1} = x_{n-1}, \\dots, X_0 = x_0) = P(X_{n+1} = x_{n+1} \| X_n = x_n)
即未来状态 ( X_{n+1} ) 只依赖于当前状态 ( X_n )，而与过去状态 ( X_{n-1}, \dots, X_0 ) 无关。
2. 马尔可夫链的分类
- 离散时间马尔可夫链（DTMC）：时间 ( T ) 是离散的，例如 ( T = {0, 1, 2, \dots} )。
- 连续时间马尔可夫链（CTMC）：时间 ( T ) 是连续的，例如 ( T = [0, \infty) )。
- 有限状态马尔可夫链：状态空间 ( S ) 是有限的。
- 无限状态马尔可夫链：状态空间 ( S ) 是无限的。
3. 转移概率与转移矩阵
-
转移概率：从状态 ( i ) 转移到状态 ( j ) 的概率，记作：
P_{ij} = P(X_{n+1} = j | X_n = i)
-
转移矩阵：对于有限状态马尔可夫链，转移概率可以表示为矩阵 ( P = [P_{ij}] )，其中：
- ( P_{ij} \geq 0 )。
- 每行概率之和为 1，即 ( \sum_j P_{ij} = 1 )。
4. 马尔可夫链的性质
- 齐次性：如果转移概率 ( P_{ij} ) 不随时间变化，则称马尔可夫链是齐次的。
- 不可约性：如果从任意状态 ( i ) 可以到达任意状态 ( j )，则称马尔可夫链是不可约的。
- 周期性：如果状态 ( i ) 的返回时间具有最大公约数 ( d > 1 )，则称状态 ( i ) 是周期性的；否则是非周期性的。
- 常返性：如果从状态 ( i ) 出发，最终一定会返回 ( i )，则称状态 ( i ) 是常返的；否则是瞬时的。
5. 稳态分布
对于不可约、非周期性的有限状态马尔可夫链，存在唯一的稳态分布 ( \pi = [\pi_1, \pi_2, \dots, \pi_n] )，满足：
- ( \pi_j \geq 0 )。
- ( \sum_j \pi_j = 1 )。
- ( \pi = \pi P )，即稳态分布是转移矩阵 ( P ) 的左特征向量。
稳态分布表示在长时间运行后，系统处于各个状态的概率分布。
6. 马尔可夫链的应用
- 物理学：描述粒子的随机运动（如布朗运动）。
- 生物学：建模基因序列或种群动态。
- 经济学：分析市场状态或消费者行为。
- 计算机科学：用于算法设计（如蒙特卡罗方法）和自然语言处理（如语言模型）。
- 排队论：研究服务系统的等待时间和队列长度。
7. 马尔可夫链的示例
示例 1：天气模型
假设天气只有"晴天"和"雨天"两种状态，转移矩阵为：
P = \\begin{bmatrix} 0.9 \& 0.1 \\ 0.5 \& 0.5 \\end{bmatrix}
其中 ( P_{11} = 0.9 ) 表示晴天保持晴天的概率，( P_{12} = 0.1 ) 表示晴天变为雨天的概率。
示例 2：随机游走
在一维空间中，粒子每次向左或向右移动一步，概率均为 0.5。这是一个无限状态马尔可夫链。
8. 马尔可夫链的计算
- 稳态分布计算：通过求解方程 ( \pi = \pi P ) 得到稳态分布。
- 状态概率计算 ：使用 Chapman-Kolmogorov 方程计算多步转移概率：
P\^{(n)}_{ij} = P(X_n = j \| X_0 = i)
其中 ( P^{(n)} = P^n ) 是转移矩阵的 ( n ) 次幂。
9. 马尔可夫链的扩展
- 隐马尔可夫模型（HMM）：状态不可观测，但可以通过观测序列推断状态。
- 马尔可夫决策过程（MDP）：在马尔可夫链中引入决策和奖励，用于强化学习。
- 连续时间马尔可夫链（CTMC）：时间连续，状态转移由速率矩阵描述。
10. 学习马尔可夫链的预备知识
- 概率论基础（随机变量、条件概率、期望等）。
- 线性代数（矩阵运算、特征向量等）。
- 基本的微积分知识。
马尔可夫链是研究随机过程的重要工具，其简洁的数学形式和广泛的应用使其成为许多领域的基础模型。
泊松过程
泊松过程（Poisson Process）是一种重要的随机过程，用于描述事件在时间或空间中的随机发生。它具有无记忆性（Markov Property）和独立增量性，广泛应用于排队论、通信网络、保险精算、物理学等领域。以下是泊松过程的详细介绍：
1. 泊松过程的定义
泊松过程是一种计数过程 ( {N(t), t \geq 0} )，其中 ( N(t) ) 表示在时间区间 ( [0, t] ) 内发生的事件次数。泊松过程满足以下条件：
- 独立增量性：在不相交的时间区间内，事件发生的次数相互独立。
- 平稳增量性：在任意时间区间 ( [t, t+s] ) 内，事件发生的次数只与区间长度 ( s ) 有关，而与起点 ( t ) 无关。
- 稀有性：在很短的时间区间内，发生多个事件的概率趋近于 0。
2. 泊松过程的参数
泊松过程由一个参数 ( \lambda )（称为强度或速率）描述，表示单位时间内事件发生的平均次数。例如：
- 如果 ( \lambda = 2 )，则表示平均每小时发生 2 次事件。
3. 泊松过程的性质
- 事件间隔时间 ：事件之间的间隔时间 ( T_i ) 服从指数分布，其概率密度函数为：
f(t) = \\lambda e\^{-\\lambda t}, \\quad t \\geq 0
均值为 ( \frac{1}{\lambda} )。 - 事件次数分布 ：在时间区间 ( [0, t] ) 内，事件发生的次数 ( N(t) ) 服从泊松分布，其概率质量函数为：
P(N(t) = k) = \\frac{(\\lambda t)\^k}{k!} e\^{-\\lambda t}, \\quad k = 0, 1, 2, \\dots
均值和方差均为 ( \lambda t )。
4. 泊松过程的分类
- 齐次泊松过程：强度 ( \lambda ) 是常数。
- 非齐次泊松过程：强度 ( \lambda(t) ) 是时间的函数。
- 复合泊松过程：每次事件发生时，伴随一个随机变量（如索赔金额）。
- 空间泊松过程：事件发生在空间而非时间中。
5. 泊松过程的模拟
泊松过程可以通过以下步骤模拟：
- 生成事件间隔时间 ( T_i )，服从指数分布 ( \text{Exp}(\lambda) )。
- 计算事件发生时间 ( S_i = \sum_{j=1}^i T_j )。
- 重复上述步骤，直到 ( S_i ) 超过预设的时间上限。
6. 泊松过程的应用
- 排队论：描述顾客到达服务系统的时间间隔。
- 通信网络：建模数据包的到达过程。
- 保险精算：分析保险索赔的发生次数。
- 物理学：描述放射性衰变或光子到达。
- 生物学：建模基因突变或细胞分裂。
7. 泊松过程的示例
示例 1：顾客到达
假设某商店每小时平均有 5 名顾客到达，则顾客到达过程可以建模为泊松过程，强度 ( \lambda = 5 )。
示例 2：电话呼叫
某呼叫中心每分钟平均接到 2 个电话，则电话呼叫过程可以建模为泊松过程，强度 ( \lambda = 2 )。
8. 泊松过程的计算
- 事件次数概率 ：计算在时间 ( t ) 内发生 ( k ) 次事件的概率：
P(N(t) = k) = \\frac{(\\lambda t)\^k}{k!} e\^{-\\lambda t}
- 事件间隔时间概率 ：计算事件间隔时间小于 ( t ) 的概率：
P(T \\leq t) = 1 - e\^{-\\lambda t}
9. 泊松过程的扩展
- 非齐次泊松过程 ：强度 ( \lambda(t) ) 随时间变化，事件次数分布为：
P(N(t) = k) = \\frac{(\\int_0\^t \\lambda(s) ds)\^k}{k!} e^{-\\int_0^t \\lambda(s) ds}
- 复合泊松过程 ：每次事件伴随一个随机变量 ( Y_i )，总过程为：
X(t) = \\sum_{i=1}\^{N(t)} Y_i
- 空间泊松过程 ：事件发生在空间区域 ( A ) 中，强度为 ( \lambda )，事件次数分布为：
P(N(A) = k) = \\frac{(\\lambda \|A\|)\^k}{k!} e\^{-\\lambda \|A\|}
10. 学习泊松过程的预备知识
- 概率论基础（随机变量、分布函数、期望等）。
- 微积分（积分、指数函数等）。
- 基本的统计推断方法。
泊松过程是描述随机事件发生的经典模型，其简洁的数学形式和广泛的应用使其成为随机过程理论中的重要工具。