时间序列模型
- 基本概念
- [AR（auto regression)](#AR（auto regression))
- [MA（moving average)](#MA（moving average))
- ARMA（AR+MA）
- ARIMA
- ARCH
- GARCH
基本概念
- 平稳序列：序列的均值和方差不随时间发生改变
- 白噪声：满足0均值，方差恒定，且无自相关
- 滞后项：时间序列中过去观测值（ y t − 1 , y t − 2 , ⋯ y_{t-1},y_{t-2},\cdots yt−1,yt−2,⋯）对当前值( y t y_{t} yt)的影响
- 误差项：模型无法解释的部分，实际观测值与模型预测值之间的差异( ϵ t = y t − y t ^ \epsilon_{t}=y_{t}-\hat{y_{t}} ϵt=yt−yt^)。在时间序列模型中，通常假设为白噪声。（在MA模型中，滞后项体现在误差项的滞后值上）
AR（auto regression)
y t = c + ∑ i = 1 p ϕ i y t − i + ϵ t y_{t}=c+\sum_{i=1}^{p}\phi_{i}y_{t-i}+\epsilon_{t} yt=c+i=1∑pϕiyt−i+ϵt
其中， c c c为截距， ϵ t \epsilon_{t} ϵt为当前时刻的误差项（通常假设为均值为0，方差恒定的白噪声）， ( y t − 1 , y t − 2 , ⋯ , y t − q ) (y_{t-1},y_{t-2},\cdots,y_{t-q}) (yt−1,yt−2,⋯,yt−q)为滞后项， ϕ i , i ∈ [ 1 , p ] \phi_{i},i\in[1,p] ϕi,i∈[1,p]为滞后项系数
- 适用场景：当前值与过去值存在线性关系，数据呈现自相关性且波动较为平稳
MA（moving average)
y t = c + ∑ i = 1 q θ i ϵ t − i + ϵ t y_{t}=c + \sum_{i=1}^{q}\theta_{i}\epsilon_{t-i} + \epsilon_{t} yt=c+i=1∑qθiϵt−i+ϵt
其中， c c c为截距， ϵ t \epsilon_{t} ϵt为当前时刻误差项(随机波动)， ( ϵ t − 1 , ϵ t − 2 , ⋯ , ϵ t − q ) (\epsilon_{t-1},\epsilon_{t-2},\cdots,\epsilon_{t-q}) (ϵt−1,ϵt−2,⋯,ϵt−q)为过去时刻的误差项， θ i , i ∈ [ 1 , p ] \theta_{i},i\in[1,p] θi,i∈[1,p]为误差项的滞后项系数
- 适用场景：时间序列受随机波动（白噪声）影响较大的场景。
ARMA（AR+MA）
y t = c + ∑ i = 1 p ϕ i y t − i + ∑ i = 1 q θ i ϵ t − i + ϵ t y_{t}=c + \sum_{i=1}^{p}\phi_{i}y_{t-i}+ \sum_{i=1}^{q}\theta_{i}\epsilon_{t-i} + \epsilon_{t} yt=c+i=1∑pϕiyt−i+i=1∑qθiϵt−i+ϵt
- 适用场景：时间序列同时受历史值和历史噪声影响时
ARIMA
y t = c + ∑ i = 1 p ϕ i y t − i + ∑ i = 1 q θ i ϵ t − i + ϵ t y_{t}=c + \sum_{i=1}^{p}\phi_{i}y_{t-i}+ \sum_{i=1}^{q}\theta_{i}\epsilon_{t-i} + \epsilon_{t} yt=c+i=1∑pϕiyt−i+i=1∑qθiϵt−i+ϵt
如果原始时间序列为非平稳时间序列，先进行差分（一阶差分 d i = y i − y i − 1 d_{i}=y_{i}-y_{i-1} di=yi−yi−1），直到变为平稳时间序列
- 适用场景：适用于具有趋势或季节性的时间序列数据
ARCH
在AR中， ϵ t \epsilon_{t} ϵt满足 E [ ϵ t ] = 0 , V a r ( ϵ t ) = σ 2 , C o v ( ϵ i , ϵ j ) = 0 E[\epsilon_{t}]=0,Var(\epsilon_{t})=\sigma^{2},Cov(\epsilon_{i},\epsilon_{j})=0 E[ϵt]=0,Var(ϵt)=σ2,Cov(ϵi,ϵj)=0，即方差恒定，波动是固定的，不随时间变化。而条件异方差（CH）中方差随时间变化，即 V a r ( ϵ t ) = σ t 2 Var(\epsilon_{t})=\sigma_{t}^{2} Var(ϵt)=σt2，适用于表现出波动聚焦的手机壳i：
- 大波动和小波动成簇出现
- 方差不再恒定，依赖历史信息
ARCH：当前的条件方差依赖于过去历史残差平方的加权和，从而刻画波动性的动态变化：
σ t 2 = α 0 + ∑ i = 1 q α i ϵ t − i 2 \sigma_{t}^{2}=\alpha_{0}+\sum_{i=1}^{q}\alpha_{i}\epsilon_{t-i}^{2} σt2=α0+i=1∑qαiϵt−i2
其中， α 0 > 0 , α i ≥ 0 \alpha_{0}>0, \alpha_{i}\ge0 α0>0,αi≥0，特点：方差随时间动态调整；捕捉波动聚焦效应
GARCH
当前的方差依赖于过去历史残差平方的加权和，也依赖于过去历史的方差的加权和
σ t 2 = α 0 + ∑ i = 1 q α i ϵ t − 1 2 + ∑ j = 1 p β j σ t − j 2 \sigma_{t}^{2}=\alpha_{0}+\sum_{i=1}^{q}\alpha_{i}\epsilon_{t-1}^{2}+\sum_{j=1}^{p}\beta_{j}\sigma_{t-j}^{2} σt2=α0+i=1∑qαiϵt−12+j=1∑pβjσt−j2
其中， α i ≥ 0 , β j ≥ 0 \alpha_{i}\ge0,\beta_{j}\ge 0 αi≥0,βj≥0确保条件方差为正数。
相比于ARCH模型的优势：
- 降低模型的阶数：通过引入条件方差的自回归部分，减少了对高阶ARCH项的依赖，简化了模型结构
- 波动持久性：能够捕捉到波动相关的持久性，即大波动通常持续时间较长
- 自适应行：可以灵活调整，适应不同时间序列的特性
ARCH与GARCH的区别
模型转化：ARCH模型的基本思想是条件方差依赖于历史残差项的平方。缺点是当捕捉长时记忆的波动时，必须要引入高阶的ARCH项，导致模型的参数变多，模型复杂度增加。而GARCH模型中，引入了条件方差的自回归部分，使得模型不仅依赖于过去的残差项的平方，还依赖于过去的条件方差。可以将ARCH模型中的高阶残差滞后项"打包"为条件方差的自回归过程。核心思想：通过将高阶ARCH模型中的滞后项简化为条件方差的ARMA过程，减少参数的同时，仍能捕捉长期的波动特征
- ARMA模型：在预测方程中，通过预测值的自回归和残差项的移动平均描述时间序列的动态过程
- GARCH模型：在条件方差中，通过条件方差的自回归和误差项平方的移动平均描述波动率的动态变化
总结：ARCH和GARCH都是针对条件方差建模
- ARCH：类似与MA，描述过去误差项的影响
- GARCH：类似与ARMA，描述过去条件方差和误差项的影响