论文阅读_股票预测强化学习_StockFormer

1 StockFormer

PLAINTEXT

|-----------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 1 2 3 4 5 6 7 | 中文名称:StockFormer: 混合交易机与预测编码 英文名称:StockFormer: Learning Hybrid Trading Machines with Predictive Coding 作者:Siyu Gao, Yunbo Wang∗, and Xiaokang Yang 机构:MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University 发表时间:IJCAI-23 代码:https://github.com/gsyyysg/StockFormer 地址:https://www.ijcai.org/proceedings/2023/0530.pdf |

2 读后感

这里采用了预测编码模型与强化学习的结合方法。三个独立的预测编码模型分别用于预测短期(1 天)和长期(5 天)的回报率,以及各股票间的动态相关性。在训练预测编码模型的过程中,可获取有价值的潜在状态,并将这些状态组合成一个状态空间,用于训练强化学习模型。

论文带来一些启发:可以将复杂的问题分解为多个简单的部分进行求解,股票数据的特性使得我们可以获得中间过程的目标数据,用于分别训练模型。此外,采用强化学习的方法也消化了股票交易的复杂性,尤其适用于状态空间和动作空间不断变化的情况。

另外,作者开源的代码逻辑清晰,长短适中,也是股票 + 强化学习算法很好的入门工具。

3 摘要

  • 目的:传统的基于强化学习的金融解决方案直接在嘈杂的市场数据上优化交易策略,而没有明确考虑不同投资资产的未来趋势和相关性
  • 方法:提出了一个混合交易机器,它整合了预测编码和强化学习 的优势。该模型通过三个修改过的 Transformer 分支来提取长期和短期未来动态以及资产关系的有效潜在状态
  • 效果:在三个公开的金融数据集上,StockFormer 在投资组合回报和夏普比率方面显著优于现有方法。

4 方法

  • 预测编码:通过自监督学习方式训练三个 Transformer-like 网络分支,分别学习关系、长期和短期隐藏表示(图中灰色和橙色模块)。
  • 策略优化:在第二阶段,StockFormer 将三种类型的潜在表示集成到一个统一的状态空间中,并通过 actor-critic 方法学习交易策略(图中绿色模块)。

RL 通过与环境的交互来优化决策,在给定的状态下选择最佳的行动(买入、卖出或持有),以最大化长期回报。

5 实验

实验数据集使用了:使用 CSI-300(沪深 300:China Securities Index 300)、NASDAQ-100(美国)和加密货币市场的数据集。请注意 2019-2021 年是个牛市阶段,所以模型效果可能好于一般情况。

6 代码分析

  • 作者已将算法在 github 上开源,链接如下:https://github.com/gsyyysg/StockFormer。
  • 整个项目代码由约 12000 行 Python 组成,其中包含了强化学习工具包 stable-baseline3 的代码,若剔除此部分,剩余约 4000 行代码。
  • 项目中的数据涵盖了从 2010 年到 2022 年,总共 88 支 A 股股票的数据。
  • 项目中使用开源项目 yfinance(YahooFinance)下载股票数据,支持 A 股数据下载。
  • 项目中包含了四个模型的训练代码,对应的入口文件分别是 train_xx.py。
相关推荐
何大春8 小时前
【弱监督语义分割】Self-supervised Image-specific Prototype Exploration for WSSS 论文阅读
论文阅读·人工智能·python·深度学习·论文笔记·原型模式
Bearnaise2 天前
GaussianDreamer: Fast Generation from Text to 3D Gaussians——点云论文阅读(11)
论文阅读·人工智能·python·深度学习·opencv·计算机视觉·3d
PD我是你的真爱粉2 天前
Quality minus junk论文阅读
论文阅读
regret~3 天前
【论文笔记】LoFLAT: Local Feature Matching using Focused Linear Attention Transformer
论文阅读·深度学习·transformer
Maker~3 天前
23、论文阅读:基于多分辨率特征学习的层次注意力聚合GAN水下图像增强
论文阅读·学习·生成对抗网络
Q_yt3 天前
【图像压缩感知】论文阅读:Content-Aware Scalable Deep Compressed Sensing
论文阅读
江海寄3 天前
[论文阅读] 异常检测 Deep Learning for Anomaly Detection: A Review(三)总结梳理-疑点记录
论文阅读·人工智能·深度学习·机器学习·计算机视觉·语言模型·视觉检测
江海寄3 天前
[论文阅读] 异常检测 Deep Learning for Anomaly Detection: A Review (四)三种分类方法对比
论文阅读·人工智能·深度学习·机器学习·计算机视觉·分类
代码太难敲啊喂3 天前
【Anomaly Detection论文阅读记录】Resnet网络与WideResNet网络
论文阅读·人工智能
YunTM3 天前
革新预测领域:频域融合时间序列预测,深度学习新篇章,科研涨点利器
论文阅读·人工智能·深度学习