从开始学习深度学习就想用深度学习尝试实现对股市涨跌对预测，虽然不抱很大期望，权当练习了。
硬件
I5 + RTX 2060 + 16G内存
数据
首先，不管用什么模型都需要数据。我的数据来源一开始使用的是XTP的测试接口，后来陆续使用了sina的和东财的，发现sina的数据更加稳定些。所以现在的数据来源是sina抓取分时数据（不是全部大A数据，只抓取可转债和对应的正股数据），然后根据每日收盘数据生成日K数据和其它时间间隔的数据。东财数据作为备份。
另外，每周末收盘，我会自动化下载中信的日K数据（转债和京沪深所有股票），作为数据补充。
模型
数据处理
数据使用 (开盘价，收盘价，最高价，最低价，均价，成交量)，数据进行均值正则处理。数据处理结果一定要能体现出价格/成交量的升降趋势来。
模型
RNN
用RNN来预测下一个交易日的股票价格。
使用 GRU、LSTM 等多个RNN模型，进行多次、多轮训练后，发现预测到的股票价格曲线总是延后真正的价格曲线一天左右。估计是损失函数用第二日价格做计算的原因。
DQN 及 改进算法
数据
分别用5天|10天的日K数据作为state，动作为(0-买，1-不买)，设定对应的奖励。
训练
- 先是把所有数据作为一个整体训练一个模型，但是效果很不好，很难收敛。估计是因为转债之间特性不一样，还有各种人为干预的原因，导致数据状态之间差异很大。
- 然后按照每个转债一个模型这样来训练，发现这样能够快速收敛，胜率也比较大，但是真正试验看，效果并不理想，特别是行情较差的情况下，预测不准。经观察发现，胜率较大也只是那些胜率发生在行情好的阶段。
Actor-Critic
数据：分别用5天|10天的日K数据作为state，动作为(0-买，1-不买)，设定对应的奖励。
训练
- 按一个模型进行训练。效果不好，很难收敛
- 按每个转债一个模型进行训练。非常快收敛，但是收敛后的胜率并不好。如果把惩罚变大，还会使得动作策略变得极为保守。
TRPO
数据：分别用5天|10天的日K数据作为state，动作为(0-买，1-不买)，设定对应的奖励。
训练
- 按一个模型进行训练。效果不好，很难收敛，训练速度极为缓慢且过程中数据量比较大容易中途报错退出。
- 按每个转债一个模型进行训练。收敛很慢，但是收敛后的胜率比较好。但是训练速度非常慢。500多只转债，剔除掉120元以下的（价格波动较小），训练一次，大约需要2天多的时间。