SQL------soft Q-learning
这是一种在最大化期望累计奖励的基础上，最大化熵项的算法，即该算法的优化目标是累计奖励和熵（entropy）的和。
SQL的好处：
①探索性强：可以在多模态任务中找到最佳的方案，多模态是指agents需要去规划多个目标
②更鲁棒性：目标中加入熵会让agent学习到所有动作，当环境中加入干扰噪声，呢么之前规划好的动作可能就不能用了，那么此时就可以用其余动作
③组合性更强：通过最大熵，policy学习到所有解决任务的方法，这样的policy就更有利于学习新的任务
SQL的输出是一个玻尔兹曼分布，包括了每个动作的可能性，当然不同动作采样概率有高有低，概率大容易被采到并输出，概率小的较难被输出。
举例说明SQL的抗干扰性：假设已经找到了最佳的路径，但是突然出现干扰，如果是Q-learning这种输出靠着最大Q对应的动作，那么agent就会一直在干扰处徘徊，但是SQL就会不一样，对于所有动作都会被选择到，只不过概率有高低罢了，那么当遇到干扰时，agent就有机会找到另一条合适的路径。
含熵优化目标：
增加信息熵项，那么优化时，就会使得输出的每一个动作的概率尽量分散，因为在一个集合中，体系越混乱，种类越趋于平均，熵值越大。
伪代码：
初始化分布参数：
、
更新目标参数：
，
空的回访缓存区D
for each epoch do
for each t do
通过
获取状态
对应的动作：
，其中
与环境交互获得下一时刻的状态：
将经验数据存入回放缓存区D
从回放缓存区中抽取小样本数据
更新值函数网络：计算状态
对应的action及value，计算梯度并且更新参数
更新采集网络：计算状态对应的
和采集到的action，更新网络参数
end for
达到目标参数更新频次：、
end for
注意：
1、有两个网络：采集网络&值函数网络，与AC算法的actor网络&critic网络形式相似
2、两大优化算法：SVGD&ADAM，采集网络：SVGD优化KL散度然后Adam更新参数；值函数网络：Adam优化MSE以及更新参数