阅读时间：2023-11-5
1 介绍
年份：2022
作者：Jacob Morra, Mark Daley 西部大学
期刊：2022 International Joint Conference on Neural Networks (IJCNN)
引用量：3
研究了果蝇连接图的拓扑结构对混沌时间序列预测中回声状态网络（Echo State Network，ESN）性能的影响。论文讨论了一类模型的开发，称为"果蝇ESN"（FFESN），它用果蝇连接图派生的连接矩阵替换了经典ESN的储层层。作者训练并验证了FFESN在混沌时间序列预测任务中的性能，并将其与控制模型ESN进行了比较。结果表明，FFESN要么明显优于ESN，要么具有较低的方差。
该算法将经典ESN的储层层替换为果蝇连接组得到的连接矩阵。通过强制具有特定连接结构的连接图来对ESN储层施加拓扑约束。
idea启发于论文【A Connectome of the Adult Drosophila Central Brain】
2 创新点
（1）引入了基于果蝇的神经连接结构（Fruit Fly Connectome）作为Echo State Network（ESN）的网络拓扑结构。通过将经典ESN的储层层替换为基于果蝇神经连接结构的连接矩阵，提出了一种名为"Fruit Fly ESNs"（FFESNs）的模型类别。
（2）在混沌时间序列预测任务上对FFESNs进行了训练和验证，并与控制模型ESN进行了性能对比。结果显示，FFESN要么显著优于ESN，要么具有更低的方差。
（3）通过基于果蝇神经连接结构生成连接矩阵的方法进行了详细描述，并给出了ESN网络动力学的正式描述。
3 算法
通过强制具有特定连接结构的连接图来对ESN储层施加拓扑约束，连接图采用Janelia's hemibrain连接图矩阵，此矩阵中的单元格值对应于神经元之间的突触-突触连接数量（权重）。权重矩阵的对角线被填充为1，归一化后如下图。
4 实验分析
（1）调参
Leakying reate α确定了前一个和当前储层激活对当前储层激活的影响。正则化系数λ确定了岭回归惩罚项的大小。没有选择其他的超参数，例如谱半径，因为这些会改变的实验和对比储层拓扑结构。
（2）多次迭代的MSE分布
50次迭代预测的均方误差
显示了在训练输入大小为900时，FFESN的均方误差（MSE）明显低于ESN，并且误差分布更为集中。
（2）预测MSE方差
Variant A和Variant B的情况下，预测性能和误差方差的比较结果
对于特定的训练输入大小A，Variant A需要预测更远未来的值，相比之下，Variant B需要更短期的预测。在时间序列预测任务中，FFESN模型要么明显优于ESN模型且具有更低的误差方差，要么在保持显著减少误差方差的同时与ESN模型的性能相当。
5 思考
这篇的论文和【Investigating Echo State Network Performance with Biologically-Inspired Hierarchical Network Structure】是一样的思想，Idea是一样的。就是论文的Idea来源不一样。这篇来源于【A Connectome of the Adult Drosophila Central Brain】，另一篇来源于【 Community detection and classification in hierarchical stochastic blockmodels. 】。具体的区别是什么，还没有搞明白，我认知大致是相同的。