【博士每天一篇文献-算法】Imposing Connectome-Derived Topology on an Echo State Network

阅读时间:2023-11-5

1 介绍

年份:2022

作者:Jacob Morra, Mark Daley 西部大学

期刊:2022 International Joint Conference on Neural Networks (IJCNN)

引用量:3

研究了果蝇连接图的拓扑结构对混沌时间序列预测中回声状态网络(Echo State Network,ESN)性能的影响。论文讨论了一类模型的开发,称为"果蝇ESN"(FFESN),它用果蝇连接图派生的连接矩阵替换了经典ESN的储层层。作者训练并验证了FFESN在混沌时间序列预测任务中的性能,并将其与控制模型ESN进行了比较。结果表明,FFESN要么明显优于ESN,要么具有较低的方差。

该算法将经典ESN的储层层替换为果蝇连接组得到的连接矩阵。通过强制具有特定连接结构的连接图来对ESN储层施加拓扑约束。

idea启发于论文【A Connectome of the Adult Drosophila Central Brain】

2 创新点

(1)引入了基于果蝇的神经连接结构(Fruit Fly Connectome)作为Echo State Network(ESN)的网络拓扑结构。通过将经典ESN的储层层替换为基于果蝇神经连接结构的连接矩阵,提出了一种名为"Fruit Fly ESNs"(FFESNs)的模型类别。

(2)在混沌时间序列预测任务上对FFESNs进行了训练和验证,并与控制模型ESN进行了性能对比。结果显示,FFESN要么显著优于ESN,要么具有更低的方差。

(3)通过基于果蝇神经连接结构生成连接矩阵的方法进行了详细描述,并给出了ESN网络动力学的正式描述。

3 算法

通过强制具有特定连接结构的连接图来对ESN储层施加拓扑约束,连接图采用Janelia's hemibrain连接图矩阵,此矩阵中的单元格值对应于神经元之间的突触-突触连接数量(权重)。权重矩阵的对角线被填充为1,归一化后如下图。

4 实验分析

(1)调参

Leakying reate α确定了前一个和当前储层激活对当前储层激活的影响。正则化系数λ确定了岭回归惩罚项的大小。没有选择其他的超参数,例如谱半径,因为这些会改变的实验和对比储层拓扑结构。

(2)多次迭代的MSE分布

50次迭代预测的均方误差

显示了在训练输入大小为900时,FFESN的均方误差(MSE)明显低于ESN,并且误差分布更为集中。

(2)预测MSE方差

Variant A和Variant B的情况下,预测性能和误差方差的比较结果

对于特定的训练输入大小A,Variant A需要预测更远未来的值,相比之下,Variant B需要更短期的预测。在时间序列预测任务中,FFESN模型要么明显优于ESN模型且具有更低的误差方差,要么在保持显著减少误差方差的同时与ESN模型的性能相当。

5 思考

这篇的论文和【Investigating Echo State Network Performance with Biologically-Inspired Hierarchical Network Structure】是一样的思想,Idea是一样的。就是论文的Idea来源不一样。这篇来源于【A Connectome of the Adult Drosophila Central Brain】,另一篇来源于【 Community detection and classification in hierarchical stochastic blockmodels. 】。具体的区别是什么,还没有搞明白,我认知大致是相同的。

相关推荐
forest_095 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
H.莓飛5 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
不会武功不懂江湖8 小时前
RISC-V链接器与链接脚本
汇编·算法·risc-v
Zwawa8 小时前
卡尔曼到底在算什么:从一维到它的变式以及工程版卡尔曼滤波算法C语言实现
c语言·算法·嵌入式
电科_银尘9 小时前
【大模型算法与工程 14】Tokenizer与Embedding:文本如何变成模型输入
算法·embedding
饮水桶_T10 小时前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法
地平线开发者13 小时前
让 AI Agent 和 征程6 台架高效、稳定、安全地协作
算法·安全·自动驾驶
kyle~14 小时前
SHA-256 哈希去重
算法·哈希算法
风落青芜16 小时前
链式二叉树的实现与基本操作
c语言·开发语言·数据结构·算法