现在KAN+Transformer这块,有点像2017年Transformer刚提出时的状态,大家都在尝试把新模块装进旧框架。最近的一些研究也证实了,这个领域确实还在快速发展。
比如发表在IEEE TSG以及TEEE TGRS上的两篇(见下文),完美符合这方向当前的三个创新趋势:架构深挖、应用下沉、理论突破。当然,这其中最主流,也最容易出成果的还得是架构方面,大家可以想想,除了简单替换,KAN还能怎么融入Transformer?也许idea就来了。
为帮助大家理清思路,我把手头觉得有点东西的论文重新整理了一遍,目前更新了16篇,都是KAN+Transformer近期的一些代表性工作,分享给有兴趣的伙伴:
全部论文+开源代码需要的同学看文末

【IEEE TSG】Consequence-aware prescriptive maintenance framework with transformer-kan forecasting and ppo-controlled grid reconfiguration
**研究方法:**论文提出一种配电网规范性维护框架,通过融合Transformer与 KAN的混合模型预测节点负荷与分布式电源生产值,结合改进 Chernoff-Bound 算法评估告警显著性,再利用 PPO 强化学习输出最优电网重构方案,实现故障预警与主动维护。

创新点:
-
采用Transformer-KAN 混合模型预测配电网节点负荷与分布式电源生产值,结合多维度特征,无需聚类即可适配多样负荷类型,提升预测精度与扩展性。
-
改进 Chernoff-Bound 算法,融入故障影响用户数指标,形成后果感知的告警排序,为维护优先级决策提供依据。
-
基于 PPO 强化学习训练模型,以告警显著性为输入输出最优电网开关配置,实现告警预防与电网重构的自动化。

**研究价值:**论文提出的融合Transformer-KAN 预测与 PPO 电网重构的配电网规范性维护框架,通过后果感知的告警排序实现故障主动预防,在真实电网与基准场景中均验证了其预测精度、自动化决策效率与实用性,为电网稳定运行与智能化维护提供了有效解决方案。
【TEEE TGRS】KAN-enhanced transformer for wind profile retrieval from lidar spectra
**研究方法:**论文提出LidarFormer 模型,通过定制化的 Line Transformer(LiT)提取激光雷达光谱的全局时序依赖特征,结合 KAN 解码器强化非线性拟合能力,搭配中值滤波后处理,实现高海拔低信噪比区域风廓线的精准反演与检测范围扩展。

创新点:
-
设计 Line Transformer(LiT),通过向量嵌入保留激光雷达功率谱完整性,精准捕捉风场全局依赖。
-
用 KAN 替代传统 MLP 作为解码器,强化非线性拟合能力,提升高海拔低信噪比区域的反演精度。
-
发现"超精度"现象,模型训练标签源于传统算法,却能输出精度更高的结果,同时扩展风场检测范围。

**研究价值:**论文提出的KAN+Transformer 融合的 LidarFormer 模型,解决了高海拔低信噪比区域激光雷达风廓线反演精度低、检测范围有限的问题,凭借"超精度"特性和优异泛化性能,为大气科学研究、极端天气 forecasting 及遥感光谱信号处理提供了高效解决方案,树立了该领域的基准模型。
关注下方《学姐带你玩AI》🚀🚀🚀
回复"222"获取全部方案+开源代码
码字不易,欢迎大家点赞评论收藏