phaseDNN文章解读

文章DOI : https://doi.org/10.48550/arXiv.1905.01389

作者是 Southern Methodist University 的Wei Cai 教授

A Parallel Phase Shift Deep Neural Network for Adaptive Wideband Learning

一种并行移相深度神经网络来自适应学习宽带频率信号

20190514

核心思想:通过相变技术把高频部分转化为低频部分,这样便可以提高神经网络训练过程中网络的收敛速度

感觉这篇文章的信息好少,搜不到多少资料。

摘要

PhaseDNN利用了许多DNN首先在低频范围内实现收敛的事实(这个可参考许志钦老师的主页 https://ins.sjtu.edu.cn/people/xuzhiqin/,或知乎https://zhuanlan.zhihu.com/p/571517635),因此,对于更高频率范围,并行地构建和训练一系列中等大小的DNN。

借助于频域中的相移,通过对训练数据进行简单的相位因子乘法来实现,序列中的每个DNN将被训练为在特定范围内近似目标函数的较高频率内容。

由于相移,每个DNN都达到了在低频范围内的收敛速度。因此,PhaseDNN系统能够将宽带频率学习转换为低频学习,从而允许通过频率自适应训练对宽带高维函数进行统一学习。数值结果表明,PhaseDNN能够从低频到高频均匀地学习目标函数的信息。

具体实现过程

背景知识​

许志钦:​

深度神经网络的频率原则: DNN首先在低频范围内实现收敛​

这个可参考许志钦老师的主页 https://ins.sjtu.edu.cn/people/xuzhiqin/,​

或知乎https://zhuanlan.zhihu.com/p/571517635​

应用

多种频率的信号叠加的波/高频波,使用此相移方法,把高频转为低频,实现快速收敛。​

例如:多频叠加的信号,比如可能:音频分类、时序预测

GitHub

相关推荐
W.KN1 小时前
深度学习【一】神经网络
人工智能·深度学习·神经网络
LaughingZhu7 小时前
Product Hunt 每日热榜 | 2026-01-23
人工智能·经验分享·深度学习·神经网络·产品运营
deep_drink8 小时前
【论文精读(二十三)】PointMamba:点云界的“凌波微步”,线性复杂度终结 Transformer 霸权(NeurIPS 2024)
人工智能·深度学习·神经网络·transformer·point cloud
岑梓铭12 小时前
YOLO深度学习(计算机视觉)一很有用!!(进一步加快训练速度的操作)
人工智能·深度学习·神经网络·yolo·计算机视觉
2401_8414956412 小时前
深度卷积生成对抗网络(DCGAN)
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·深度卷积生成对抗网络
翱翔的苍鹰12 小时前
通俗讲解在中文 NLP中要用 jieba 分词,以及它和 循环神经网络(RNN) 的关系。
人工智能·pytorch·rnn·神经网络·自然语言处理
茶栀(*´I`*)14 小时前
PyTorch实战:手机价格区间预测(从64%到91%的模型优化之路)
pytorch·深度学习·神经网络
劈星斩月15 小时前
3Blue1Brown-深度学习之神经网络
人工智能·深度学习·神经网络
Quintus五等升1 天前
深度学习④|分类任务—VGG13
人工智能·经验分享·深度学习·神经网络·学习·机器学习·分类
机器学习之心1 天前
LSTM-BP组合模型多输入单输出回归预测三模型对比,对比LSTM、BP神经网络,权重优化,MATLAB代码
神经网络·回归·lstm·lstm-bp·组合模型多输入单输出回归预测