phaseDNN文章解读

文章DOI : https://doi.org/10.48550/arXiv.1905.01389

作者是 Southern Methodist University 的Wei Cai 教授

A Parallel Phase Shift Deep Neural Network for Adaptive Wideband Learning

一种并行移相深度神经网络来自适应学习宽带频率信号

20190514

核心思想:通过相变技术把高频部分转化为低频部分,这样便可以提高神经网络训练过程中网络的收敛速度。

感觉这篇文章的信息好少,搜不到多少资料。

摘要 :

PhaseDNN利用了许多DNN首先在低频范围内实现收敛的事实(这个可参考许志钦老师的主页 https://ins.sjtu.edu.cn/people/xuzhiqin/,或知乎https://zhuanlan.zhihu.com/p/571517635),因此,对于更高频率范围,并行地构建和训练一系列中等大小的DNN。

借助于频域中的相移,通过对训练数据进行简单的相位因子乘法来实现,序列中的每个DNN将被训练为在特定范围内近似目标函数的较高频率内容。

由于相移,每个DNN都达到了在低频范围内的收敛速度。因此,PhaseDNN系统能够将宽带频率学习转换为低频学习,从而允许通过频率自适应训练对宽带高维函数进行统一学习。数值结果表明,PhaseDNN能够从低频到高频均匀地学习目标函数的信息。

具体实现过程

背景知识​

许志钦:​

深度神经网络的频率原则: DNN首先在低频范围内实现收敛​

这个可参考许志钦老师的主页 https://ins.sjtu.edu.cn/people/xuzhiqin/,​

或知乎https://zhuanlan.zhihu.com/p/571517635​

应用

多种频率的信号叠加的波/高频波,使用此相移方法,把高频转为低频,实现快速收敛。​

例如:多频叠加的信号,比如可能:音频分类、时序预测

GitHub

相关推荐
deepseek2312 小时前
AI 模型隐藏任意能力拆解:把加密神经网络塞进宿主权重,能力评估为什么在密码学上抓不到
人工智能·深度学习·神经网络·密码学·模型安全
梦帮科技13 小时前
Kali Linux Scapy 畸形报文构造学——深度解剖非法 TCP Flags 与反常序列号
linux·爬虫·神经网络·算法·数学建模·系统架构·模拟退火算法
探客木木夕14 小时前
结构超图重构神经网络模型:脉冲权重节点与四阶段闭环框架
人工智能·深度学习·神经网络
TomEval16 小时前
【测AI】第11篇:深度学习基础 —— 神经网络是怎么工作的
人工智能·python·深度学习·神经网络·机器学习·aigc
在所不辞兄1 天前
为什么物理嵌入神经网络的收敛性和泛化误差缺乏统一的理论保证?
人工智能·深度学习·神经网络·机器学习·有限元
朝朝辞暮i1 天前
VLA 系统学习第 21 课——DDPM 与 Noise Scheduler:扩散模型究竟怎样从随机噪声生成机器人动作?
人工智能·深度学习·神经网络·transformer·vla
田里的水稻2 天前
LLM_Transformer的神经网络
人工智能·深度学习·神经网络·机器学习·transformer
LaughingZhu2 天前
任务在飞书创建,开发在 Orca 继续:我把飞书项目接到了 Linear
大数据·人工智能·深度学习·神经网络·飞书
俊基科技2 天前
A-59 工业级 AI 语音处理模组:100 dB 消回音 + 神经网络降噪的工程实践
嵌入式硬件·神经网络·硬件开发·语音模块·回音消除·拾音降噪
田里的水稻2 天前
RL_强化学习概述---具身机器人
人工智能·深度学习·神经网络·机器学习