清华大学发Nature!光学工程+神经网络创新结合

2025深度学习发论文&模型涨点之------光学工程+神经网络

清华大学的一项开创性研究成果在《Nature》上发表,为光学神经网络的发展注入了强劲动力。该研究团队巧妙地提出了一种全前向模式(Fully Forward Mode,FFM)的训练方法,这一方法在物理光学系统中直接执行训练过程,彻底摆脱了传统依赖数字计算机模拟的诸多限制。

清华大学的一项开创性研究成果在《Nature》上发表,为光学神经网络的发展注入了强劲动力。该研究团队巧妙地提出了一种全前向模式(Fully Forward Mode,FFM)的训练方法,这一方法在物理光学系统中直接执行训练过程,彻底摆脱了传统依赖数字计算机模拟的诸多限制。

我整理了一些光学神经网络【**论文+代码】**合集,需要的同学公众号【AI创新工场】发525自取。

论文精选

论文1:

Nature\] Fully forward mode training for optical neural networks **全前向模式训练光学神经网络** **方法** 全前向模式(FFM)学习:通过在物理系统上实施计算密集型训练过程,利用空间对称性和洛伦兹互易性,消除了梯度下降训练中对反向传播的需求。 光学系统映射:将光学系统映射到参数化的现场神经网络,通过测量输出光场来计算梯度,并使用梯度下降算法更新参数。 实验验证:在自由空间和集成光子学中展示了该方法在深度光学神经网络训练中的有效性。 ![图片](https://i-blog.csdnimg.cn/img_convert/c69e21f0e7a35b5064d78088f4559c84.png) **创新点** 无需离线建模:首次提出了一种完全在光学系统上进行训练的方法,无需数字计算机进行离线建模。 性能提升:在自由空间和集成光子学中展示了该方法在深度光学神经网络训练中的有效性,实现了与理想模型相当的准确率。 能效提升:通过利用光学系统的并行性,实现了高分辨率散射成像和动态非视距成像,提高了系统的能效和性能。 ![图片](https://i-blog.csdnimg.cn/img_convert/752d7e7d2196d03aabb012d40ae453ad.png) **论文2:** Spike-FlowNet Event-based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks **Spike-FlowNet:基于事件的光流估计与能效混合神经网络** **方法** 混合神经网络架构:提出了一种深度混合神经网络架构,将脉冲神经网络(SNN)和模拟神经网络(ANN)集成在一起,用于从稀疏的事件相机输出中高效估计光流。 自监督学习:通过自监督学习在多车辆立体事件相机(MVSEC)数据集上进行端到端训练。 输入表示:提出了一种新的输入表示方法,能够高效地编码事件相机的稀疏输出序列,保留事件的时空特性。 ![图片](https://i-blog.csdnimg.cn/img_convert/fa40df8afdc046cedf6d574d26084cb1.png) **创新点** 性能提升:在MVSEC数据集上,Spike-FlowNet在平均端点误差(AEE)方面优于EV-FlowNet,显示出更高的光流估计精度。 能效提升:通过结合SNN和ANN的优势,解决了深度SNN中脉冲消失的问题,同时保持了网络性能,显著提高了计算效率。 首次应用:首次在事件相机的光流估计任务中实现了与全ANN架构相当的性能,同时显著提高了计算效率。 ![图片](https://i-blog.csdnimg.cn/img_convert/26349d2d0d559db624f9b0adfa79e7de.png) **论文3:** FatNet High Resolution Kernels for Classification Using Fully Convolutional Optical Neural Networks **FatNet:使用全卷积光学神经网络进行分类的高分辨率核** **方法** 全卷积网络架构:提出了一种全卷积光学神经网络架构,通过减少通道数量和增加分辨率,充分利用了4f系统的并行性。 高分辨率核:在4f自由空间系统中使用高分辨率特征图和核,提高了神经网络的推理速度。 光学模拟:通过模拟4f系统的光传播,验证了FatNet在光学设备中的有效性。 ![图片](https://i-blog.csdnimg.cn/img_convert/b6418e424f78207103ac654186b95674.png) **创新点** 性能提升:与ResNet-18相比,FatNet减少了8.2倍的卷积操作,仅损失了6%的准确率。 能效提升:通过减少光学-电子转换的次数,提高了训练过程的能效,特别是在大批次大小下,FatNet在光学设备中的推理速度显著快于GPU。 首次应用:首次提出了一种适用于4f自由空间系统的全卷积网络架构,为未来光学计算时代的深度学习训练提供了一种新的方向。 ![图片](https://i-blog.csdnimg.cn/img_convert/faee5be61e4fbe6d786657724576d7be.png)

相关推荐
ningmengjing_13 分钟前
理解损失函数:机器学习的指南针与裁判
人工智能·深度学习·机器学习
程序猿炎义27 分钟前
【NVIDIA AIQ】自定义函数实践
人工智能·python·学习
小陈phd40 分钟前
高级RAG策略学习(四)——上下文窗口增强检索RAG
人工智能·学习·langchain
居然JuRan1 小时前
阿里云多模态大模型岗三面面经
人工智能
THMAIL1 小时前
深度学习从入门到精通 - BERT与预训练模型:NLP领域的核弹级技术详解
人工智能·python·深度学习·自然语言处理·性能优化·bert
nju_spy1 小时前
Kaggle - LLM Science Exam 大模型做科学选择题
人工智能·机器学习·大模型·rag·南京大学·gpu分布计算·wikipedia 维基百科
relis1 小时前
解密llama.cpp中的batch与ubatch:深度学习推理优化的内存艺术
深度学习·batch·llama
中國龍在廣州1 小时前
GPT-5冷酷操盘,游戏狼人杀一战封神!七大LLM狂飙演技,人类玩家看完沉默
人工智能·gpt·深度学习·机器学习·计算机视觉·机器人
东哥说-MES|从入门到精通1 小时前
Mazak MTF 2025制造未来参观总结
大数据·网络·人工智能·制造·智能制造·数字化
CodeCraft Studio2 小时前
Aspose.Words for .NET 25.7:支持自建大语言模型(LLM),实现更安全灵活的AI文档处理功能
人工智能·ai·语言模型·llm·.net·智能文档处理·aspose.word