【Science Advances】普林斯顿大学利用非相干光打造可重构纳米光子神经网络

(导读 )

人工智能对计算性能需求剧增,电子微处理器发展受功耗限制。光学计算有望解决这些问题,光学神经网络(ONNs)成为研究热点,但现有 ONNs 因设计缺陷,在图像分类任务中精度远低于现代电子神经网络,且大多只能在相干光下工作。

( 亮点 )

本研究提出了一种新型的空间变化纳米光子神经网络(SVN³),通过将并行光学计算嵌入平面相机光学系统中,在图像捕获阶段即完成神经网络计算。

大核空间变化卷积(LKSV):通过低维重参数化技术学习大尺寸、角度依赖的卷积核,显著提升了计算效率和精度。

纳米光子阵列实现:利用超表面技术设计角度依赖的光学响应,在非相干光照下实现高效计算。

混合光电系统:结合光学前端(99%计算量)和轻量级电子后端(1%计算量),在CIFAR-10数据集上达到72.76%的准确率,超越AlexNet(72.64%),同时将电子参数数量减少四个数量级。

多功能应用:该系统还可扩展至ImageNet分类(48.64%top-5准确率)和语义分割任务,展示了其在多样化视觉任务中的通用性。

图 1 .空间变化的纳米光子神经网络。

图 2.SVN 的实验验证3.

图 3 .CIFAR-10 图像分类设计的制造芯片的实验测量。

图 4 .来自 CIFAR-10 测试集的随机样本的实验(前 2 名)分类(概率)结果。

图 5.SVN 的验证3作为适用于各种视觉任务的多功能相机。

( 展望 )

SVN³将几乎所有计算(99.64%)从电子处理器转移到光学领域,实现4mm超薄光学堆叠,缩小了光子和电子人工智能之间的差距,且无需制造新光学器件即可推广到多种视觉任务。未来多光圈扩展有望实现高分辨率、多通道光学计算,进一步推动光子人工智能发展。

DOI: 10.1126/scia4vadp0391

【注】:小编水平有限,若有误,请联系修改;若侵权,请联系删除!

相关推荐
做cv的小昊19 分钟前
计算机图形学:【Games101】学习笔记08——光线追踪(辐射度量学、渲染方程与全局光照、蒙特卡洛积分与路径追踪)
图像处理·笔记·学习·计算机视觉·游戏引擎·图形渲染·概率论
星恒随风20 分钟前
C++ 类和对象入门(五):初始化列表、explicit 和 static 成员详解
开发语言·c++·笔记·学习·状态模式
sensen_kiss2 小时前
CPT304 SoftwareEngineeringII 软件工程 2 Pt.8 软件测试 (Software Testing)(上)
学习·软件工程
力学与人工智能2 小时前
PPT分享 | 洛桑联邦理工学院魏震:深度几何学习在工业设计优化中的应用
学习·优化·工业设计·深度几何学习·洛桑联邦理工学院
sensen_kiss4 小时前
CPT304 SoftwareEngineeringII 软件工程 2 Pt.9 软件测试 (Software Testing)(下)
学习·软件工程
wu_ye_m4 小时前
学习c语言第35天 函数声明和定义
c语言·开发语言·学习
清辞8534 小时前
Coze从入门到实战---第一、二章
大数据·人工智能·学习·语言模型
伊布拉西莫5 小时前
【流畅的Python】第20章:并发执行器 — 学习笔记
笔记·python·学习
jinglong.zha5 小时前
LScript-从零基础到商业变现的AI自动化学习平台
运维·学习·自动化
闪闪发亮的小星星5 小时前
STK_00 学习方案路线
学习