光学神经网络：进展与挑战(Optical Neural Networks: Progress and Challenges)

🕮 目录

- [Optical Neural Networks: Progress and Challenges](#Optical Neural Networks: Progress and Challenges)
- 一、摘要 (Abstract)
- 二、引言 (Introduction)
- - [2.1 人工智能与神经网络的发展历程](#2.1 人工智能与神经网络的发展历程)
  - [2.2 传统电子计算的瓶颈](#2.2 传统电子计算的瓶颈)
  - [2.3 光学神经网络的兴起](#2.3 光学神经网络的兴起)
- 三、ONNs的原理 (Principle of ONNs)
- - [3.1 生物神经元模型与人工神经网络](#3.1 生物神经元模型与人工神经网络)
  - [3.2 光学矩阵运算的实现](#3.2 光学矩阵运算的实现)
- 四、非集成式ONNs (Non-integrated ONNs)
- - [4.1 基于4f系统的ONNs](#4.1 基于4f系统的ONNs)
  - [4.2 基于离散光学衍射元件的ONNs](#4.2 基于离散光学衍射元件的ONNs)
  - [4.3 基于其他体光学元件的ONNs](#4.3 基于其他体光学元件的ONNs)
- 五、集成式ONNs (Integrated ONNs)
- - [5.1 基于片上MZI网格的ONNs](#5.1 基于片上MZI网格的ONNs)
  - [5.2 基于片上MRR权重库的ONNs](#5.2 基于片上MRR权重库的ONNs)
  - [5.3 基于片上衍射超表面的ONNs](#5.3 基于片上衍射超表面的ONNs)
  - [5.4 基于其他片上光学元件的ONNs](#5.4 基于其他片上光学元件的ONNs)
- 六、讨论 (Discussion)
- - [6.1 非集成式与集成式ONNs性能比较](#6.1 非集成式与集成式ONNs性能比较)
  - [6.2 计算密度与计算容量](#6.2 计算密度与计算容量)
  - [6.3 非线性与可重构性](#6.3 非线性与可重构性)
  - [6.4 可扩展性](#6.4 可扩展性)
  - [6.5 能效比较](#6.5 能效比较)
  - [6.6 ONNs的应用](#6.6 ONNs的应用)
- 七、结论 (Conclusion)
- 八、关键术语表
- 九、参考文献说明

Optical Neural Networks: Progress and Challenges

作者 : Tingzhao Fu, Jianfa Zhang, Run Sun, Yuyao Huang, Wei Xu, Sigang Yang, Zhihong Zhu, Hongwei Chen
期刊 : Light: Science & Applications (2024) 13:263
DOI : https://doi.org/10.1038/s41377-024-01590-3
发表时间: 2024年

一、摘要 (Abstract)

人工智能由于大数据资源、先进算法和高性能电子硬件的辅助，已在各行各业普及。然而，传统计算硬件在实施复杂任务时效率低下，很大程度上是因为其计算架构中的存储器和处理器是分离的，在计算速度和能耗方面表现不足。

近年来，光学神经网络（Optical Neural Networks, ONNs）凭借亚纳秒级延迟、低热耗散和高并行性等优势，在光计算领域取得了一系列研究进展。ONNs有望为人工智能的进一步发展提供一种新型计算范式，在计算速度和能耗方面提供支持。

本文首先介绍了基于各种光学元件的ONNs的设计方法和原理；然后，依次回顾了由体光学元件组成的非集成式ONNs和由片上元件组成的集成式ONNs的研究进展；最后，总结和讨论了ONNs在计算密度、非线性、可扩展性和实际应用方面的特点，并对ONNs未来发展趋势中的挑战和前景进行了评述。

二、引言 (Introduction)

2.1 人工智能与神经网络的发展历程

人工智能（AI）已渗透到社会各个领域，并取得了超越人类的成就。神经网络作为支撑AI发展的核心技术发挥着关键作用。

神经网络发展时间线:

1940年代: McCulloch和Pits提出了神经网络的工作原理和神经元结构
1949年: Hebb系统地阐述了神经心理学理论
1950年代: 讨论了AI发展的关键问题，促进了神经网络关键技术和AI学科的建立
1958年: Rosenblatt系统介绍了感知器的数学模型和工作原理，为神经网络的进一步发展奠定了重要基础
1986年: Rumelhart、Hinton和Williams提出了误差反向传播算法来训练多层感知器
1990年: LeCun等人引入了基于反向传播算法的卷积神经网络
2012年: Krizhevsky等人提出了深度卷积神经网络，进一步提升了神经网络的推理能力

2.2 传统电子计算的瓶颈

半导体工艺技术的快速发展在过去十年中催生了许多比CPU性能更先进的电子计算硬件。然而：

物理极限: 半导体制造技术的加工精度已接近3nm，尺寸已接近晶体管的物理极限
量子隧穿效应: 如此小尺寸的晶体管极易受到量子隧穿和热效应的影响，难以正常工作
发展瓶颈: 通过提高半导体工艺的加工精度来获取更高计算能力将不可持续

2.3 光学神经网络的兴起

神经网络训练或推理阶段的大量矩阵运算可以等效为光的传播过程。由于光具有低延迟、低功耗、大带宽和并行信号处理的优势，矩阵运算过程可以通过调制光传播过程中的光学特征量（振幅、相位、偏振、角动量等）来执行。

ONNs发展历程中的里程碑:

1960s-1970s: 光学信号检测和光信号传输的基础研究
1985年: Farhat等人提出了Hopfield模型的光学实现方法
1987年: Fisher等人提出了具有可变自适应学习能力的光学网络实现方法
1989年: Caulfield等人系统介绍了ONNs，指出ONNs源于传统光学信息处理与神经网络知识体系的相互渗透
1990年: Psaltis等人介绍了使用光反应晶体在ONNs中实现非线性功能的方法
1994年: Reck等人使用分束器和相移器等光学器件以级联方式实现了酉矩阵的运算功能
2016年: Clements等人提出了基于马赫-曾德尔干涉仪（MZI）级联方法的矩阵分解方法；Tait等人实现了微环谐振器（MRR）的波长滤波和功率分配

三、ONNs的原理 (Principle of ONNs)

3.1 生物神经元模型与人工神经网络

神经网络是模仿人脑神经系统建立的数学模型。人工神经元实现的功能模拟了生物神经元中的树突、细胞核、轴突和突触的功能。

人工神经元的基本组成:

输入信号 (Input): x₁, x₂, ..., xₙ
权重 (Weights): w₁, w₂, ..., wₙ - 控制输入信号重要性的参数
偏置 (Bias): b - 调整神经元激活难易程度的参数
线性运算: Σ(wᵢxᵢ) + b
非线性激活函数 (Activation Function): f(·)
输出 (Output): y = f(Σ(wᵢxᵢ) + b)

3.2 光学矩阵运算的实现

神经网络由许多相互连接的神经元组成，这些神经元之间的连接称为权重。光学系统可以实现矩阵乘法功能，不同光学系统的实现方法包括：

MZI网格 (马赫-曾德尔干涉仪级联)
MRR权重库 (微环谐振器权重组)
其他光学元件 (衰减器阵列、衍射元件等)

基于衍射元件的ONNs（DONNs）:

输入层、隐藏层和输出层之间的神经元通过光的衍射连接
隐藏层的训练参数通常是衍射层上亚波长结构的透射系数
通过智能算法（如前向传播、梯度下降、误差反向传播等）在计算机上进行预训练

四、非集成式ONNs (Non-integrated ONNs)

4.1 基于4f系统的ONNs

光学4f系统是一种典型的光学传输系统，由两个焦距为f的透镜组成，可以实现输入光场的傅里叶变换。

关键研究进展:

年份	研究者	贡献
2018	Chang等人	提出了基于4f系统的光学卷积神经网络（OCNNs）方案，在傅里叶平面放置相位掩模实现卷积核功能
2019	Yan等人	在4f系统的傅里叶平面放置衍射深度神经网络（D2NN），通过引入光非线性激活函数提高分类准确性和鲁棒性
2019	Zou等人	使用空间光调制器（SLM）和傅里叶透镜完成输入信号加载和权重矩阵构建，实现实时可编程矩阵运算
2020	Miscuglio等人	提出大规模并行纯振幅傅里叶神经网络，引入千赫兹快速可编程高分辨率数字微镜器件（DMDs）

4.2 基于离散光学衍射元件的ONNs

衍射深度神经网络（D2NN）:

2018年: Lin等人提出了全光学深度学习框架，神经网络由多层衍射表面物理形成
衍射表面由衍射单元组成，每个衍射单元被称为DONNs中的一个隐藏层
衍射单元的功能是改变光通过后的相位差
可使用3D打印技术制造衍射表面，获得DONNs的物理实现器件

关键公式 :

衍射单元的厚度与相位差值的关系：

复制代码

h = λφ / (2πΔn)

其中：

h: 衍射单元厚度
λ: 自由空间中光的波长
φ: 相位差值（可训练参数）
Δn: 3D打印材料与空气之间的折射率差

后续发展:

2021年: Zhou等人提出了可重构衍射处理单元（DPU），可构建光电融合计算架构
2022年: Liu等人设计了基于信息超表面的可编程DONN，可通过FPGA实时控制每个神经元的幅度和相位系数

4.3 基于其他体光学元件的ONNs

其他体光学元件包括：普通单模光纤、色散光纤、调制器、衰减器、滤波器、带可饱和吸收体的法布里-珀罗激光器、偏振分束器、波分复用（WDM）系统等。

重要研究:

2012年: Duport等人首次基于单模光纤、半导体光放大器（SOA）、可调光衰减器、延迟环、带通滤波器等实现了全光学储备池计算的实验演示
2021年: Stelzer等人构建了单神经元的计算功能，通过连续迭代重构单神经元参数实现任意规模的深度神经网络
2021年: Xiang等人设计了基于垂直腔面发射激光器（VCSEL-SA）和垂直腔半导体光放大器（VCSOA）的光子神经元和突触，构建了全光学脉冲神经网络（SNN）
2021年: Xu等人采用时分波分交织方法设计了通用光学矢量卷积加速器，计算速度超过10 TOPS（每秒万亿次运算）

五、集成式ONNs (Integrated ONNs)

随着先进半导体工艺技术的辅助，小型化成为ONNs发展的重要趋势。与体光学元件构建的ONNs相比，片上集成ONNs具有高计算密度、便携性和稳定性等优势。

5.1 基于片上MZI网格的ONNs

光的传播是矩阵运算的自然过程。

关键进展:

1994年: Reck等人使用传统体光学元件（分束器和相移器）对酉矩阵运算进行了实验验证
2016年: Clements等人提出了优化的矩阵分解方法，使光学元件在实现矩阵分解方面更高效；同年Ribeiro等人通过级联片上MZI实现了可重构4×4维矩阵

重要研究:

年份	研究者	贡献
2017	Shen等人	通过级联56个MZI设计了4×4维ONN，在硅基衬底上完成ONN芯片制造，元音识别数据集盲测准确率达76.7%
2018	Hughes等人	提出了片上ONNs的片上训练方法，采用伴随变量方法实现梯度推导和误差反向传播，从离线训练发展到片上在线训练
2021	Zhang等人	利用光的相位和幅度进行ONNs训练，可调变量翻倍，在逻辑门运算、IRIS数据集分类、MNIST手写数字识别等任务中表现更优
2022	Zhu等人	引入可实现傅里叶变换和逆变换的集成衍射元件，提高ONNs运算过程中解析的矩阵维度，降低计算能耗

5.2 基于片上MRR权重库的ONNs

MRR（微环谐振器）具有滤波功能，可以调节不同波长的光功率。

关键进展:

2016年: Tait等人对MRR权重库进行了详细研究，包括MRR原理、互信道串扰及其设计方法
2017年: Tait等人使用MRR权重库配置ONNs的连接权重，证明了硅光电路与连续神经网络模型之间的数学同构性
2018年: Tait等人研究了MRR的制造工艺和热敏性挑战，提供了一种反馈权重控制方法

重要研究:

2019年: Feldmann等人基于MRR和相变材料（PCM）设计了脉冲全光学突触系统，避免了传统计算架构中存储器和处理器物理分离的问题
2021年: Feldmann等人进一步在氮化硅平台上设计制造了集成光子处理器，以全光学方式并行实现传统卷积核的处理功能，运行速度可达每秒万亿次运算
2021年: Huang等人基于SOI平台的MRR权重库设计制造了片上ONN，用于辅助电子硬件系统完成海底光纤链路中的非线性补偿
2022年: Ohno等人提出了基于MRR权重库的交叉阵列框架，支持片上ONNs参数的在线训练
2023年: Bai等人使用集成光频梳、MRR权重库和硅基螺旋波导延迟线设计了片上ONN系统，计算密度可达约1.04 TOPS/mm²
2023年: Cheng等人设计了基于微梳和MRR权重库的微梳驱动集成ONN，可执行张量卷积运算，完成人类情感识别（6种情感），盲测准确率78.5%，潜在吞吐量达51.2 TOPS

5.3 基于片上衍射超表面的ONNs

超表面的巧妙设计理论上可以实现对反射/折射光束波前的任意控制。

重要研究:

2021年: Goi等人选择近红外波长（785 nm），使用CMOS芯片作为衬底，通过双光子纳米光刻技术制造了高神经元密度的集成DONN。每平方厘米可集成约5亿个神经元
2022年: Luo等人选择可见光波长（532 nm），在CMOS芯片衬底上制造了可在可见光环境下执行多通道传感和多任务的集成DONN。该CMOS芯片上每平方毫米可集成约6.25×10¹⁶个神经元
2020年: Zarei等人使用SOI平台上的亚波长矩形槽设计了由衍射金属线组成的片上DONN，计算速度约1.2×10¹⁶次乘累加运算每秒
2021年: Fu等人开发了片上集成二维空间电磁传播模型和权重映射模型，可通过计算机完成片上DONN的参数训练
2023年: Fu等人基于前期理论探索制造了片上DONN，并提出了基于粒子群算法的误差补偿原位训练方案
2022年: Wang等人通过将两个相同的亚波长衍射单元组合为新的计算单元，减少了相邻亚波长衍射单元之间的相互干扰

5.4 基于其他片上光学元件的ONNs

其他可构建ONNs的片上光学元件包括：单模波导、多模干涉仪、相移器、衰减器、探测器、三维集成波导等。

重要研究:

2020年: Qu等人提出了基于光散射单元的光学随机架构，采用逆向设计方法优化光散射单元参数，在MNIST数据集上实现97.1%的预测准确率
2020年: Moughames等人利用双光子聚合打印技术制造了片上三维集成低损耗光子波导阵列，每立方毫米可集成约2200个神经元
2022年: Ashtiani等人提出并制造了基于衰减器和探测器等片上光子器件的硅基集成系统，可逐步执行ONNs的推理功能
2023年: Dong等人提出了三维数据处理方法，引入射频调制光子信号以增加并行性，在片上ONNs中增加输入维度，并行度达100个数量级

六、讨论 (Discussion)

6.1 非集成式与集成式ONNs性能比较

特性	非集成式ONNs	集成式ONNs
组成	4f系统、衍射元件、体光学元件	MZI网格、MRR权重库、衍射超表面等
可重构性	可实现（通过SLM、DMD等设备）	可实现
计算容量	大（如Lin等人的D2NN）	中等
误差累积	离散元件对准校准存在不可避免误差，随层数增加累积	CMOS工艺有效解决对准误差问题
非线性	已实现光学非线性	已实现光学非线性
可扩展性	难以大规模实现	大规模、低成本处理条件
通用性	难以实现	现实可行
适用场景	特定全息成像、传感光计算等专用应用	通用计算

6.2 计算密度与计算容量

计算密度 : 指每平方毫米/厘米每秒可完成的运算次数。
计算容量: 指ONNs一次能处理的最大矩阵维度。

计算密度与ONNs神经元（计算单元）的集成度显著相关，计算单元集成度越高，计算密度越高
集成式ONNs的计算密度通常高于非集成式ONNs
计算容量方面，集成式ONNs不一定比非集成式ONNs有更大的计算容量
基于4f系统的ONNs的计算容量与傅里叶平面上掩模（计算/调制单元）的集成度相关

6.3 非线性与可重构性

非线性实现:

非集成式和集成式ONNs均可实现非线性
大多数能实现非线性的ONNs规模相对较小
大规模ONNs必须考虑非线性层引入的光功率衰减

可重构性:

非集成式ONNs通常通过SLM和DMD等设备构建，但难以在这些设备上实现光学非线性
未来超表面可能同时解决ONNs的可重构性、非线性和插入损耗问题
集成式ONNs通常通过片上MZI、MRR、热/电光相移器和衰减器构建
采用非易失性PCM单元可赋予ONNs可重构和非线性功能

6.4 可扩展性

非集成式ONNs的可扩展性不如集成式ONNs，因为其尺寸大且由分立器件组成。

集成式ONNs的可扩展性可从以下方面讨论：

信号并行输入维度的限制: 除基于CMOS芯片衬底设计的ONNs外，其他集成式ONNs的输入维度极低（少于10个输入波导）
单个集成ONNs中计算单元的可扩展性: 基于MZI网格或MRR权重库的片上ONNs在计算单元运行时需要额外能量供应，难以在高速情况下同步调制，阻碍大规模扩展；片上DONN由于计算单元由亚波长衍射结构组成，可扩展性优于其他片上ONNs
片上ONNs级联的可扩展性: 目前所有片上ONNs在级联方式上均未实现良好的可扩展性，电子电路可能需要辅助实现

6.5 能效比较

ONNs的计算过程在光传播过程中完成，因此其运行能效可设计得非常出色。

不同计算架构的能效比较:

工作	技术	理论能效 (TOPS/W)
Zhou等人 (2021)	带可重构DPU的多平面光转换	0.71
Shen等人 (2017)	相干MZI网格	6.67
Feldmann等人 (2021)	基于WDM系统和PCM单元的光子存内计算	0.50
Ashtiani等人 (2022)	基于集成衰减器	2.90
Xu等人 (2024)	基于集成亚波长衍射单元和MZI网格	160.82
华为Ascend 910	-	1.65
NVIDIA Tesla T4	-	1.85
Google TPU	-	4.65

一些ONNs的能效优于现有先进计算硬件，优化后的片上ONN架构在能效方面的优势将更加突出。

6.6 ONNs的应用

目前ONNs的应用不如其电子同类产品广泛，大多数研究工作仍集中于处理简单数据集。

实际应用案例:

海底光纤通信: Huang等人将片上集成ONNs应用于海底光纤通信链路中的非线性补偿
边缘计算: Sludds等人开发了基于光子深度学习的边缘计算架构Netcast
工业产品 :
- Lightmatter公司发布了Envise和Passage系列产品，综合考虑软硬件协同和能耗
- Lightelligence公司发布了光子算术计算引擎（PACE），在PACE光子芯片中集成超过10,000个分立光子器件，系统时钟1 GHz

光电混合框架 :

ONNs难以独立完成推理任务而不借助电子计算硬件。在光电混合框架中：

ONNs作为光电混合系统中的光学加速器，以光速高效处理大量线性矩阵运算，承担主要计算工作
电子辅助硬件负责实现ONNs的参数重构，处理ONNs难以实现的非线性运算、数据存储和流控制
结合电子硬件和ONNs的优势，光电混合系统在能耗、计算容量、计算速度等方面将优于传统电子方法

七、结论 (Conclusion)

本文综述了光学神经网络（ONNs）的发展历程、设计原理、技术分类和性能特点：

首先介绍了ONNs的发展历史，包括光学人工神经元的数学模型，以及实现光矩阵运算的各种光学元件之间的区别
系统回顾了ONNs的发展，涵盖非集成式ONNs和集成式ONNs基于七种不同光学元件的研究进展，并详细介绍了典型研究工作
在讨论部分对不同ONNs的性能进行了评分和分析，包括计算密度、计算容量、可重构性、非线性和可扩展性
讨论了各种ONNs可能遇到的挑战，并对其未来应用和发展趋势进行了展望

未来展望:

需要持续优化ONNs系统的架构或混合框架以获得更好的性能
在信息处理、医疗诊断、航空航天等某些专用领域，ONNs可能比电子同类产品取得更出色的成果
在构建ONNs应用生态系统方面可能面临挑战，包括软件、硬件、协议、光算法、行业标准、制造工艺等方面

八、关键术语表

英文缩写	英文全称	中文翻译
ONN	Optical Neural Network	光学神经网络
DONN	Diffractive Optical Neural Network	衍射光学神经网络
MZI	Mach-Zehnder Interferometer	马赫-曾德尔干涉仪
MRR	Microring Resonator	微环谐振器
DMD	Digital Micromirror Device	数字微镜器件
SLM	Spatial Light Modulator	空间光调制器
PCM	Phase Change Material	相变材料
WDM	Wavelength Division Multiplexing	波分复用
CMOS	Complementary Metal-Oxide-Semiconductor	互补金属氧化物半导体
SOI	Silicon-on-Insulator	绝缘体上硅
VCSEL	Vertical-Cavity Surface-Emitting Laser	垂直腔面发射激光器
TOPS	Trillion Operations Per Second	每秒万亿次运算
AI	Artificial Intelligence	人工智能
DPU	Diffractive Processing Unit	衍射处理单元
FPGA	Field-Programmable Gate Array	现场可编程门阵列

九、参考文献说明

本文共引用160篇参考文献，涵盖了光学神经网络从基础理论到最新进展的各个方面。主要引用文献涉及：

神经网络理论基础（McCulloch, Hebb, Rosenblatt, Rumelhart等）
光学计算和光学神经网络早期研究（Farhat, Psaltis, Caulfield等）
现代集成光学神经网络研究（Shen, Feldmann, Hughes等）
衍射光学神经网络（Lin, Zhou, Fu等）
光子脉冲神经网络（Xiang, Huang等）
存内计算和光子张量核心（Feldmann, Dong等）

超级学长@科研实验室简介：工程光学 、物理光学 、智能优化算法 、信号处理 、图像处理 、机器视觉 、深度学习 、神经网络 等领域实验搭建与实验数据分析等，程序开发、光学相关实验开展、课题选题与科研/论文指导等均可私信交流。

光学神经网络：进展与挑战(Optical Neural Networks: Progress and Challenges)

🕮 目 录

Optical Neural Networks: Progress and Challenges

一、摘要 (Abstract)

二、引言 (Introduction)

2.1 人工智能与神经网络的发展历程

2.2 传统电子计算的瓶颈

2.3 光学神经网络的兴起

三、ONNs的原理 (Principle of ONNs)

3.1 生物神经元模型与人工神经网络

3.2 光学矩阵运算的实现

四、非集成式ONNs (Non-integrated ONNs)

4.1 基于4f系统的ONNs

4.2 基于离散光学衍射元件的ONNs

4.3 基于其他体光学元件的ONNs

五、集成式ONNs (Integrated ONNs)

5.1 基于片上MZI网格的ONNs

5.2 基于片上MRR权重库的ONNs

5.3 基于片上衍射超表面的ONNs

5.4 基于其他片上光学元件的ONNs

六、讨论 (Discussion)

6.1 非集成式与集成式ONNs性能比较

6.2 计算密度与计算容量

6.3 非线性与可重构性

6.4 可扩展性

6.5 能效比较

6.6 ONNs的应用

七、结论 (Conclusion)

八、关键术语表

九、参考文献说明

🕮 目录