DeepLens 把可微光线追迹推进到复合透镜免初值自动设计------以正弦课程调度、光学正则三重约束与重加权掩码,使 80.8°/F2.0 手机镜头从平板随机结构稳定收敛;EDoF 分支以混合表面与 NAFNet 端到端联合训练,在 10 cm--10 m 全景深取得 +1--2 dB。本文系统整理 6 篇复现博客对应的论文图表、AutoDL 取数与绘图清单、近 2-3 年最具代表性的同源仿真论文与开源项目,供复现与延伸参考。
目录
- [一、原论文再读:从课程学习到 ab initio 复合透镜](#一、原论文再读:从课程学习到 ab initio 复合透镜)
- [1.1 论文档案](#1.1 论文档案)
- [1.2 问题定义:为什么复合透镜"从零学起"曾经不可能](#1.2 问题定义:为什么复合透镜"从零学起"曾经不可能)
- [1.3 解决思路:把"先易后难"做成可微优化](#1.3 解决思路:把"先易后难"做成可微优化)
- [二、方法核心:正弦课程 + 三重正则 + 重加权掩码](#二、方法核心:正弦课程 + 三重正则 + 重加权掩码)
- [2.1 训练主循环](#2.1 训练主循环)
- [2.2 三大机制(消融 Table 1,缺一不可)](#2.2 三大机制(消融 Table 1,缺一不可))
- [2.3 畸变松弛 + 联合重建(EDoF 分支)](#2.3 畸变松弛 + 联合重建(EDoF 分支))
- [三、我的复现:6 篇博客对应论文哪些图](#三、我的复现:6 篇博客对应论文哪些图)
- [四、AutoDL 复现清单:取数 / 绘图 / 成本](#四、AutoDL 复现清单:取数 / 绘图 / 成本)
- [4.1 数据源:你"看起来要下,其实已经有了"](#4.1 数据源:你"看起来要下,其实已经有了")
- [4.2 绘图清单(按性价比排序,¥0.1/h 无卡模式就能准备环境)](#4.2 绘图清单(按性价比排序,¥0.1/h 无卡模式就能准备环境))
- [4.3 立刻可上 AutoDL 跑(L1+L3 性价比最高)](#4.3 立刻可上 AutoDL 跑(L1+L3 性价比最高))
- [五、近 2-3 年同源综述与开源项目(只租算力就能跑)](#五、近 2-3 年同源综述与开源项目(只租算力就能跑))
- [5.1 综述(全部带标题,DOI 可按标题自取)](#5.1 综述(全部带标题,DOI 可按标题自取))
- [5.2 开源项目(按"只租算力就能跑"打分)](#5.2 开源项目(按"只租算力就能跑"打分))
- [5.3 "2025 年以前最具代表性、几乎不依赖硬件"的仿真论文清单](#5.3 "2025 年以前最具代表性、几乎不依赖硬件"的仿真论文清单)
- 六、总结与延伸
- [附录 A:术语速查](#附录 A:术语速查)
- [附录 B:本系列 6 篇博客目录(部分需自行补抓)](#附录 B:本系列 6 篇博客目录(部分需自行补抓))
- [附录 C:参考清单(标题列出供下载)](#附录 C:参考清单(标题列出供下载))
一、原论文再读:从课程学习到 ab initio 复合透镜
1.1 论文档案
- 标题:Curriculum Learning for ab initio Deep Learned Refractive Optics
- 作者:Xinge Yang, Qiang Fu, Wolfgang Heidrich
- 机构:KAUST(阿卜杜拉国王科技大学)计算成像实验室
- 期刊 :Nature Communications, 2024, 第 15 卷,文章号 6572
- 预印本:arXiv:2302.01089 (v1, 2023-02;v3 与正式发表版一致)
- 代码仓库:主仓库 vccimaging/DeepLens → 已迁至 AI4Optics/AutoLens(活跃维护),最新主仓库 singer-yang/DeepLens
- 数据/权重 :Zenodo 记录 8358592,4.5 GB 压缩包(MD5
8862c87a339a3e14ee54d5130748b0f4) - 关键依赖:dO 引擎(IEEE Trans. Comput. Imag. 2022,Wang/Chen/Heidrich)
1.2 问题定义:为什么复合透镜"从零学起"曾经不可能
深度光学优化在 DeepLens 之前被锁死在两条路径:
- 单片式元件(DOE、超表面 metalens)------自由度低,梯度好驾驭,但无法表达复合透镜;
- 从 Zemax 人工好初值出发的局部优化------本质仍是"绕着好起点微调",从未摆脱对人工初值结构的依赖。
根本障碍:复合透镜参数空间高度非凸,随机初始化必然导致表面自交、光线溢出等病态结构,梯度直接失效。论文把这描述为"non-convex landscape 极易陷入局部最小值"。这一观察承自经典光学设计文献(Smith 2008、Ma & Borovytsky 2015、Kingslake & Johnson 2010 等)。
1.3 解决思路:把"先易后难"做成可微优化
论文引入 Bengio 2009 年提出的 curriculum learning ------把最终设计目标(80.8°/F2.0 的高规格复合透镜)拆成难度递增的子任务序列,逐步求解。这是手工光学设计中"先做低规格原型,再叠加到高规格"的传统流程的可微化、自动化版本。
核心洞见一句话 :像差随孔径与视场超线性恶化,所以先设计"简单镜头"再逐步逼近最终规格------把"训练"这一动作本身变成多阶段寻优。
二、方法核心:正弦课程 + 三重正则 + 重加权掩码
2.1 训练主循环
训练主体由四个动作构成:
- 初始化:近乎平板的随机几何(11 面,4--6 片 + 1 光圈);
- 前向:可微光线追迹(dO 引擎,基于 PyTorch autograd)渲染传感器图像;
- 损失 :图像空间 MSE
‖M(Ĩ−I)‖²(不是 RMS spot------RMS 仅用于评估); - 反传:更新光学参数 θ(曲率、间距、conic、非球面系数)。
两个关键工程技巧(对应 Methods 2.2 与 Fig 3):
- 伴随渲染(adjoint rendering):先无梯度追迹得误差图,固定种子重放带梯度追迹,大幅压低显存;
- patch backpropagation:对图像 patch 递归反传,避免 1024² / 2048² 分辨率爆显存。
2.2 三大机制(消融 Table 1,缺一不可)
| 机制 | 公式 | 关键阈值 | 摘除后果 |
|---|---|---|---|
| 正弦课程调度 | t_i = t_a + (t_b − t_a) · sin(iπ/2N) |
FoV 47.5°→80.8°,F/2.8→F/2.0 | 60% 初始化解自交 |
| 光学正则 ×3 | (光线倾角 / 表面间距 / 表面梯度) | ε = 0.7 / 0.4-0.2 mm / 0.5;ω = 0.02 | 100% 自交、零梯度 |
| 重加权掩码 WM | M 把 RMS < 0.8×均值 的视场置零 |
阈值自适应 | 收敛变慢 / 局部极小 |
这三个机制不是简单加和------论文 Table 1 的消融数据明确显示,任意一个摘掉,要么自交率从 0% 涨到 60%,要么 RMS 平均值从 15.74 μm 飙到 22.19 μm。
2.3 畸变松弛 + 联合重建(EDoF 分支)
针对大 FoV 镜头几何畸变显著的问题,论文引入畸变松弛 :通过主光线估计畸变,先对物体预畸变(枕形/桶形抵消),再送入光线追迹,得到与 GT 对齐的失真-自由仿真图像。配套引入伴随渲染(避免内存爆炸),使 EDoF 端到端联合训练在 1024² 分辨率下可行。
两类产出:
- 经典镜头 :FoV 80.8° / F/2.0 / 4.5 mm;20 组随机初始化下 Avg/Min RMS = 15.74 / 12.50 μm;
- EDoF 计算镜头 :第一表面替换为"偶次非球面 + 奇次多项式"混合面(立方相位板思想推广),与 NAFNet 联合训练;3 波长(486 / 587 / 656 nm)、8 训练深度(10 cm--10 m)、DIV2K 数据集;EDoF 在 10 cm--10 m 全程比经典镜头高约 1--2 dB。
三、我的复现:6 篇博客对应论文哪些图
把 6 篇博客与论文图表对齐,便于按图复盘:
| 博客 | 编号 | 对应 P0--P4 阶段 | 对应论文图表 | 备注 |
|---|---|---|---|---|
| DeepLens 论文精读·复现笔记 | #1 | P0--P4 总体规划 | Fig 1 / Table 1 / Fig 4 / Fig 5 | 5 阶段路线 + AutoDL 成本账 + 避坑清单,最完整 |
| (标题未抓到) | #2 | P0 环境复检 | Fig 1d(铺垫) | CSDN 反爬挡住;推测是放弃昂贵原仓库、切到 AI4Optics/AutoLens 的迁移笔记 |
| (标题未抓到) | #3 | P1 经典镜头课程复现 | Fig 1d(手机镜头 4 阶段演化) | CSDN 反爬挡住 |
| (标题未抓到) | #4 | P2 Table 1 消融 | Table 1 + Fig 4 | CSDN 反爬挡住 |
| DeepLens E3:光圈课程起点消融 | #5 | Fig 4 二次消融 | Fig 4(课程长度消融的另一面) | sed -i 改一行;40 分 43 秒出图;反直觉结论:课程是形塑工具,非性能工具 |
| DeepLens E4:NAFNet 端到端 EDoF | #6 | P3 EDoF 推理 | Fig 5 | 9 深度 × 100 张;Rec PSNR 30-34 dB,比 Render 提升 8-10 dB |
注 :CSDN 对 #2/#3/#4 三篇启用了反爬,WebFetch 与 Bing 缓存都未能取到全文,我根据 #1 笔记的 P0--P4 路线反推了它们对应的论文图表。如果你需要拿到这三篇原文,可以用 archive.org/wayback 拉缓存,或者把这三篇的内容贴给我,我帮你对回论文图表。
四、AutoDL 复现清单:取数 / 绘图 / 成本
4.1 数据源:你"看起来要下,其实已经有了"
| 用途 | 来源 | 在 AutoDL 上的取法 |
|---|---|---|
| Zenodo 4.5 GB 包 | Zenodo 记录 8358592(MD5 8862c87a339a3e14ee54d5130748b0f4) |
你本地的 DeepLens_NatComm_submission.zip 就是这个包,不用再下 |
| DIV2K 训练集 | ETH Zurich DIV2K | 仅 EDoF 训练才需要;H 盘 Zenodo 包里已有 100 张 GT |
| AutoLens 代码 | AI4Optics/AutoLens | git clone;或用本地的 DeepLens-main.zip |
关键省时点 :Zenodo 包里已经包含 datasets/DIV2K_valid_square/hybrid_surf/depth_* 9 个深度 × 100 张预渲染模糊图------省下 1--2 天的 PSF 预渲染时间。
4.2 绘图清单(按性价比排序,¥0.1/h 无卡模式就能准备环境)
| 阶段 | 跑哪份代码 | 出的图 | 成本(AutoDL 3090) |
|---|---|---|---|
| L1 经典镜头 | python 2_autolens_rms.py |
① 4 阶段镜头剖面演化(Fig 1d);② RMS 网格热图 | 3-10 h,¥5--19 |
| L2 缩水消融 | 改 aper_start 那一行 × 3 种子 |
③ 重加权掩码可视化(Fig 1c);④ 课程各阶段 RMS 收敛曲线 | 50-150 h,¥66--280 |
| L3 EDoF 推理 | nohup python edof.py & |
⑤ NAFNet 重建 9 深度 PSNR/SSIM 曲线(Fig 2d + Fig 5);⑥ 三联图 | 0.5 h,¥0.66 |
| L4 光路图 | deeplens/optics/render_psf.py + lenses/camera/*.json |
⑦ MTF 曲线 / Spot diagram(Fig 2e);⑧ 8 个真实相机镜头对比 | 1-2 h,¥1.3--2.6 |
4.3 立刻可上 AutoDL 跑(L1+L3 性价比最高)
bash
# 无卡模式(¥0.1/h)装环境
conda create -n deeplens python=3.10
pip install "numpy<2" "opencv-python-headless==4.8.0.76" "transformers==4.30.2"
pip install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118
# EDoF 推理(¥1 不到出 Fig 5)
nohup python edof.py --config configs/edof.yml > e4_edof.log 2>&1 &
# 20 分钟出 9 深度 × 100 张 Rec 重建
# 经典镜头 L1(出 Fig 1d)
sed -i 's/iterations=10000/iterations=5000/' 2_autolens_rms.py
nohup python 2_autolens_rms.py > e1_lens.log 2>&1 &
# 50-100 分钟出 4 阶段演化 GIF + final_lens.json避坑清单(本系列 #5/#6 笔记踩过的雷):
numpy<2锁死,否则import torch直接挂;transformers==4.30.2锁版本,否则get_cosine_schedule_with_warmup报缺 PyTorch;- 经典镜头用 3090,不要用 4090(batch 小、显存低,贵 50% 没收益);
- ED oF 先 512² 验证损失下降再上 1024²;
- 关实例别忘了,AutoDL 按秒扣费。
五、近 2-3 年同源综述与开源项目(只租算力就能跑)
5.1 综述(全部带标题,DOI 可按标题自取)
| # | 标题 | 期刊 / 年份 | 强相关章节 |
|---|---|---|---|
| 1 | Artificial Intelligence-Assisted Design of Imaging Optical Systems (Invited) | Acta Optica Sinica, 45(19):1911002, 2025(BIT 程德文团队) | Fig 13 = 课程学习端到端框架;Fig 14 = 智能手机镜头规格升级;96 篇参考文献 |
| 2 | Deep Learning for Computational Imaging: from Data-Driven to Physics-Enhanced Approaches | Advanced Photonics, 7(5):054002, 2025(Wang/Czarske/Situ) | 13 种 DL for CI 方法优缺点对照表 |
| 3 | Comparative Analysis of Modern Approaches to Optical System Design Automation | 2025(OUCI 综述) | 5 类方法对比:可微物理模型 / DL / 进化算法 / 混合 / 全正向训练 |
| 4 | Computational Lens Design | CMU-CS-25-144 PhD Thesis, Arjun Teh, 2025-11 | 端到端透镜设计系统总结,含 pupil-aware 梯度 + MCMC 片数可变 |
| 5 | Deep Learning for Optical Engineering: A Review | J. Phys. D: Appl. Phys.(IOP), 2025 | SPG / E2E / OAA 三大类自动光学设计 |
5.2 开源项目(按"只租算力就能跑"打分)
| # | 仓库 | 论文 / 年份 | 算力门槛 | 干啥的 |
|---|---|---|---|---|
| 1 | singer-yang/DeepLens | Nat Commun 2024 | 3090 × 几小时 | 主仓库,含 optics/sensor/ISP/network 完整管线 |
| 2 | AI4Optics/AutoLens | 同上 | 3090 × 几小时 | 课程学习自动设计前端,最活跃维护 |
| 3 | cargicar/PhoCoLens | NeurIPS 2024 | 3090 × 几小时 | 无透镜成像 + 扩散模型,PSF + DDPM 两阶段 |
| 4 | baijiesong/Lensnet | IJCAI 2025 | 3090 × 几小时 | 无透镜 PSF 端到端建模,含 Wiener 滤波 |
| 5 | Congli-Wang/dflens | arXiv:2406.00834, SIGGRAPH Asia 2024 | 3090 × 几小时 | 混合折射-衍射(ray-wave 混合) ,DeepLens 同组延续,最适合作为你下一篇笔记选题 |
| 6 | guillaume-cole/multivariable | CVPR 2023(Côté/Heide/Lalonde) | 3090 × 半天 | 端到端搜索"玻璃表面+材料",跟 cellphone lens 课题最贴 |
5.3 "2025 年以前最具代表性、几乎不依赖硬件"的仿真论文清单
按"只租算力就能完成"排序:
- Curriculum Learning for ab initio Deep Learned Refractive Optics(你这篇)------Yang/Fu/Heidrich, Nat Commun 2024
- dO: A Differentiable Engine for Deep Lens Design------Wang/Chen/Heidrich, IEEE TCI 2022(DeepLens 的引擎基础)
- End-to-End Optimization of Optics and Image Processing for Achromatic Extended Depth of Field------Sitzmann et al., ACM TOG 2018(端到端光学开山之作)
- Neural Nano-Optics for High-Quality Thin Lens Imaging------Tseng et al., Nat Commun 2021
- End-to-End Complex Lens Design with Differentiable Ray Tracing------Sun et al., ACM TOG 2021
- The Differentiable Lens: Compound Lens Search over Glass Surfaces and Materials------Côté et al., CVPR 2023
- Large Depth-of-Field Ultra-Compact Microscope by Progressive Optimization and Deep Learning------Zhang et al., Nat Commun 2023
- dflens: Differentiable Pipeline for Hybrid Refractive-Diffractive Lens Design------Wang/Chen/Heidrich, arXiv:2406.00834(2024)
- PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging------Cai et al., NeurIPS 2024
- LensNet: An End-to-End Learning Framework for Empirical Point Spread Function Modeling and Lensless Imaging Reconstruction------Bai et al., IJCAI 2025
六、总结与延伸
- 我的 6 篇博客几乎覆盖论文 §2 全部图表 : #1 定调、#2-#4 是 Fig 1/Table 1/Fig 4 的执行笔记(被反爬挡住但你 #1 的 P0-P4 路线里有完整框架)、#5 是 Fig 4 课程起点的二次消融、#6 是 Fig 5 NAFNet 端到端重建。还差的是 Fig 2 的 EDoF 镜头本身的光学训练 (不是 NAFNet 推理)------需要跑
auto_lens_design.py配 EDoF 配置(hybrid surface),这块论文 Fig 2a 的设计空间 #6 没覆盖。 - AutoDL 取数你已经有了 : H 盘那个 4.5 GB zip = Zenodo 8358592 包的全部数据, 不需要再下载 。要补的是
git clone AI4Optics/AutoLens拿最新代码。 - 性价比最高的几个动作 (按预算自选):
- ¥1-2: L3 推理(已跑通),直接出 Fig 5 三联图;
- ¥5-19: L1 经典镜头出 Fig 1d 4 阶段演化(论文最具视觉冲击力);
- ¥66-280: L2 消融出 Table 1 + Fig 4,对"模块缝合"方向最有学术营养;
- 后续: 把 L4 跑一下 SIGGRAPH Asia 2024 的 ray-wave 混合(dflens),作为下一篇笔记的选题。
- 学术延伸: DeepLens 的核心贡献是"首次把复合透镜从零设计稳定收敛"------同组后续 ray-wave 混合透镜(dflens)把"光学模型从纯几何光学拓展到衍射",是无透镜成像与衍射计算成像的桥接工作,值得作为下一篇论文蒸馏的选题。
附录 A:术语速查
| 术语 | 含义 |
|---|---|
| ab initio | 从零开始(无人工初值结构) |
| dO | 前身可微光线追迹引擎(IEEE TCI 2022) |
| EDoF | Extended Depth-of-Field,扩展景深 |
| NAFNet | Nonlinear Activation Free Network,Simple Baselines for Image Restoration(ECCV 2022) |
| 混合表面 | 偶次非球面 + 奇次多项式的复合面形 |
| 伴随渲染 | 分两遍追迹以省显存的反传技巧 |
| 重加权掩码 | 将已收敛视场从损失中置零的机制 |
| 课程调度 | 设计规格随迭代按正弦曲线递增 |
附录 B:本系列 6 篇博客目录(部分需自行补抓)
| # | CSDN 文章 ID | 主题 |
|---|---|---|
| 1 | 167132376 | 论文精读·复现笔记(P0--P4 路线) |
| 2 | 167132421 | (CSDN 反爬挡住,需 archive.org 拉缓存) |
| 3 | 167220298 | (CSDN 反爬挡住,需 archive.org 拉缓存) |
| 4 | 167227108 | (CSDN 反爬挡住,需 archive.org 拉缓存) |
| 5 | 167377350 | E3:光圈课程起点对 AutoLens 优化收敛的影响 |
| 6 | 167376646 | E4:NAFNet 端到端 EDoF 重建复现 |
附录 C:参考清单(标题列出供下载)
按用户复现数据与本系列关联出正式参考清单:
- Yang, Fu, Heidrich. Curriculum Learning for ab initio Deep Learned Refractive Optics. Nature Communications, 2024.
- Wang, Chen, Heidrich. dO: A Differentiable Engine for Deep Lens Design of Computational Imaging Systems. IEEE TCI, 2022.
- Sitzmann et al. End-to-End Optimization of Optics and Image Processing for Achromatic Extended Depth of Field and Super-Resolution Imaging. ACM TOG, 2018.
- Sun et al. End-to-End Complex Lens Design with Differentiable Ray Tracing. ACM TOG, 2021.
- Tseng et al. Neural Nano-Optics for High-Quality Thin Lens Imaging. Nat Commun, 2021.
- Côté, Mannan, Thibault, Lalonde, Heide. The Differentiable Lens: Compound Lens Search over Glass Surfaces and Materials for Object Detection. CVPR, 2023.
- Wang, Chen, Heidrich. dflens: Differentiable Pipeline for Hybrid Refractive-Diffractive Lens Design. arXiv:2406.00834, 2024.
- Cai et al. PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging. NeurIPS, 2024.
- Bai et al. LensNet: An End-to-End Learning Framework for Empirical Point Spread Function Modeling and Lensless Imaging Reconstruction. IJCAI, 2025.
- Cheng, Wang, Fu, Wang. Artificial Intelligence-Assisted Design of Imaging Optical Systems (Invited). Acta Optica Sinica, 2025.
- Wang, Czarske, Situ. Deep Learning for Computational Imaging: from Data-Driven to Physics-Enhanced Approaches. Advanced Photonics, 2025.
- Teh. Computational Lens Design. PhD Thesis, CMU-CS-25-144, 2025.
本笔记为「模块缝合·论文蒸馏」系列第 N 篇。所有方法论与代码出处见正文 #2--#6 博客及附录 #1 必读论文。如需把 #3 的反爬笔记从 archive.org 拉回正文,可继续提供原始草稿或截图。