【数字图像处理与FPGA实现】00 绪，建立“算法思维“与“硬件思维“的桥梁

0、初衷

matlab 复制代码

我的历程:

算法->rtl -> 算法&rtl

构建起这座桥，双向互译！直到
"写算法时心中有电路，写FPGA时心中有算法。"

阶段1：我曾是算法的"原教旨主义者"。

最早期，我和许多算法工程师一样，活在 MATLAB/Python/C语言的抽象象牙塔里。

对我来说，图像就是 imread() 返回的那个完美矩阵，

处理就是调用 conv2() 或 cv2.GaussianBlur()等函数。

数据是静止的、无限的、免费的------内存不够就加条 DIMM，

算得慢就等几秒，边界处理？

MATLAB 会帮我 padarray，

Python 会帮我 cv2.BORDER_REFLECT。

阶段2：感知算法FPGA RTL实现的成就感与艺术。

当我第一次看到 FPGA 代码时，我是困惑甚至抗拒的：

1）"什么？我要自己算地址？"

2）"为什么不能有 for 循环遍历整张图？"

3）"这个 always @(posedge clk) 是什么意思？我明明只是想做个滤波..."

我理解那种认知的撕裂感 ：

你明明知道算法在数学上是对的，

但面对硬件时，突然发现自己像个失语的翻译------你懂算法的"英语"，

但完全不懂硬件的"法语"，更不知道如何将一个翻译成另一个。

直到我逼着自己写完第一个 Line Buffer，调通第一个图像空间滤波算法，

我才突然顿悟：

硬件不是在"实现"算法，硬件是在"演绎"数据流。

深有成就感，然后在资源与带宽等PPA（power\performance\array的优化,
感知FPGA实现的艺术）

阶段3：Translate：两种语言的"互译"能力

现在，我能在 MATLAB 和 Vivado 之间自由穿梭 ，不是因为我会两种语言，

而是因为我建立了一种"中间表示"（Intermediate Representation）：

当我看到算法里的卷积，

我脑子里浮现的不是矩阵乘法，

而是滑动窗口的数据流图（Line Buffer 接 Shift Register 接 MAC 树）；

当我看到硬件里的流水线延迟（Latency），我能立刻映射到算法里的帧缓冲需求；

当我写 C 定点化代码时，我脑子里同时在跑Verilog 的波形和MATLAB 的浮点参考，

确保每一级的误差都在预算内。
这种"双向翻译"能力，就是本课程要给你的元技能。

最大的价值是培养"System Architect"

---既能在MATLAB/C/Python 里调参，

又能在FPGA Xilinx Vivado里看RTL，Timing Report，place and routing

还能算清楚带宽和功耗的人。

这种人才在工业相机、医疗影像、车载视觉领域极其稀缺。

1、方法论

📚

我们聚焦方法论本身------
如何在"算法思维"与"硬件思维"之间建立转换通道。

这是一个"跨界翻译"课程：

把数学语言翻译成电路语言，把流水线思维反哺给算法设计。

2、核心：三级跳工作流

matlab 复制代码

MATLAB浮点原型（验证算法正确性）
      ↓ 手动定点化
C定点模型（验证数值精度/范围）
      ↓ 时序展开
Verilog/RTL（验证硬件可行性/资源）

matlab 复制代码

关键洞察：
C定点化不是过渡，而是精度验证的黄金标准。
MATLAB算对的，C算不对，一定是定点化错了；
C算对的，RTL算不对，一定是时序错了。

3、思维架构的碰撞与感知，循序渐进

📚

模块1：两种思维方式的碰撞（建立认知框架）

算法人员的误区："我先算完整张图的梯度，再做非极大值抑制"

FPGA人员的误区："我只需要把公式里的乘加都用DSP48实现就行"

正确认知：

空间域：图像是流，不是矩阵（除DDR缓存场景外）

时间域：每个时钟周期必须产出结果（或满足吞吐率），不能有"迭代收敛"过程

精度域：没有float，只有wire [N:0]和$signed()的博弈

对比实验：同一个3×3 Sobel

算法版本：卷积函数，边界补零，整帧计算

硬件版本：Line Buffer+滑动窗口，边界复制，像素级流水

模块2：GAP跨越------三大核心机制

2.1 数据流架构（Stream Processing）

相机的本质：CMOS传感器通过LVDS/MIPI吐数据，是一维流，不是二维数组。

关键概念：

Line Buffer：用BRAM缓存若干行，实现"垂直方向的时间换空间"

Kernel对齐：如何让3×3窗口在流式数据上滑动（Valid信号配合）

乒乓与反压：当下游处理慢于上游时，TREADY信号如何传递

实战理解：

设计一个"流式直方图均衡"（理论上需要全图统计）vs "流式自适应阈值"（局部窗口即可），理解哪些算法天然适合流式，哪些必须帧缓存。

2.2 存储层次设计（Memory Hierarchy）

三级存储模型：

BlockRAM（片内）：行缓存、查找表、小尺寸参数，1-2时钟延迟

DDR（片外）：整帧缓存、大容量历史帧，高延迟高带宽

matlab 复制代码

是否需要帧缓存？
├─ 是（如图像旋转、上下翻转）→ DDR架构 + 乒乓Buffer
└─ 否（如空间滤波、色彩转换）→ 纯流式 + Line Buffer

matlab 复制代码

带宽计算思维：
4K@60fps = 12.4Gbps，
如果DDR带宽25.6GB/s，理论够用，
但考虑到效率（70%）和双倍读写（读旧帧+写新帧），余量可能不足。
这是算法人员必须理解的硬约束。

2.3 定点化工程方法（Fixed-Point Engineering）

不是简单的"把小数变成整数"，而是量化精度的管理等。

模块3：实战案例（由易到难，纯PL→PS+PL）

结合个人的学习与工作经验。

Level 1：纯组合逻辑（Pixel-wise）

Demosaic（去马赛克）：
理解Bayer Pattern的流式重组，需要2行缓存实现3×3窗口
Gamma校正：
BRAM做256×8bit查找表（输入8bit，输出8bit），纯组合逻辑查表
Color Matrix：
3×3矩阵乘法，9个乘法器并行，定点化系数设计

Level 2：需要时序控制（Line-based）

2D卷积/滤波：
滑动窗口实现，理解shift_reg和valid信号的生成逻辑
直方图统计：
每行统计+帧间累加，理解部分和(Partial Sum)的存储
简单的Column/Row处理：如黑电平校正（每行减去暗场平均值）

Level 3：帧间处理（Frame-based，必须过DDR）

时域降噪(TNR)：当前帧与DDR中的历史帧加权平均
数字稳像(EIS)：帧缓存+仿射变换（需要双线性插值）

Level 4：PS+PL协同（控制流+数据流分离）

架构分层：
PL（硬核）：

负责像素级高吞吐处理（如Bayer2RGB、降噪、色彩空间转换）
PS（软核/MCU）：

负责帧级决策（如根据直方图调整AE参数，计算Gamma曲线）
典型案例：

AE（自动曝光）：

PL分块统计亮度直方图 → PS分析直方图计算目标曝光 → PS写传感器寄存器
AF（自动对焦）：

PL计算grad梯度（Sobel+平方和）→ PS接收清晰度评价值 → PS控制电机

4、最最核心的思想，也是初衷

写给算法人员：

忘掉for i=1:H, for j=1:W，那是软件思维。硬件是always @(posedge clk)，每个周期出一个像素。

边界处理必须显式设计（复制/镜像/常数），不能像MATlab默认padding。

精度损失累积：多级处理（去噪→增强→色彩转换）每级都舍入，总误差会放大。如何设置合理的量化精度。
写给FPGA人员：

先理解算法为什么长这样，再写RTL。

比如Sobel核为什么是[1 2 1]，理解高斯平滑+差分的概念。

最大的价值是培养"System Architect"

---既能在MATLAB/C/Python 里调参，又能在Vivado里看RTL，Timing Report，还能算清楚带宽和功耗的人。

这种人才在工业相机、医疗影像、车载视觉领域极其稀缺。

THE END~