SoC(System on Chip,片上系统)是现代嵌入式计算平台的核心。从无人机、机器人、智能相机,到汽车域控制器和工业视觉设备,都大量使用 SoC。
对于嵌入式软件工程师学习 SoC,不仅是 CPU 型号、核心数和主频,更重要的是理解:
- 硬件架构:CPU、MCU、GPU、NPU、ISP、内存控制器和外设如何集成。
- 数据通路:CPU 如何访问内存,摄像头采集的数据如何通过 DMA 进入 DRAM。
- 软件架构:Bootloader、Linux 内核、设备树、驱动和应用程序如何协作。
- 系统设计:如何在性能、实时性、功耗、带宽和可靠性之间权衡。
一、SoC
1.1 SoC 定义
SoC :将原本需要多个独立芯片完成的计算、控制、通信和数据处理功能,集成到一颗芯片中。
一个典型的嵌入式 SoC 可能集成以下模块:
| 模块分类 | 包含组件 | 功能 |
|---|---|---|
| CPU 集群 | Cortex-A 系列核心 | 运行 Linux / 复杂应用计算 |
| 实时核心 | Cortex-R/M 系列核心 | 实时控制与低功耗任务 |
| 硬件加速器 | GPU、NPU、ISP、VPU | 图形渲染、AI推理、图像处理、视频编解码 |
| 内存子系统 | Cache、SRAM、DDR 控制器 | 多级存储与外部内存访问 |
| 片内互连 | AXI、NoC、缓存一致性互连 | 模块间数据传输与仲裁 |
| 外设控制器 | USB、PCIe、SPI、I²C、UART、CAN | 外部设备接口与通信 |
| 系统控制 | 时钟、复位、电源管理、中断控制、安全模块 | 芯片全局管控与安全机制 |
以上为通用概念架构,不代表每颗 SoC 都具备全部模块。
这里有一个非常重要的概念区分:SoC 是芯片,开发板是搭载 SoC 及外围电路的完整硬件平台。
例如,一块无人机运算板可能包含:
- 一颗 SoC,负责视觉、感知、应用计算。
- LPDDR4/LPDDR5 存储器。
- eMMC 或其他非易失存储。
- PMIC 电源管理芯片。
- 独立 MCU、无线通信芯片和外设接口。
因此,SoC 本身不等于整块运算板,也不意味着 DDR、存储器、无线射频等全部集成到同一硅片上。
1.2 SoC、CPU、MCU、MPU 的区别
| 概念 | 含义 | 区别 |
|---|---|---|
| CPU | 中央处理器 | 负责执行指令的计算核心 |
| MCU | 微控制器 | 通常集成 CPU、片上存储和控制外设 |
| MPU | 微处理器 | 通常偏向高性能计算及复杂操作系统 |
| SoC | 片上系统 | 集成处理器、互连、控制器及各类功能 IP |
| SoM | 系统级模块 | 将 SoC、内存、电源等封装成可复用硬件模块 |
注意,MCU 与 SoC 不是严格互斥的概念。现代 MCU 本身也属于广义的 SoC。MPU 在不同资料中也可能指 Memory Protection Unit(内存保护单元)。
二、SoC 的 CPU 架构:Cortex-A、Cortex-R、Cortex-M
Arm 官方将其处理器架构分为三大类:A-profile、R-profile 和 M-profile,分别面向应用计算、实时处理和微控制器。
2.1 三种架构
| 特性 | Cortex-A | Cortex-R | Cortex-M |
|---|---|---|---|
| 设计目标 | 高性能应用计算 | 实时、确定性响应 | 低功耗与低成本控制 |
| 系统 | Linux、Android | RTOS、裸机 | RTOS、裸机 |
| 内存管理 | 通常具备 MMU | 依型号支持 MPU/MMU | 通常无 MMU,部分有 MPU |
| Cache 配置 | 通常具备多级 Cache | 可配 Cache、TCM | 部分型号有 Cache |
| 任务 | AI、图像、网络、UI | 电机与安全控制 | 传感器、通信、简单控制 |
| 代表核心 | A53、A55、A78 | R5、R52、R82 | M4、M7、M33 |
以上为大体通用特征,不是对所有型号的绝对限制。尤其 Cortex-R 并非完全没有 MMU,具体能力必须看处理器代际和技术参考手册。
2.2 Cortex-A:运行复杂应用的计算核心
Cortex-A 是嵌入式 Linux SoC 的主要计算核心之一
Cortex-A 核心的执行流水线概念模型:
#mermaid-svg-6ZaUBJREcMRkGGPn{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-6ZaUBJREcMRkGGPn .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-6ZaUBJREcMRkGGPn .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-6ZaUBJREcMRkGGPn .error-icon{fill:#552222;}#mermaid-svg-6ZaUBJREcMRkGGPn .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-6ZaUBJREcMRkGGPn .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-6ZaUBJREcMRkGGPn .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-6ZaUBJREcMRkGGPn .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-6ZaUBJREcMRkGGPn .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-6ZaUBJREcMRkGGPn .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-6ZaUBJREcMRkGGPn .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-6ZaUBJREcMRkGGPn .marker{fill:#333333;stroke:#333333;}#mermaid-svg-6ZaUBJREcMRkGGPn .marker.cross{stroke:#333333;}#mermaid-svg-6ZaUBJREcMRkGGPn svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-6ZaUBJREcMRkGGPn p{margin:0;}#mermaid-svg-6ZaUBJREcMRkGGPn .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-6ZaUBJREcMRkGGPn .cluster-label text{fill:#333;}#mermaid-svg-6ZaUBJREcMRkGGPn .cluster-label span{color:#333;}#mermaid-svg-6ZaUBJREcMRkGGPn .cluster-label span p{background-color:transparent;}#mermaid-svg-6ZaUBJREcMRkGGPn .label text,#mermaid-svg-6ZaUBJREcMRkGGPn span{fill:#333;color:#333;}#mermaid-svg-6ZaUBJREcMRkGGPn .node rect,#mermaid-svg-6ZaUBJREcMRkGGPn .node circle,#mermaid-svg-6ZaUBJREcMRkGGPn .node ellipse,#mermaid-svg-6ZaUBJREcMRkGGPn .node polygon,#mermaid-svg-6ZaUBJREcMRkGGPn .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-6ZaUBJREcMRkGGPn .rough-node .label text,#mermaid-svg-6ZaUBJREcMRkGGPn .node .label text,#mermaid-svg-6ZaUBJREcMRkGGPn .image-shape .label,#mermaid-svg-6ZaUBJREcMRkGGPn .icon-shape .label{text-anchor:middle;}#mermaid-svg-6ZaUBJREcMRkGGPn .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-6ZaUBJREcMRkGGPn .rough-node .label,#mermaid-svg-6ZaUBJREcMRkGGPn .node .label,#mermaid-svg-6ZaUBJREcMRkGGPn .image-shape .label,#mermaid-svg-6ZaUBJREcMRkGGPn .icon-shape .label{text-align:center;}#mermaid-svg-6ZaUBJREcMRkGGPn .node.clickable{cursor:pointer;}#mermaid-svg-6ZaUBJREcMRkGGPn .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-6ZaUBJREcMRkGGPn .arrowheadPath{fill:#333333;}#mermaid-svg-6ZaUBJREcMRkGGPn .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-6ZaUBJREcMRkGGPn .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-6ZaUBJREcMRkGGPn .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-6ZaUBJREcMRkGGPn .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-6ZaUBJREcMRkGGPn .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-6ZaUBJREcMRkGGPn .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-6ZaUBJREcMRkGGPn .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-6ZaUBJREcMRkGGPn .cluster text{fill:#333;}#mermaid-svg-6ZaUBJREcMRkGGPn .cluster span{color:#333;}#mermaid-svg-6ZaUBJREcMRkGGPn div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-6ZaUBJREcMRkGGPn .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-6ZaUBJREcMRkGGPn rect.text{fill:none;stroke-width:0;}#mermaid-svg-6ZaUBJREcMRkGGPn .icon-shape,#mermaid-svg-6ZaUBJREcMRkGGPn .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-6ZaUBJREcMRkGGPn .icon-shape p,#mermaid-svg-6ZaUBJREcMRkGGPn .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-6ZaUBJREcMRkGGPn .icon-shape .label rect,#mermaid-svg-6ZaUBJREcMRkGGPn .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-6ZaUBJREcMRkGGPn .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-6ZaUBJREcMRkGGPn .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-6ZaUBJREcMRkGGPn :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-6ZaUBJREcMRkGGPn .stage>*{fill:#eef6ff!important;stroke:#4a90e2!important;stroke-width:1.5px!important;color:#1f3b5c!important;}#mermaid-svg-6ZaUBJREcMRkGGPn .stage span{fill:#eef6ff!important;stroke:#4a90e2!important;stroke-width:1.5px!important;color:#1f3b5c!important;}#mermaid-svg-6ZaUBJREcMRkGGPn .stage tspan{fill:#1f3b5c!important;}#mermaid-svg-6ZaUBJREcMRkGGPn .exec>*{fill:#fff7e6!important;stroke:#f5a623!important;stroke-width:1.5px!important;color:#6b4a00!important;}#mermaid-svg-6ZaUBJREcMRkGGPn .exec span{fill:#fff7e6!important;stroke:#f5a623!important;stroke-width:1.5px!important;color:#6b4a00!important;}#mermaid-svg-6ZaUBJREcMRkGGPn .exec tspan{fill:#6b4a00!important;}#mermaid-svg-6ZaUBJREcMRkGGPn .mem>*{fill:#eefbf3!important;stroke:#34c759!important;stroke-width:1.5px!important;color:#145a2e!important;}#mermaid-svg-6ZaUBJREcMRkGGPn .mem span{fill:#eefbf3!important;stroke:#34c759!important;stroke-width:1.5px!important;color:#145a2e!important;}#mermaid-svg-6ZaUBJREcMRkGGPn .mem tspan{fill:#145a2e!important;}#mermaid-svg-6ZaUBJREcMRkGGPn .done>*{fill:#f3eefe!important;stroke:#8e6bd8!important;stroke-width:1.5px!important;color:#3d2a6b!important;}#mermaid-svg-6ZaUBJREcMRkGGPn .done span{fill:#f3eefe!important;stroke:#8e6bd8!important;stroke-width:1.5px!important;color:#3d2a6b!important;}#mermaid-svg-6ZaUBJREcMRkGGPn .done tspan{fill:#3d2a6b!important;} 取指 Fetch
译码 Decode
执行 Execute
ALU
Load/Store
MMU / TLB
Cache
执行结果 / 提交
这只是概念模型。实际微架构可能包含分支预测、乱序执行、寄存器重命名、重排序缓冲区等,具体能力依赖 Cortex 型号。
其中最重要的几项机制是:
- MMU(Memory Management Unit):把虚拟地址转换成物理地址,实现进程地址空间隔离、页级访问权限控制以及 Linux 虚拟内存管理。
- Cache:减少 CPU 访问外部 DRAM 的次数,提升执行效率。但 Cache 同时引入缓存一致性、数据同步和延迟波动等问题。
- SIMD / Vector:通过 NEON 等向量扩展并行处理多个数据元素,适合图像预处理、矩阵运算、DSP 运算。
- SMP(Symmetric Multiprocessing):多个处理器核心由同一个操作系统管理,共享内存,Linux 调度器可以把不同线程安排到不同 CPU 上运行。
例如,一个四核 Cortex-A53 SoC 运行 Linux 时,可以让感知、通信、日志与应用线程分布在多个 CPU 核心上执行。
2.3 Cortex-R:实时控制专用核心
假设无人机需要以 1 kHz 周期执行控制任务,即每隔 1 ms 完成一次控制更新。
Linux 能否执行?可以。但平均执行速度快,不代表最坏情况下的响应时间可预测。
Linux 系统可能出现:
- 中断和调度竞争。
- 高优先级内核执行路径。
- Cache Miss 和 DRAM 访问波动。
- 共享总线上的其他硬件访问。
- 电源管理引起的频率变化。
Cortex-R 面向实时需求,部分型号提供紧耦合内存(TCM)、ECC、Lockstep 等能力,有利于构建可预测和高可靠的控制系统。
这里需要区分两个概念:
Tresponse≠Texecution T_{\mathrm{response}} \neq T_{\mathrm{execution}} Tresponse=Texecution
任务的响应时间不仅包括程序本身执行的时间,还包括中断、调度等待、资源阻塞等延迟。
对于硬实时系统,真正需要验证的是:
Tresponse,max≤Tdeadline T_{\mathrm{response,max}} \leq T_{\mathrm{deadline}} Tresponse,max≤Tdeadline
也就是在规定运行条件和故障假设下,最坏响应时间能够满足截止期限。
2.4 Cortex-M:处理低功耗控制与外围任务
Cortex-M 通常用于微控制器或 SoC 内部的辅助控制单元。
例如:
- 周期性采集 IMU、温度和电压。
- 控制风扇、继电器或某些执行器。
- 执行低功耗唤醒逻辑。
- 在 Linux 启动前执行部分控制任务。
- 处理独立的通信和设备管理工作。
对于异构 SoC,常见设计是 Cortex-A 运行 Linux,而 Cortex-M 运行 FreeRTOS 或裸机固件。
Cortex-A 负责复杂计算,Cortex-R/M 负责具有不同实时性、功耗或隔离要求的任务。 这是一种设计分工,并非绝对界限。
三、SoC 案例:NXP i.MX 8M Plus
研究一颗公开资料完整的商用 SoC,比只看抽象概念更容易理解实际架构。
NXP i.MX 8M Plus 概述
这是一颗面向机器视觉、边缘 AI 与工业自动化的异构计算应用处理器,适合用于理解 Linux、实时处理器、ISP 与 NPU 如何在同一系统中协作。
根据 NXP 产品资料,i.MX 8M Plus 家族具有以下计算模块(具体配置依型号而异):
| 计算模块 | 规格 | 用途 |
|---|---|---|
| CPU | 2/4 × Cortex-A53,最高 1.8 GHz | Linux 和应用程序运行 |
| MCU 核 | Cortex-M7,最高 800 MHz | 实时及辅助控制 |
| NPU | 最高 2.3 TOPS | AI 模型推理加速 |
| ISP | 双 ISP,最高 375MPixels/s 输入速率 | 图像信号处理 |
| GPU | GC7000UL 3D 图形单元 + GC520L 2D 单元 | 渲染、图形计算 |
| DSP | Cadence Tensilica HiFi 4 DSP @ 800MHz | 音频与语音信号处理 |
| 视频引擎 | H.264/H.265 1080p60 编解码 | 视频压缩、解码 |
| 内存接口 | DDR4 / LPDDR4 控制器,最高 4.0GT/s | 外部运行内存访问 |
这意味着,同一颗芯片中可以同时运行:
- Linux 上的 C++ 视觉应用。
- Cortex-M7 上的实时控制固件。
- NPU 上的神经网络推理任务。
- ISP 中的硬件图像处理。
- 硬件视频编码单元上的 H.265 编码任务。
这些模块通过片内互连、共享内存和专用硬件接口协作。
3.1 从软件角度看这颗 SoC
从软件部署视角,该 SoC 的分层协作模型如下:

这种系统具有两个明显优势:
第一,任务分工 :通用 CPU 不必负责所有工作,可以将特定计算交给效率更高的硬件模块。
第二,高集成度: 将多个功能模块集成到同一 SoC,能够降低部分设计的板级复杂度和通信开销,但也带来共享带宽、功耗与散热方面的约束。
NXP 官方还提供详细的 i.MX 8M Plus Applications Processor Reference Manual(IMX8MPRM),包含外设、寄存器、时钟、中断和系统控制等资料。
四、SoC 内部的总线与互连架构
SoC 内部各模块并不是随意连接的,而是通过总线、互连网络和协议进行访问。
例如,CPU 需要访问 DDR,ISP 需要写入图像数据,NPU 需要读取输入张量,DMA 控制器需要搬运内存数据。这些操作都会涉及片内互连。
4.1 AMBA 总线架构
Arm 提供的 AMBA(Advanced Microcontroller Bus Architecture)是一套片内互连协议规范,用于连接 SoC 中的处理器、存储和外设 IP。
常见协议对比:
| 协议 | 特点 | 主要用途 |
|---|---|---|
| APB | 结构简单、开销较低 | UART、GPIO、Timer 等低速寄存器访问 |
| AHB | 支持较高性能的数据传输 | 较简单的系统互连 |
| AXI | 独立读写通道、突发传输、Outstanding事务 | CPU、DMA、DDR、高速外设 |
| ACE | 在AXI基础上增加缓存一致性能力 | 一致性处理器及相关系统 |
| CHI | 面向可扩展一致性互连,支持复杂NoC | 多核高性能 SoC、大规模片上网络 |
注意:AHB、AXI、CHI 是互连协议,而 NoC(Network on Chip)描述的是一种片内互连结构,两者属于不同的分类维度。
4.2 AXI
AXI = Advanced eXtensible Interface,高级可扩展接口,是 Arm AMBA 片上总线标准里的高性能片上互连协议,是现代 SoC 里 CPU、GPU、DMA、DDR 控制器之间的主流高速接口。
特性
- 读写完全分离,读写通道独立,可并行流水
- 支持多个 in-flight 事务:发完请求不等回复就继续发下一笔
- 支持乱序返回 :依靠
AXID标记归属,回复顺序可以和发请求顺序不一致 - Burst 突发传输:AXI4 INCR 最长 256 beat;FIXED/WRAP 最多 16 beat
- 字节选通 WSTRB:支持非对齐访问、部分字节写
- 可插寄存器打拍,时序收敛友好,适合高频设计
AXI 互连拓扑可以抽象为:
#mermaid-svg-MIF9r90DlkOMRddf{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-MIF9r90DlkOMRddf .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-MIF9r90DlkOMRddf .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-MIF9r90DlkOMRddf .error-icon{fill:#552222;}#mermaid-svg-MIF9r90DlkOMRddf .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-MIF9r90DlkOMRddf .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-MIF9r90DlkOMRddf .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-MIF9r90DlkOMRddf .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-MIF9r90DlkOMRddf .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-MIF9r90DlkOMRddf .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-MIF9r90DlkOMRddf .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-MIF9r90DlkOMRddf .marker{fill:#333333;stroke:#333333;}#mermaid-svg-MIF9r90DlkOMRddf .marker.cross{stroke:#333333;}#mermaid-svg-MIF9r90DlkOMRddf svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-MIF9r90DlkOMRddf p{margin:0;}#mermaid-svg-MIF9r90DlkOMRddf .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-MIF9r90DlkOMRddf .cluster-label text{fill:#333;}#mermaid-svg-MIF9r90DlkOMRddf .cluster-label span{color:#333;}#mermaid-svg-MIF9r90DlkOMRddf .cluster-label span p{background-color:transparent;}#mermaid-svg-MIF9r90DlkOMRddf .label text,#mermaid-svg-MIF9r90DlkOMRddf span{fill:#333;color:#333;}#mermaid-svg-MIF9r90DlkOMRddf .node rect,#mermaid-svg-MIF9r90DlkOMRddf .node circle,#mermaid-svg-MIF9r90DlkOMRddf .node ellipse,#mermaid-svg-MIF9r90DlkOMRddf .node polygon,#mermaid-svg-MIF9r90DlkOMRddf .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-MIF9r90DlkOMRddf .rough-node .label text,#mermaid-svg-MIF9r90DlkOMRddf .node .label text,#mermaid-svg-MIF9r90DlkOMRddf .image-shape .label,#mermaid-svg-MIF9r90DlkOMRddf .icon-shape .label{text-anchor:middle;}#mermaid-svg-MIF9r90DlkOMRddf .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-MIF9r90DlkOMRddf .rough-node .label,#mermaid-svg-MIF9r90DlkOMRddf .node .label,#mermaid-svg-MIF9r90DlkOMRddf .image-shape .label,#mermaid-svg-MIF9r90DlkOMRddf .icon-shape .label{text-align:center;}#mermaid-svg-MIF9r90DlkOMRddf .node.clickable{cursor:pointer;}#mermaid-svg-MIF9r90DlkOMRddf .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-MIF9r90DlkOMRddf .arrowheadPath{fill:#333333;}#mermaid-svg-MIF9r90DlkOMRddf .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-MIF9r90DlkOMRddf .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-MIF9r90DlkOMRddf .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MIF9r90DlkOMRddf .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-MIF9r90DlkOMRddf .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MIF9r90DlkOMRddf .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-MIF9r90DlkOMRddf .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-MIF9r90DlkOMRddf .cluster text{fill:#333;}#mermaid-svg-MIF9r90DlkOMRddf .cluster span{color:#333;}#mermaid-svg-MIF9r90DlkOMRddf div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-MIF9r90DlkOMRddf .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-MIF9r90DlkOMRddf rect.text{fill:none;stroke-width:0;}#mermaid-svg-MIF9r90DlkOMRddf .icon-shape,#mermaid-svg-MIF9r90DlkOMRddf .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MIF9r90DlkOMRddf .icon-shape p,#mermaid-svg-MIF9r90DlkOMRddf .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-MIF9r90DlkOMRddf .icon-shape .label rect,#mermaid-svg-MIF9r90DlkOMRddf .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MIF9r90DlkOMRddf .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-MIF9r90DlkOMRddf .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-MIF9r90DlkOMRddf :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-MIF9r90DlkOMRddf .master>*{fill:#eef6ff!important;stroke:#4a90e2!important;stroke-width:1.5px!important;color:#1f3b5c!important;}#mermaid-svg-MIF9r90DlkOMRddf .master span{fill:#eef6ff!important;stroke:#4a90e2!important;stroke-width:1.5px!important;color:#1f3b5c!important;}#mermaid-svg-MIF9r90DlkOMRddf .master tspan{fill:#1f3b5c!important;}#mermaid-svg-MIF9r90DlkOMRddf .bus>*{fill:#fff7e6!important;stroke:#f5a623!important;stroke-width:2px!important;color:#6b4a00!important;}#mermaid-svg-MIF9r90DlkOMRddf .bus span{fill:#fff7e6!important;stroke:#f5a623!important;stroke-width:2px!important;color:#6b4a00!important;}#mermaid-svg-MIF9r90DlkOMRddf .bus tspan{fill:#6b4a00!important;}#mermaid-svg-MIF9r90DlkOMRddf .slave>*{fill:#eefbf3!important;stroke:#34c759!important;stroke-width:1.5px!important;color:#145a2e!important;}#mermaid-svg-MIF9r90DlkOMRddf .slave span{fill:#eefbf3!important;stroke:#34c759!important;stroke-width:1.5px!important;color:#145a2e!important;}#mermaid-svg-MIF9r90DlkOMRddf .slave tspan{fill:#145a2e!important;}#mermaid-svg-MIF9r90DlkOMRddf .mem>*{fill:#f3eefe!important;stroke:#8e6bd8!important;stroke-width:1.5px!important;color:#3d2a6b!important;}#mermaid-svg-MIF9r90DlkOMRddf .mem span{fill:#f3eefe!important;stroke:#8e6bd8!important;stroke-width:1.5px!important;color:#3d2a6b!important;}#mermaid-svg-MIF9r90DlkOMRddf .mem tspan{fill:#3d2a6b!important;}#mermaid-svg-MIF9r90DlkOMRddf .periph>*{fill:#fdf2f8!important;stroke:#d946ef!important;stroke-width:1.5px!important;color:#701a75!important;}#mermaid-svg-MIF9r90DlkOMRddf .periph span{fill:#fdf2f8!important;stroke:#d946ef!important;stroke-width:1.5px!important;color:#701a75!important;}#mermaid-svg-MIF9r90DlkOMRddf .periph tspan{fill:#701a75!important;} 从设备 / 存储与外设
主设备 Masters
CPU
ISP
NPU
DMA
AXI / NoC 互连网络
DDR 控制器
SRAM
外设桥接
外部 DRAM
APB 外设
当 CPU 执行:
c
value = buffer[100];
如果访问未被 Cache 满足,就可能需要经由片内互连,到达内存控制器,再访问 DRAM。
但如果 buffer[100] 已经存在有效的 Cache 行中,CPU 可以直接从 Cache 获取,而无需每次都访问 DRAM。
因此,CPU 的一次内存读取不一定对应一次外部内存访问。
4.3 AXI 的五个独立通道
Arm 的 AXI 规范定义了五个事务通道:
| 通道缩写 | 名称 | 用途 | 方向(Master ↔ Slave) | 关键信号 |
|---|---|---|---|---|
| AW | Write Address | 写地址通道,主机发送写事务的地址、突发类型、长度、ID等配置信息 | Master → Slave | AWADDR、AWID、AWLEN、AWSIZE、AWBURST、AWVALID、AWREADY |
| W | Write Data | 写数据通道,主机传输写数据、字节掩码,WLAST标记突发最后一拍 | Master → Slave | WDATA、WSTRB、WLAST、WVALID、WREADY |
| B | Write Response | 写响应通道,从机反馈本次写事务是否成功,不携带数据 | Slave → Master | BID、BRESP、BVALID、BREADY |
| AR | Read Address | 读地址通道,主机发送读事务地址、突发参数、ID等配置信息 | Master → Slave | ARADDR、ARID、ARLEN、ARSIZE、ARBURST、ARVALID、ARREADY |
| R | Read Data | 读数据和响应通道,从机返回读数据、响应状态,RLAST标记读突发最后一拍 | Slave → Master | RID、RDATA、RRESP、RLAST、RVALID、RREADY |
AXI 的优势包括突发传输(Burst)、多个未完成事务(Outstanding Transactions),以及在协议允许的条件下支持乱序完成。
但需要注意:AXI 的某些特性是协议能力,不意味着所有 AXI 设备都一定提供最大程度的并发或乱序处理。
4.4 总线仲裁与带宽竞争
在SoC内部,CPU、GPU、NPU、ISP、DMA等模块可同时发起内存访问请求,它们共享AXI/NoC互连、DDR控制器与内存带宽。
以视觉SoC典型并发场景为例,系统会并行执行多项内存密集型任务:
- 摄像头通过DMA向DDR写入RAW图像
- ISP读取RAW图像,处理完成后写回DDR
- NPU读取推理输入图像与模型权重
- CPU读取图像数据,运行业务算法
- 视频编码器读取图像帧做编码
#mermaid-svg-2QC2Pf43LEzYyzRh{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-2QC2Pf43LEzYyzRh .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-2QC2Pf43LEzYyzRh .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-2QC2Pf43LEzYyzRh .error-icon{fill:#552222;}#mermaid-svg-2QC2Pf43LEzYyzRh .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-2QC2Pf43LEzYyzRh .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-2QC2Pf43LEzYyzRh .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-2QC2Pf43LEzYyzRh .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-2QC2Pf43LEzYyzRh .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-2QC2Pf43LEzYyzRh .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-2QC2Pf43LEzYyzRh .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-2QC2Pf43LEzYyzRh .marker{fill:#333333;stroke:#333333;}#mermaid-svg-2QC2Pf43LEzYyzRh .marker.cross{stroke:#333333;}#mermaid-svg-2QC2Pf43LEzYyzRh svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-2QC2Pf43LEzYyzRh p{margin:0;}#mermaid-svg-2QC2Pf43LEzYyzRh .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-2QC2Pf43LEzYyzRh .cluster-label text{fill:#333;}#mermaid-svg-2QC2Pf43LEzYyzRh .cluster-label span{color:#333;}#mermaid-svg-2QC2Pf43LEzYyzRh .cluster-label span p{background-color:transparent;}#mermaid-svg-2QC2Pf43LEzYyzRh .label text,#mermaid-svg-2QC2Pf43LEzYyzRh span{fill:#333;color:#333;}#mermaid-svg-2QC2Pf43LEzYyzRh .node rect,#mermaid-svg-2QC2Pf43LEzYyzRh .node circle,#mermaid-svg-2QC2Pf43LEzYyzRh .node ellipse,#mermaid-svg-2QC2Pf43LEzYyzRh .node polygon,#mermaid-svg-2QC2Pf43LEzYyzRh .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-2QC2Pf43LEzYyzRh .rough-node .label text,#mermaid-svg-2QC2Pf43LEzYyzRh .node .label text,#mermaid-svg-2QC2Pf43LEzYyzRh .image-shape .label,#mermaid-svg-2QC2Pf43LEzYyzRh .icon-shape .label{text-anchor:middle;}#mermaid-svg-2QC2Pf43LEzYyzRh .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-2QC2Pf43LEzYyzRh .rough-node .label,#mermaid-svg-2QC2Pf43LEzYyzRh .node .label,#mermaid-svg-2QC2Pf43LEzYyzRh .image-shape .label,#mermaid-svg-2QC2Pf43LEzYyzRh .icon-shape .label{text-align:center;}#mermaid-svg-2QC2Pf43LEzYyzRh .node.clickable{cursor:pointer;}#mermaid-svg-2QC2Pf43LEzYyzRh .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-2QC2Pf43LEzYyzRh .arrowheadPath{fill:#333333;}#mermaid-svg-2QC2Pf43LEzYyzRh .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-2QC2Pf43LEzYyzRh .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-2QC2Pf43LEzYyzRh .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-2QC2Pf43LEzYyzRh .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-2QC2Pf43LEzYyzRh .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-2QC2Pf43LEzYyzRh .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-2QC2Pf43LEzYyzRh .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-2QC2Pf43LEzYyzRh .cluster text{fill:#333;}#mermaid-svg-2QC2Pf43LEzYyzRh .cluster span{color:#333;}#mermaid-svg-2QC2Pf43LEzYyzRh div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-2QC2Pf43LEzYyzRh .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-2QC2Pf43LEzYyzRh rect.text{fill:none;stroke-width:0;}#mermaid-svg-2QC2Pf43LEzYyzRh .icon-shape,#mermaid-svg-2QC2Pf43LEzYyzRh .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-2QC2Pf43LEzYyzRh .icon-shape p,#mermaid-svg-2QC2Pf43LEzYyzRh .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-2QC2Pf43LEzYyzRh .icon-shape .label rect,#mermaid-svg-2QC2Pf43LEzYyzRh .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-2QC2Pf43LEzYyzRh .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-2QC2Pf43LEzYyzRh .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-2QC2Pf43LEzYyzRh :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-2QC2Pf43LEzYyzRh .master>*{fill:#ffffff!important;stroke:#90a4ae!important;stroke-width:1.5px!important;color:#37474f!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .master span{fill:#ffffff!important;stroke:#90a4ae!important;stroke-width:1.5px!important;color:#37474f!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .master tspan{fill:#37474f!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .bus>*{fill:#eef6ff!important;stroke:#4a90e2!important;stroke-width:2px!important;color:#1f3b5c!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .bus span{fill:#eef6ff!important;stroke:#4a90e2!important;stroke-width:2px!important;color:#1f3b5c!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .bus tspan{fill:#1f3b5c!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .ctrl>*{fill:#ffffff!important;stroke:#90a4ae!important;stroke-width:1.5px!important;color:#37474f!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .ctrl span{fill:#ffffff!important;stroke:#90a4ae!important;stroke-width:1.5px!important;color:#37474f!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .ctrl tspan{fill:#37474f!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .mem>*{fill:#f8fafc!important;stroke:#b0bec5!important;stroke-width:1.5px!important;color:#37474f!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .mem span{fill:#f8fafc!important;stroke:#b0bec5!important;stroke-width:1.5px!important;color:#37474f!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .mem tspan{fill:#37474f!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .note>*{fill:none!important;stroke:none!important;color:#78909c!important;font-style:italic!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .note span{fill:none!important;stroke:none!important;color:#78909c!important;font-style:italic!important;}#mermaid-svg-2QC2Pf43LEzYyzRh .note tspan{fill:#78909c!important;} CPU
数据读写
ISP
图像处理
NPU
模型推理
VPU
视频编解码
DMA
数据搬运
AXI / NoC 互连
请求路由 · 仲裁 · QoS
DDR Controller
请求调度 / 读写切换 / DRAM 时序管理
External DRAM
简化的共享内存访问模型,真实 SoC 可能包含多个互连层级和存储控制器。
4.4.1 总线仲裁(Bus Arbitration)
多个主设备同时请求共享资源时,依靠仲裁机制确定事务访问顺序,常见仲裁策略如下:
| 仲裁策略 | 原理 | 特点 |
|---|---|---|
| 固定优先级 | 高优先级请求优先被响应 | 低延迟,但低优先级设备容易饥饿 |
| 轮询(Round-Robin) | 各个主设备轮流获得访问权限 | 公平性好 |
| 加权轮询 | 按预设权重分配访问机会 | 可以人为控制各模块带宽占比 |
| QoS仲裁 | 结合优先级、带宽、延迟约束综合调度 | 适配异构复杂SoC,保障实时业务 |
举例:摄像头DMA属于实时数据流,一旦长时间抢不到带宽,会造成缓存溢出、丢帧。因此视觉SoC普遍引入QoS机制,优先保障低延迟实时通路。
4.4.2 DDR带宽竞争
DDR理论带宽计算公式:
B=R×W8 B=\frac{R\times W}{8} B=8R×W
- RRR:数据速率,单位MT/s
- WWW:DDR数据位宽,bit
示例:3200 MT/s、32bit单通道DDR
B=3200×328=12.8 GB/s B=\frac{3200\times32}{8}=12.8\ \text{GB/s} B=83200×32=12.8 GB/s
实际有效带宽低于理论值,损耗来源:
- DRAM固有时序开销:行激活、预充电、刷新
- 读写方向切换开销
- 随机地址访问效率远低于连续Burst访问
- 多主设备在互连、DDR控制器处互相竞争
注意:DDR总带宽充足不代表无瓶颈,AXI交叉开关、NoC链路、控制器内部队列都可能成为局部瓶颈。
4.4.3 常见问题:CPU占用不高,但帧率上不去
CPU负载低不代表系统算力饱和,瓶颈往往出现在存储与数据通路:
| 瓶颈类型 | 现象说明 |
|---|---|
| DDR带宽不足 | 多加速器并发时帧率明显下跌 |
| AXI/NoC拥塞 | 内存访问平均延迟抬高 |
| DMA同步阻塞 | CPU空闲,线程阻塞等待DMA传输完成 |
| NPU硬件排队 | 推理任务堆积,等待加速器资源 |
| Cache Miss频繁 | CPU频繁绕Cache访问DDR |
| 多次内存拷贝 | 图像在ISP、NPU、CPU之间反复搬运 |
示例流量估算:1920×1080 RAW12图像,60FPS
B=1920×1080×1.5×60≈186.6 MB/s B=1920\times1080\times1.5\times60 \approx186.6\ \text{MB/s} B=1920×1080×1.5×60≈186.6 MB/s
图像每多一次DDR读写,流量就会叠加,多次拷贝会成倍消耗带宽。
优化手段: DMA传输、Zero-Copy、DMA-BUF、双缓冲、异步流水线,减少数据拷贝与同步等待。
SoC整体性能是多维度共同决定的函数:
系统性能=f(算力、带宽、延迟、并发、缓存效率) \boldsymbol{\text{系统性能}=f(\text{算力、带宽、延迟、并发、缓存效率})} 系统性能=f(算力、带宽、延迟、并发、缓存效率)
嵌入式视觉系统中,数据流与内存访问的优化,收益经常高于单纯提升CPU主频。
五、SoC 内存系统:Cache、MMU、DDR、DMA
5.1 内存层次结构
处理器内存层次(从CPU视角由近及远):
- CPU 寄存器:容量最小,延迟最低
- L1 Cache:通常每个核心独立,分为指令缓存与数据缓存
- L2 Cache:可能私有或多个核心共享
- L3 / System Cache:可选的更大容量系统级缓存
- DRAM:片外运行内存,容量最大,延迟最高
需要重点区分 SRAM、DRAM 和 TCM:
| 类型 | 特点 | 用途 |
|---|---|---|
| SRAM | 不需要动态刷新,适合片上存储,速度快 | Cache、片上工作区 |
| DRAM | 高密度、低成本,通常作为外部内存 | Linux运行内存、应用数据、图像帧 |
| TCM | 紧耦合内存,强调可预测访问与低延迟 | 实时程序代码和数据 |
| ROM | 通常不可随意修改的非易失存储 | Boot ROM |
| Flash | 非易失性存储,可擦写 | 固件、文件系统 |
TCM 的价值不一定是峰值带宽最高,而是可以减少普通 Cache 和共享内存层次带来的某些时间不确定性,更适合硬实时场景。
5.2 MMU:虚拟地址到物理地址
在 Linux 中,用户程序使用的通常是虚拟地址。
地址翻译的核心流程:
C++ 应用程序
│
│ 虚拟地址 Virtual Address
▼
MMU 内存管理单元
│
├── TLB 命中 → 直接输出物理地址
│
└── TLB 未命中 → 执行页表遍历(Table Walk)
│
▼
物理地址 Physical Address
│
▼
Cache / 片内互连 / 内存控制器
│
▼
实际内存或映射的设备
MMU通过多级页表完成地址翻译,并通过TLB缓存最近使用的翻译结果,提升访问效率。
为什么需要虚拟地址?
- 进程隔离:两个进程即使看到同样的虚拟地址,也可以映射到不同物理内存,实现安全隔离。
- 灵活映射:一段连续的虚拟地址不一定对应连续物理页,方便内存管理与碎片处理。
- 访问控制:页表可以配置读写、执行、权限及内存类型等属性,提升系统安全性。
这就解释了为什么不能随便把一个用户空间指针交给设备 DMA 控制器。
例如:
c
uint8_t* buffer = new uint8_t[4096];
buffer 指向的是当前进程的虚拟地址。DMA 控制器通常需要的是设备可访问的 DMA 地址,它不一定与该指针或者 CPU 物理地址相同。
5.3 DMA 高效传输
DMA(Direct Memory Access)允许具备 DMA 能力的硬件模块在配置完成后直接执行数据传输,不需要 CPU 逐字节复制。
两种传输模式对比:
- CPU 参与搬运:外设 ↔ CPU ↔ 内存,CPU全程参与数据搬运,占用计算资源
- DMA 传输:CPU 仅负责配置传输,DMA控制器自主完成外设 ↔ 内存的数据搬运
CPU 主要负责配置和完成处理,不必逐字节参与数据搬运;实际传输仍会占用互连及内存资源。
以摄像头采集为例的典型数据流:
摄像头 Sensor
│
▼
MIPI CSI-2 接收器
│
▼
采集 DMA 引擎
│
▼
DDR Buffer
│
▼
DMA 完成中断
│
▼
CPU / Linux 驱动处理
实际 SoC 也可能采用更直接的 ISP 流式处理路径,不要求每一级都先写入 DDR。
5.4 Cache Coherency:DMA 常见问题
假设执行序列:
- CPU 修改了某块图像 Buffer。
- 新数据还停留在 CPU Cache 中,未写回 DDR。
- DMA 设备准备读取这块 Buffer。
- 设备从 DDR 读到了旧数据,导致数据不一致。
这是典型的缓存一致性问题之一。
Linux 提供 DMA API 来处理设备地址映射、缓存同步和 Buffer 生命周期管理。
其中两类常见映射方式:
| DMA 类型 | 常见 API | 适用场景 |
|---|---|---|
| Coherent DMA 一致性 DMA | dma_alloc_coherent() |
描述符环、共享控制结构 |
| Streaming DMA 流式 DMA | dma_map_single()、dma_map_sg() 等 |
图像帧、网络报文等数据传输 |
对于非硬件一致性的 Streaming DMA,需要按驱动 API 约定,在 CPU 与设备之间转换 Buffer 的使用权并执行所需同步。
接收流程是:
分配 Buffer
↓
映射为 DMA 地址
↓
交给设备写入
↓
等待 DMA 完成
↓
同步至 CPU 可访问状态
↓
CPU 读取数据
↓
解除映射或准备再次交给设备
另外,Cache Coherency 不等于 Memory Ordering。即使使用 Coherent DMA,也可能仍然需要正确的内存屏障来保证描述符字段和状态位的访问顺序。
5.5 IOMMU / SMMU
CPU 通过 MMU 完成虚拟地址到物理地址的转换,而在部分 SoC 上,IOMMU(Input/Output Memory Management Unit,输入输出内存管理单元)为 DMA 外设提供地址翻译与内存访问隔离能力。
Arm 架构下的 SMMU(System Memory Management Unit,系统内存管理单元)是 IOMMU 的标准硬件实现。
#mermaid-svg-7MkfuOwYEKDdfRcz{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-7MkfuOwYEKDdfRcz .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-7MkfuOwYEKDdfRcz .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-7MkfuOwYEKDdfRcz .error-icon{fill:#552222;}#mermaid-svg-7MkfuOwYEKDdfRcz .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-7MkfuOwYEKDdfRcz .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-7MkfuOwYEKDdfRcz .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-7MkfuOwYEKDdfRcz .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-7MkfuOwYEKDdfRcz .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-7MkfuOwYEKDdfRcz .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-7MkfuOwYEKDdfRcz .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-7MkfuOwYEKDdfRcz .marker{fill:#333333;stroke:#333333;}#mermaid-svg-7MkfuOwYEKDdfRcz .marker.cross{stroke:#333333;}#mermaid-svg-7MkfuOwYEKDdfRcz svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-7MkfuOwYEKDdfRcz p{margin:0;}#mermaid-svg-7MkfuOwYEKDdfRcz .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-7MkfuOwYEKDdfRcz .cluster-label text{fill:#333;}#mermaid-svg-7MkfuOwYEKDdfRcz .cluster-label span{color:#333;}#mermaid-svg-7MkfuOwYEKDdfRcz .cluster-label span p{background-color:transparent;}#mermaid-svg-7MkfuOwYEKDdfRcz .label text,#mermaid-svg-7MkfuOwYEKDdfRcz span{fill:#333;color:#333;}#mermaid-svg-7MkfuOwYEKDdfRcz .node rect,#mermaid-svg-7MkfuOwYEKDdfRcz .node circle,#mermaid-svg-7MkfuOwYEKDdfRcz .node ellipse,#mermaid-svg-7MkfuOwYEKDdfRcz .node polygon,#mermaid-svg-7MkfuOwYEKDdfRcz .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-7MkfuOwYEKDdfRcz .rough-node .label text,#mermaid-svg-7MkfuOwYEKDdfRcz .node .label text,#mermaid-svg-7MkfuOwYEKDdfRcz .image-shape .label,#mermaid-svg-7MkfuOwYEKDdfRcz .icon-shape .label{text-anchor:middle;}#mermaid-svg-7MkfuOwYEKDdfRcz .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-7MkfuOwYEKDdfRcz .rough-node .label,#mermaid-svg-7MkfuOwYEKDdfRcz .node .label,#mermaid-svg-7MkfuOwYEKDdfRcz .image-shape .label,#mermaid-svg-7MkfuOwYEKDdfRcz .icon-shape .label{text-align:center;}#mermaid-svg-7MkfuOwYEKDdfRcz .node.clickable{cursor:pointer;}#mermaid-svg-7MkfuOwYEKDdfRcz .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-7MkfuOwYEKDdfRcz .arrowheadPath{fill:#333333;}#mermaid-svg-7MkfuOwYEKDdfRcz .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-7MkfuOwYEKDdfRcz .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-7MkfuOwYEKDdfRcz .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-7MkfuOwYEKDdfRcz .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-7MkfuOwYEKDdfRcz .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-7MkfuOwYEKDdfRcz .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-7MkfuOwYEKDdfRcz .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-7MkfuOwYEKDdfRcz .cluster text{fill:#333;}#mermaid-svg-7MkfuOwYEKDdfRcz .cluster span{color:#333;}#mermaid-svg-7MkfuOwYEKDdfRcz div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-7MkfuOwYEKDdfRcz .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-7MkfuOwYEKDdfRcz rect.text{fill:none;stroke-width:0;}#mermaid-svg-7MkfuOwYEKDdfRcz .icon-shape,#mermaid-svg-7MkfuOwYEKDdfRcz .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-7MkfuOwYEKDdfRcz .icon-shape p,#mermaid-svg-7MkfuOwYEKDdfRcz .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-7MkfuOwYEKDdfRcz .icon-shape .label rect,#mermaid-svg-7MkfuOwYEKDdfRcz .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-7MkfuOwYEKDdfRcz .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-7MkfuOwYEKDdfRcz .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-7MkfuOwYEKDdfRcz :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-7MkfuOwYEKDdfRcz .cpu_style>*{fill:#eef6ff!important;stroke:#4a90e2!important;stroke-width:1.5px!important;color:#1f3b5c!important;}#mermaid-svg-7MkfuOwYEKDdfRcz .cpu_style span{fill:#eef6ff!important;stroke:#4a90e2!important;stroke-width:1.5px!important;color:#1f3b5c!important;}#mermaid-svg-7MkfuOwYEKDdfRcz .cpu_style tspan{fill:#1f3b5c!important;}#mermaid-svg-7MkfuOwYEKDdfRcz .dma_style>*{fill:#fff7e6!important;stroke:#f5a623!important;stroke-width:1.5px!important;color:#6b4a00!important;}#mermaid-svg-7MkfuOwYEKDdfRcz .dma_style span{fill:#fff7e6!important;stroke:#f5a623!important;stroke-width:1.5px!important;color:#6b4a00!important;}#mermaid-svg-7MkfuOwYEKDdfRcz .dma_style tspan{fill:#6b4a00!important;}#mermaid-svg-7MkfuOwYEKDdfRcz .mem_style>*{fill:#f3eefe!important;stroke:#8e6bd8!important;stroke-width:1.5px!important;color:#3d2a6b!important;}#mermaid-svg-7MkfuOwYEKDdfRcz .mem_style span{fill:#f3eefe!important;stroke:#8e6bd8!important;stroke-width:1.5px!important;color:#3d2a6b!important;}#mermaid-svg-7MkfuOwYEKDdfRcz .mem_style tspan{fill:#3d2a6b!important;} DMA 访问路径
CPU 访问路径
CPU
MMU 地址转换
CPU 物理地址空间
DMA 设备
IOMMU / SMMU
系统物理地址空间
DRAM 内存
5.5.1 IOMMU 能力
| 功能 | 说明 |
|---|---|
| 地址转换 | 将外设使用的 IOVA 翻译成系统真实物理地址 |
| 内存访问隔离 | 限定外设仅能访问授权范围内的内存区域 |
| 非连续内存聚合映射 | 把多块离散物理页映射为一段连续的 IOVA 地址空间 |
| 虚拟化支撑 | 给直通/半虚拟化设备提供虚拟机侧DMA地址翻译与隔离保护 |
5.5.2 DMA 引入 IOMMU 的意义
以 NPU DMA 读取图像缓冲区为例:图像帧缓冲在物理内存上可能是碎片化分布的,借助 IOMMU,NPU 只需要操作一段连续的 IOVA 区间,硬件自动完成向离散物理页的映射,省去 CPU 额外的数据拷贝、拼接开销。
NPU视角IOVA:0x8000 --------------------------------- 0xAFFF(连续)
↓ IOMMU映射
┌───────┼───────┐
▼ ▼ ▼
Page A Page B Page C
0x1000 0x9000 0x5000(物理不连续)
同时 IOMMU 支持访问权限配置,外设访问未映射或者无权限的地址时会触发 IOMMU Fault,阻止非法 DMA 直接篡改其他内存,提升系统安全性。
5.5.3 MMU 与 IOMMU 对比
| 对比项 | MMU | IOMMU |
|---|---|---|
| 服务主体 | CPU | DMA外设 |
| 输入地址 | CPU虚拟地址 VA | I/O虚拟地址 IOVA |
| 输出地址 | 物理地址 PA | 物理地址 PA |
| 目标 | 进程地址空间隔离、操作系统虚拟内存 | DMA地址翻译、外设内存访问隔离 |
| Arm实现 | CPU内置MMU | SMMU |
补充要点:
- IOMMU 不是 DMA 的必备硬件。无 IOMMU 的 DMA 设备直接使用物理地址访问内存;带 IOMMU 的平台一般由驱动依托 Linux DMA API 管理映射表。
- IOMMU 只负责地址翻译和权限检查,不自动处理 Cache-DMA 一致性,缓存同步仍然要依托硬件 SMMU 一致性能力或者 DMA API 显式刷缓存。
MMU 解决 CPU 安全、灵活访问内存的问题;IOMMU(SMMU)解决 DMA 外设安全、灵活访问内存的问题。
六、SoC 的中断系统与外设控制
6.1 中断控制器
在 Cortex-A 系统中,常见的中断控制器是 Arm GIC(Generic Interrupt Controller)。
外设 A ── IRQ ──┐
外设 B ── IRQ ──┤
定时器 ── IRQ ──┼──► GIC ──► Cortex-A CPU
外设 C ── IRQ ──┘
GIC 负责中断的路由、使能、优先级及目标处理器选择等功能。
在 GICv3 中,常见中断分类包括:
| 类型缩写 | 名称 | 作用 |
|---|---|---|
| SGI | Software Generated Interrupt | 软件生成,常用于核间通信 |
| PPI | Private Peripheral Interrupt | 与特定处理器相关的私有中断 |
| SPI | Shared Peripheral Interrupt | 面向共享外设的共享中断 |
| LPI | Locality-specific Peripheral Interrupt | 支持消息式中断、扩展中断等场景 |
Cortex-M 系统则通常通过 NVIC 处理异常和中断,体系结构与 Cortex-A 的 GIC 不同。
6.2 一个 Linux 驱动的中断处理流程
假设 UART 收到数据,中断处理链路:UART硬件收到数据 → 硬件中断信号 → GIC 中断路由与仲裁 → CPU 进入中断异常处理 → 驱动 IRQ Handler 执行 → 读取状态寄存器 / 确认中断 → 调度后续数据处理(tasklet/工作队列等)→ 唤醒等待的应用线程
实际驱动中,应尽量避免在不允许睡眠的中断上下文执行长时间或可能阻塞的操作。
Linux 可以使用线程化中断等机制将更多处理移至可调度上下文,但如何分配处理工作取决于驱动和延迟需求。
6.3 MMIO:CPU 控制硬件寄存器
SoC 中大量控制器通过 MMIO(Memory-Mapped I/O)暴露寄存器。
例如,某个假设的控制寄存器位于物理地址空间:
0x4000_1000 CONTROL 控制寄存器
0x4000_1004 STATUS 状态寄存器
0x4000_1008 IRQ_ENABLE 中断使能寄存器
CPU 通过规定的内存访问机制读取或写入寄存器。
在 Linux 内核驱动中的操作方式:
c
/* reg_base 必须事先通过正确的内核资源映射获取 */
u32 status = readl(reg_base + STATUS_OFFSET);
writel(CTRL_ENABLE, reg_base + CONTROL_OFFSET);
这里使用的是 Linux 内核 MMIO 接口,而不是用户空间直接解引用物理地址。
开发一个外设驱动,至少需要掌握:寄存器映射、位域含义、中断编号、时钟来源、复位控制和 DMA 配置。这些信息一般都在对应 SoC 的 Reference Manual 中。
七、SoC 启动流程:从上电到 Linux
SoC 上电后,通常需要经过一条由硬件、固件和操作系统组成的启动链。
7.1 ARM Linux SoC 启动过程
- Power-on / Reset:PMIC 供电、复位释放、启动模式确定
- Boot ROM:片内固化代码,读取启动介质,加载下一阶段固件
- Early Bootloader / SPL:早期硬件初始化、DDR 初始化
- Trusted Firmware / U-Boot:安全固件初始化、加载内核及设备树
- Linux Kernel:内存管理、中断、设备驱动、调度器初始化
- Init / Root Filesystem:挂载根文件系统、启动用户空间
- Application:启动业务服务、感知算法、应用程序
这是用于理解的通用启动模型。不同 SoC 可能省略某些阶段、调整顺序或使用多个并行启动处理器,不能将它当作所有平台都相同的固定流程。
7.2 Boot ROM
Boot ROM 是固化在芯片内的早期启动代码,不可由用户修改。
其常见职责包括读取启动配置引脚、选择启动介质(eMMC、SD、SPI Flash、USB等)、加载下一阶段固件,以及在支持安全启动的系统中执行必要的镜像验证。
因为 Linux 内核通常依赖 DRAM 等硬件环境,而这些环境尚未完全建立,所以需要前面的启动固件逐步完成硬件初始化。
7.3 U-Boot 与 SPL
U-Boot 官方将 SPL 定义为一个较小的辅助程序,通常用于初始化 SDRAM 并加载完整 U-Boot 或其他固件。
因此,很多平台会采用二级Bootloader流程:Boot ROM → U-Boot SPL → U-Boot Proper → Linux Image + DTB → Linux Kernel
这不是唯一的启动结构,部分平台可能采用其他启动固件组合。
7.4 Trusted Firmware-A 与异常级别
现代 Armv8-A 平台还经常使用 Trusted Firmware-A(TF-A)作为安全固件。
其架构中常见的固件阶段包括:
| 阶段 | 职责 |
|---|---|
| BL1 | 早期可信启动代码,运行在EL3 |
| BL2 | 加载及验证后续各级固件 |
| BL31 | EL3 运行时固件,负责安全监控与系统服务 |
| BL32 | 可选的安全世界载荷,如 TEE(可信执行环境) |
| BL33 | 非安全世界固件,例如 U-Boot、UEFI |
在具体 SoC 中,Boot ROM、SPL 与 TF-A 的职责划分可能不同。BL1/BL2 也不一定由独立的 TF-A 二进制文件实现,不能简单将上述阶段与启动流程机械拼接。
这里还涉及 Arm 的 Exception Level(异常级别):
EL3 Secure Monitor / 特权固件(最高特权)
EL2 Hypervisor(虚拟化层,可选)
EL1 Linux Kernel(内核态)
EL0 Linux User Space(用户态)
这是 AArch64 Normal World 软件栈的简化表示。EL3、Secure World 与 Normal World 之间的关系,还受到 TrustZone 安全状态和实际固件设计影响。
7.5 设备树
Linux 驱动需要知道硬件信息:
- UART 的寄存器地址是什么?
- IRQ 编号是多少?
- 设备使用哪个时钟?
- SPI、I²C 控制器上连接了什么?
- 哪些设备启用,哪些设备禁用?
设备树(Device Tree)就是描述硬件拓扑和资源的一种数据结构,其作用之一是将硬件描述从内核板级代码中解耦,实现一份内核镜像适配多块硬件。
示例(仅用于说明语法,不对应真实芯片):
dts
uart0: serial@40001000 {
compatible = "demo,soc-uart";
reg = <0x40001000 0x1000>;
interrupts = <42>;
status = "okay";
};
这里的地址、compatible 和中断编码都是假设值,真实工程必须使用芯片官方 Device Tree Binding。很多实际 ARM64 平台的
interrupts属性还需要多个 cell 描述中断类型、编号和触发方式。
Linux 启动时解析 DTB(Device Tree Blob),使设备模型和对应驱动获得硬件信息。
可以将三者关系总结为:
Reference Manual 定义硬件行为;Device Tree 描述本板的硬件资源;Driver 实现对硬件的操作。
八、SoC 软件架构:BSP、驱动、内核与应用
对于嵌入式软件开发工程师,真正需要接触的是 SoC 的软件栈。
8.1 从应用层到硬件层

BSP(Board Support Package,板级支持包)是用于支持特定硬件平台的软件集合。 通常包含 Bootloader 配置、内核配置、设备树、驱动适配、固件以及构建配置等。
8.2 具体例子:Linux 控制 SoC 内部的 SPI
假设要让 Linux 上的 C++ 程序与 SPI 传感器通信。
软件链路:C++ Application → spidev 或专用设备接口 → Linux SPI 子系统框架 → SoC SPI Controller 驱动 → SPI Controller 寄存器操作 → SoC SPI 物理引脚 → External SPI Device
这里有几个重要的抽象边界:
- 应用开发:通过已经暴露的系统API操作设备。
- 驱动开发:负责设备初始化、寄存器操作、中断、DMA、时钟、数据传输。
- BSP 开发:负责硬件平台适配,让 Linux 正确识别和管理设备。
- 芯片原厂底层开发:可能还会涉及启动固件、DDR 初始化、时钟树以及 SoC 硬件问题排查。
不同岗位对这些层次的深度要求并不相同。
8.3 设备驱动的 Probe 机制
嵌入式 Linux 中,probe() 是平台设备驱动的初始化入口。内核识别到硬件设备、成功完成设备与驱动匹配后,就会回调驱动的 probe(),完成硬件资源获取与设备初始化。
SoC 片上集成的 UART、SPI、I²C 控制器这类片内外设,普遍使用 Platform Device / Platform Driver 这套驱动框架。
8.3.1 驱动匹配与初始化流程
解析 Device Tree
↓
生成 Platform Device
↓
依据 compatible 属性匹配 Platform Driver
↓
执行 probe() 回调
↓
提取寄存器、中断、时钟、复位等硬件资源
↓
外设硬件初始化
↓
注册字符设备、总线接口等上层访问入口
↓
应用层可操作该设备
- Platform Device:硬件描述载体,存放寄存器基地址、中断号等资源信息,一般由设备树解析生成。
- Platform Driver :驱动逻辑载体,定义
probe()、remove()等回调函数,实现硬件操作。 - compatible:设备树匹配关键字,是设备节点和驱动匹配表绑定的依据。
8.3.2 匹配示例
设备树节点定义:
dts
uart0: serial@40001000 {
compatible = "demo,my-uart";
reg = <0x40001000 0x1000>;
status = "okay";
};
对应驱动匹配与 probe 框架代码:
c
static const struct of_device_id uart_of_match[] = {
{ .compatible = "demo,my-uart" },
{ }
};
MODULE_DEVICE_TABLE(of, uart_of_match);
static int uart_probe(struct platform_device *pdev)
{
dev_info(&pdev->dev, "UART probe called\n");
// 读取寄存器、中断、时钟等资源
// 硬件初始化、注册设备接口
return 0;
}
static struct platform_driver uart_driver = {
.probe = uart_probe,
.driver = {
.name = "my-uart",
.of_match_table = uart_of_match,
},
};
module_platform_driver(uart_driver);
驱动注册后,Driver Core 比对 compatible 字符串,匹配成功即调用 uart_probe,完成驱动和设备绑定。
该示例仅演示匹配框架,不是可直接运行的完整 UART 驱动。
8.3.3 Probe 返回值与延迟探测
probe 执行时,依赖的时钟、电源、其他前置驱动不一定已经就绪,内核通过返回值告知驱动处理策略:
| 返回值 | 含义 |
|---|---|
0 |
初始化成功,设备与驱动完成绑定 |
-ENODEV |
设备不存在或驱动不支持该硬件 |
-ENOMEM |
内存分配失败 |
-EPROBE_DEFER |
依赖资源未就绪,请求延后重试 |
当返回 -EPROBE_DEFER,内核会把该设备放入延迟探测队列,等待依赖驱动就绪后再次尝试 probe。
因此驱动初始化顺序不跟随设备树节点顺序,受驱动加载顺序、硬件依赖关系、延迟探测机制共同调度。
8.3.4 Probe 与 Remove、devm 托管资源
probe():绑定阶段,申请资源、上电初始化硬件、注册设备接口remove():解绑阶段,关闭硬件、释放资源、注销设备接口
内核提供 devm_* 系列托管接口,如 devm_kzalloc()、devm_request_irq()。使用托管接口申请的资源,在探测失败、设备 remove 时由内核自动回收,简化手动释放的清理代码,规避资源泄漏。
设备树描述硬件资源,Platform Driver 承载驱动逻辑,probe() 是 Linux 驱动模型中将硬件、驱动绑定并完成初始化的关键入口。
九、异构 SoC:Linux 与实时核心的协作
9.1 SMP 与 AMP
| 维度 | SMP | AMP |
|---|---|---|
| 全称 | Symmetric Multiprocessing | Asymmetric Multiprocessing |
| 操作系统 | 通常由一个 OS 统一管理 | 不同核心可运行不同 OS |
| 内存模型 | 通常共享内存系统 | 可共享、分区或物理隔离 |
| 线程调度 | 统一调度器调度 | 各系统分别独立管理 |
| 通信方式 | 线程同步、共享内存 | 共享内存、Mailbox、IPC |
| 典型设计 | 多个 Cortex-A 运行 Linux | Cortex-A Linux + Cortex-M RTOS |
典型异构架构:
#mermaid-svg-FcMZLfv8KWpMEKIF{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-FcMZLfv8KWpMEKIF .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-FcMZLfv8KWpMEKIF .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-FcMZLfv8KWpMEKIF .error-icon{fill:#552222;}#mermaid-svg-FcMZLfv8KWpMEKIF .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-FcMZLfv8KWpMEKIF .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-FcMZLfv8KWpMEKIF .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-FcMZLfv8KWpMEKIF .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-FcMZLfv8KWpMEKIF .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-FcMZLfv8KWpMEKIF .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-FcMZLfv8KWpMEKIF .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-FcMZLfv8KWpMEKIF .marker{fill:#333333;stroke:#333333;}#mermaid-svg-FcMZLfv8KWpMEKIF .marker.cross{stroke:#333333;}#mermaid-svg-FcMZLfv8KWpMEKIF svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-FcMZLfv8KWpMEKIF p{margin:0;}#mermaid-svg-FcMZLfv8KWpMEKIF .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-FcMZLfv8KWpMEKIF .cluster-label text{fill:#333;}#mermaid-svg-FcMZLfv8KWpMEKIF .cluster-label span{color:#333;}#mermaid-svg-FcMZLfv8KWpMEKIF .cluster-label span p{background-color:transparent;}#mermaid-svg-FcMZLfv8KWpMEKIF .label text,#mermaid-svg-FcMZLfv8KWpMEKIF span{fill:#333;color:#333;}#mermaid-svg-FcMZLfv8KWpMEKIF .node rect,#mermaid-svg-FcMZLfv8KWpMEKIF .node circle,#mermaid-svg-FcMZLfv8KWpMEKIF .node ellipse,#mermaid-svg-FcMZLfv8KWpMEKIF .node polygon,#mermaid-svg-FcMZLfv8KWpMEKIF .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-FcMZLfv8KWpMEKIF .rough-node .label text,#mermaid-svg-FcMZLfv8KWpMEKIF .node .label text,#mermaid-svg-FcMZLfv8KWpMEKIF .image-shape .label,#mermaid-svg-FcMZLfv8KWpMEKIF .icon-shape .label{text-anchor:middle;}#mermaid-svg-FcMZLfv8KWpMEKIF .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-FcMZLfv8KWpMEKIF .rough-node .label,#mermaid-svg-FcMZLfv8KWpMEKIF .node .label,#mermaid-svg-FcMZLfv8KWpMEKIF .image-shape .label,#mermaid-svg-FcMZLfv8KWpMEKIF .icon-shape .label{text-align:center;}#mermaid-svg-FcMZLfv8KWpMEKIF .node.clickable{cursor:pointer;}#mermaid-svg-FcMZLfv8KWpMEKIF .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-FcMZLfv8KWpMEKIF .arrowheadPath{fill:#333333;}#mermaid-svg-FcMZLfv8KWpMEKIF .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-FcMZLfv8KWpMEKIF .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-FcMZLfv8KWpMEKIF .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-FcMZLfv8KWpMEKIF .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-FcMZLfv8KWpMEKIF .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-FcMZLfv8KWpMEKIF .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-FcMZLfv8KWpMEKIF .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-FcMZLfv8KWpMEKIF .cluster text{fill:#333;}#mermaid-svg-FcMZLfv8KWpMEKIF .cluster span{color:#333;}#mermaid-svg-FcMZLfv8KWpMEKIF div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-FcMZLfv8KWpMEKIF .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-FcMZLfv8KWpMEKIF rect.text{fill:none;stroke-width:0;}#mermaid-svg-FcMZLfv8KWpMEKIF .icon-shape,#mermaid-svg-FcMZLfv8KWpMEKIF .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-FcMZLfv8KWpMEKIF .icon-shape p,#mermaid-svg-FcMZLfv8KWpMEKIF .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-FcMZLfv8KWpMEKIF .icon-shape .label rect,#mermaid-svg-FcMZLfv8KWpMEKIF .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-FcMZLfv8KWpMEKIF .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-FcMZLfv8KWpMEKIF .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-FcMZLfv8KWpMEKIF :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-FcMZLfv8KWpMEKIF .linux>*{fill:#e8f0fe!important;stroke:#1a73e8!important;stroke-width:2px!important;color:#174ea6!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .linux span{fill:#e8f0fe!important;stroke:#1a73e8!important;stroke-width:2px!important;color:#174ea6!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .linux tspan{fill:#174ea6!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .ipc>*{fill:#fff8e1!important;stroke:#f9a825!important;stroke-width:2px!important;color:#b26500!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .ipc span{fill:#fff8e1!important;stroke:#f9a825!important;stroke-width:2px!important;color:#b26500!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .ipc tspan{fill:#b26500!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .rtos>*{fill:#e8f5e9!important;stroke:#2e7d32!important;stroke-width:2px!important;color:#1b5e20!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .rtos span{fill:#e8f5e9!important;stroke:#2e7d32!important;stroke-width:2px!important;color:#1b5e20!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .rtos tspan{fill:#1b5e20!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .boxA>*{fill:#f7faff!important;stroke:#1a73e8!important;stroke-width:2px!important;stroke-dasharray:8 5!important;color:#174ea6!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .boxA span{fill:#f7faff!important;stroke:#1a73e8!important;stroke-width:2px!important;stroke-dasharray:8 5!important;color:#174ea6!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .boxA tspan{fill:#174ea6!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .boxI>*{fill:#fffdf6!important;stroke:#f9a825!important;stroke-width:2px!important;stroke-dasharray:8 5!important;color:#b26500!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .boxI span{fill:#fffdf6!important;stroke:#f9a825!important;stroke-width:2px!important;stroke-dasharray:8 5!important;color:#b26500!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .boxI tspan{fill:#b26500!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .boxR>*{fill:#f5fbf6!important;stroke:#2e7d32!important;stroke-width:2px!important;stroke-dasharray:8 5!important;color:#1b5e20!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .boxR span{fill:#f5fbf6!important;stroke:#2e7d32!important;stroke-width:2px!important;stroke-dasharray:8 5!important;color:#1b5e20!important;}#mermaid-svg-FcMZLfv8KWpMEKIF .boxR tspan{fill:#1b5e20!important;} Cortex-R / M ┃ RTOS / Bare Metal
核间通信通道 · IPC
Cortex-A Cluster ┃ Linux Operating System
感知算法
网络通信
日志与文件系统
任务规划
RPMsg / 核间 IPC
Shared Memory 共享内存
Mailbox / 中断信号
周期控制任务
传感器采集
看门狗与保护
9.2 Remoteproc 与 RPMsg
Linux 为异构处理器提供了两类重要机制:
- Remoteproc:负责远端处理器的固件加载、启动、停止及资源管理等。
- RPMsg:提供基于消息的核间通信机制,可用于 Linux 与远端 RTOS 之间的数据交换。
通信流程示例:Linux 视觉应用线程 ----> 目标位置、速度、时间戳----> RPMsg Endpoint ----> Shared Memory + Virtqueue ----> Remote Core 固件 ----> 实时控制任务执行
需要注意,RPMsg 的通信链路本身不提供硬实时截止期限保证。如果要求严格确定性,还需要综合分析共享内存仲裁、Mailbox 中断、RTOS 调度、Cache 同步和通信超时等因素。
RPMsg 并非每颗异构 SoC 都必须使用。不同厂商也可能采用自己的 IPC 协议、共享内存队列或专用硬件消息通道。
十、时钟、电源管理与实时性能
10.1 SoC 不同模块工作在不同频率
一颗 SoC 内部存在复杂的时钟树,不同模块工作在不同频率:
#mermaid-svg-xqB7Nc5JZwaiqAsA{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-xqB7Nc5JZwaiqAsA .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-xqB7Nc5JZwaiqAsA .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-xqB7Nc5JZwaiqAsA .error-icon{fill:#552222;}#mermaid-svg-xqB7Nc5JZwaiqAsA .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-xqB7Nc5JZwaiqAsA .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-xqB7Nc5JZwaiqAsA .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-xqB7Nc5JZwaiqAsA .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-xqB7Nc5JZwaiqAsA .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-xqB7Nc5JZwaiqAsA .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-xqB7Nc5JZwaiqAsA .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-xqB7Nc5JZwaiqAsA .marker{fill:#333333;stroke:#333333;}#mermaid-svg-xqB7Nc5JZwaiqAsA .marker.cross{stroke:#333333;}#mermaid-svg-xqB7Nc5JZwaiqAsA svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-xqB7Nc5JZwaiqAsA p{margin:0;}#mermaid-svg-xqB7Nc5JZwaiqAsA .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-xqB7Nc5JZwaiqAsA .cluster-label text{fill:#333;}#mermaid-svg-xqB7Nc5JZwaiqAsA .cluster-label span{color:#333;}#mermaid-svg-xqB7Nc5JZwaiqAsA .cluster-label span p{background-color:transparent;}#mermaid-svg-xqB7Nc5JZwaiqAsA .label text,#mermaid-svg-xqB7Nc5JZwaiqAsA span{fill:#333;color:#333;}#mermaid-svg-xqB7Nc5JZwaiqAsA .node rect,#mermaid-svg-xqB7Nc5JZwaiqAsA .node circle,#mermaid-svg-xqB7Nc5JZwaiqAsA .node ellipse,#mermaid-svg-xqB7Nc5JZwaiqAsA .node polygon,#mermaid-svg-xqB7Nc5JZwaiqAsA .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-xqB7Nc5JZwaiqAsA .rough-node .label text,#mermaid-svg-xqB7Nc5JZwaiqAsA .node .label text,#mermaid-svg-xqB7Nc5JZwaiqAsA .image-shape .label,#mermaid-svg-xqB7Nc5JZwaiqAsA .icon-shape .label{text-anchor:middle;}#mermaid-svg-xqB7Nc5JZwaiqAsA .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-xqB7Nc5JZwaiqAsA .rough-node .label,#mermaid-svg-xqB7Nc5JZwaiqAsA .node .label,#mermaid-svg-xqB7Nc5JZwaiqAsA .image-shape .label,#mermaid-svg-xqB7Nc5JZwaiqAsA .icon-shape .label{text-align:center;}#mermaid-svg-xqB7Nc5JZwaiqAsA .node.clickable{cursor:pointer;}#mermaid-svg-xqB7Nc5JZwaiqAsA .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-xqB7Nc5JZwaiqAsA .arrowheadPath{fill:#333333;}#mermaid-svg-xqB7Nc5JZwaiqAsA .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-xqB7Nc5JZwaiqAsA .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-xqB7Nc5JZwaiqAsA .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-xqB7Nc5JZwaiqAsA .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-xqB7Nc5JZwaiqAsA .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-xqB7Nc5JZwaiqAsA .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-xqB7Nc5JZwaiqAsA .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-xqB7Nc5JZwaiqAsA .cluster text{fill:#333;}#mermaid-svg-xqB7Nc5JZwaiqAsA .cluster span{color:#333;}#mermaid-svg-xqB7Nc5JZwaiqAsA div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-xqB7Nc5JZwaiqAsA .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-xqB7Nc5JZwaiqAsA rect.text{fill:none;stroke-width:0;}#mermaid-svg-xqB7Nc5JZwaiqAsA .icon-shape,#mermaid-svg-xqB7Nc5JZwaiqAsA .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-xqB7Nc5JZwaiqAsA .icon-shape p,#mermaid-svg-xqB7Nc5JZwaiqAsA .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-xqB7Nc5JZwaiqAsA .icon-shape .label rect,#mermaid-svg-xqB7Nc5JZwaiqAsA .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-xqB7Nc5JZwaiqAsA .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-xqB7Nc5JZwaiqAsA .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-xqB7Nc5JZwaiqAsA :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-xqB7Nc5JZwaiqAsA .osc>*{fill:#E3F2FD!important;stroke:#1E88E5!important;stroke-width:2px!important;color:#0D47A1!important;}#mermaid-svg-xqB7Nc5JZwaiqAsA .osc span{fill:#E3F2FD!important;stroke:#1E88E5!important;stroke-width:2px!important;color:#0D47A1!important;}#mermaid-svg-xqB7Nc5JZwaiqAsA .osc tspan{fill:#0D47A1!important;}#mermaid-svg-xqB7Nc5JZwaiqAsA .pll>*{fill:#FFF3E0!important;stroke:#FB8C00!important;stroke-width:2px!important;color:#E65100!important;}#mermaid-svg-xqB7Nc5JZwaiqAsA .pll span{fill:#FFF3E0!important;stroke:#FB8C00!important;stroke-width:2px!important;color:#E65100!important;}#mermaid-svg-xqB7Nc5JZwaiqAsA .pll tspan{fill:#E65100!important;}#mermaid-svg-xqB7Nc5JZwaiqAsA .domain>*{fill:#E8F5E9!important;stroke:#43A047!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-xqB7Nc5JZwaiqAsA .domain span{fill:#E8F5E9!important;stroke:#43A047!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-xqB7Nc5JZwaiqAsA .domain tspan{fill:#1B5E20!important;}#mermaid-svg-xqB7Nc5JZwaiqAsA .rtc>*{fill:#F3E5F5!important;stroke:#8E24AA!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-xqB7Nc5JZwaiqAsA .rtc span{fill:#F3E5F5!important;stroke:#8E24AA!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-xqB7Nc5JZwaiqAsA .rtc tspan{fill:#4A148C!important;} Oscillator
外部晶振
PLL / 时钟树网络
CPU 时钟域
DDR 时钟域
GPU / NPU 时钟域
外设总线时钟域
低功耗实时时钟域
时钟树通常包含 PLL、分频器、时钟选择器和时钟门控单元等。
Linux Common Clock Framework 提供统一接口,使设备驱动能够管理时钟的启停、父时钟和频率配置。
10.2 DVFS:CPU 主频调频
DVFS(Dynamic Voltage and Frequency Scaling)是动态电压频率调节技术。
在高负载下,系统可能提高工作频率;在低负载时降低频率以减少能耗。
动态功耗的常用近似公式:
Pdynamic∝αCV2f P_{\mathrm{dynamic}} \propto \alpha C V^2 f Pdynamic∝αCV2f
其中:
- α\alphaα:电路活动因子
- CCC:有效开关电容
- VVV:工作电压
- fff:工作频率
这只是动态功耗的常用近似模型,不包括泄漏功耗等全部因素。
Linux 的 CPUFreq 子系统支持 CPU 性能状态和频率策略管理。
对于电池供电的无人机,SoC 设计必须平衡算力、功耗、散热和续航。例如,在某个运行条件下,提高 CPU 频率能够降低计算耗时,但可能增加系统功耗;长时间高负载还可能触发热限制,反而使持续性能降低。
10.3 Linux 能否承担实时任务?
普通 Linux 属于通用操作系统,强调吞吐量、公平性和资源利用率。
PREEMPT_RT 通过增强内核抢占能力、线程化中断及调整锁机制等方式,降低高优先级任务的调度延迟。
但应避免两个误区:
一是认为 Linux 一定不能实现高频控制。实际上,只要截止期限和实测最坏延迟满足要求,Linux 也能承担许多实时任务 。
二是认为开启 PREEMPT_RT 后所有任务就具有确定性。共享总线、固件、DMA、设备中断以及硬件响应仍可能造成延迟。
系统是否满足实时性,最终取决于端到端时序分析和实际平台验证。
十一、以无人机为例:SoC 在整机系统中的生态位
前面介绍的是通用知识。下面以一个视觉无人机架构说明如何组合。
注意:以下为通用架构示例,并非对特定厂商产品内部芯片型号或系统分工的断言。
11.1 一种无人机系统架构
#mermaid-svg-KYscOIrt1Wv4nxee{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-KYscOIrt1Wv4nxee .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-KYscOIrt1Wv4nxee .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-KYscOIrt1Wv4nxee .error-icon{fill:#552222;}#mermaid-svg-KYscOIrt1Wv4nxee .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-KYscOIrt1Wv4nxee .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-KYscOIrt1Wv4nxee .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-KYscOIrt1Wv4nxee .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-KYscOIrt1Wv4nxee .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-KYscOIrt1Wv4nxee .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-KYscOIrt1Wv4nxee .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-KYscOIrt1Wv4nxee .marker{fill:#333333;stroke:#333333;}#mermaid-svg-KYscOIrt1Wv4nxee .marker.cross{stroke:#333333;}#mermaid-svg-KYscOIrt1Wv4nxee svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-KYscOIrt1Wv4nxee p{margin:0;}#mermaid-svg-KYscOIrt1Wv4nxee .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-KYscOIrt1Wv4nxee .cluster-label text{fill:#333;}#mermaid-svg-KYscOIrt1Wv4nxee .cluster-label span{color:#333;}#mermaid-svg-KYscOIrt1Wv4nxee .cluster-label span p{background-color:transparent;}#mermaid-svg-KYscOIrt1Wv4nxee .label text,#mermaid-svg-KYscOIrt1Wv4nxee span{fill:#333;color:#333;}#mermaid-svg-KYscOIrt1Wv4nxee .node rect,#mermaid-svg-KYscOIrt1Wv4nxee .node circle,#mermaid-svg-KYscOIrt1Wv4nxee .node ellipse,#mermaid-svg-KYscOIrt1Wv4nxee .node polygon,#mermaid-svg-KYscOIrt1Wv4nxee .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-KYscOIrt1Wv4nxee .rough-node .label text,#mermaid-svg-KYscOIrt1Wv4nxee .node .label text,#mermaid-svg-KYscOIrt1Wv4nxee .image-shape .label,#mermaid-svg-KYscOIrt1Wv4nxee .icon-shape .label{text-anchor:middle;}#mermaid-svg-KYscOIrt1Wv4nxee .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-KYscOIrt1Wv4nxee .rough-node .label,#mermaid-svg-KYscOIrt1Wv4nxee .node .label,#mermaid-svg-KYscOIrt1Wv4nxee .image-shape .label,#mermaid-svg-KYscOIrt1Wv4nxee .icon-shape .label{text-align:center;}#mermaid-svg-KYscOIrt1Wv4nxee .node.clickable{cursor:pointer;}#mermaid-svg-KYscOIrt1Wv4nxee .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-KYscOIrt1Wv4nxee .arrowheadPath{fill:#333333;}#mermaid-svg-KYscOIrt1Wv4nxee .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-KYscOIrt1Wv4nxee .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-KYscOIrt1Wv4nxee .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-KYscOIrt1Wv4nxee .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-KYscOIrt1Wv4nxee .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-KYscOIrt1Wv4nxee .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-KYscOIrt1Wv4nxee .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-KYscOIrt1Wv4nxee .cluster text{fill:#333;}#mermaid-svg-KYscOIrt1Wv4nxee .cluster span{color:#333;}#mermaid-svg-KYscOIrt1Wv4nxee div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-KYscOIrt1Wv4nxee .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-KYscOIrt1Wv4nxee rect.text{fill:none;stroke-width:0;}#mermaid-svg-KYscOIrt1Wv4nxee .icon-shape,#mermaid-svg-KYscOIrt1Wv4nxee .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-KYscOIrt1Wv4nxee .icon-shape p,#mermaid-svg-KYscOIrt1Wv4nxee .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-KYscOIrt1Wv4nxee .icon-shape .label rect,#mermaid-svg-KYscOIrt1Wv4nxee .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-KYscOIrt1Wv4nxee .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-KYscOIrt1Wv4nxee .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-KYscOIrt1Wv4nxee :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-KYscOIrt1Wv4nxee .sensor>*{fill:#E3F2FD!important;stroke:#1E88E5!important;stroke-width:2px!important;color:#0D47A1!important;}#mermaid-svg-KYscOIrt1Wv4nxee .sensor span{fill:#E3F2FD!important;stroke:#1E88E5!important;stroke-width:2px!important;color:#0D47A1!important;}#mermaid-svg-KYscOIrt1Wv4nxee .sensor tspan{fill:#0D47A1!important;}#mermaid-svg-KYscOIrt1Wv4nxee .soc>*{fill:#FFF3E0!important;stroke:#FB8C00!important;stroke-width:2px!important;color:#E65100!important;}#mermaid-svg-KYscOIrt1Wv4nxee .soc span{fill:#FFF3E0!important;stroke:#FB8C00!important;stroke-width:2px!important;color:#E65100!important;}#mermaid-svg-KYscOIrt1Wv4nxee .soc tspan{fill:#E65100!important;}#mermaid-svg-KYscOIrt1Wv4nxee .fc>*{fill:#E8F5E9!important;stroke:#43A047!important;stroke-width:2px!important;color:#1B5E20!important;}#mermaid-svg-KYscOIrt1Wv4nxee .fc span{fill:#E8F5E9!important;stroke:#43A047!important;stroke-width:2px!important;color:#1B5E20!important;}#mermaid-svg-KYscOIrt1Wv4nxee .fc tspan{fill:#1B5E20!important;}#mermaid-svg-KYscOIrt1Wv4nxee .comm>*{fill:#F3E5F5!important;stroke:#8E24AA!important;stroke-width:2px!important;color:#4A148C!important;}#mermaid-svg-KYscOIrt1Wv4nxee .comm span{fill:#F3E5F5!important;stroke:#8E24AA!important;stroke-width:2px!important;color:#4A148C!important;}#mermaid-svg-KYscOIrt1Wv4nxee .comm tspan{fill:#4A148C!important;}#mermaid-svg-KYscOIrt1Wv4nxee .act>*{fill:#FCE4EC!important;stroke:#D81B60!important;stroke-width:2px!important;color:#880E4F!important;}#mermaid-svg-KYscOIrt1Wv4nxee .act span{fill:#FCE4EC!important;stroke:#D81B60!important;stroke-width:2px!important;color:#880E4F!important;}#mermaid-svg-KYscOIrt1Wv4nxee .act tspan{fill:#880E4F!important;}#mermaid-svg-KYscOIrt1Wv4nxee .inner>*{fill:#FFFFFF!important;stroke:#BDBDBD!important;stroke-width:1px!important;color:#37474F!important;}#mermaid-svg-KYscOIrt1Wv4nxee .inner span{fill:#FFFFFF!important;stroke:#BDBDBD!important;stroke-width:1px!important;color:#37474F!important;}#mermaid-svg-KYscOIrt1Wv4nxee .inner tspan{fill:#37474F!important;} 感知 / 规划
视频数据
飞控处理器
IMU 数据处理
状态估计
姿态 / 位置控制
安全状态管理
视觉计算 SoC
ISP 图像处理
CPU 感知与规划
NPU AI 推理
VPU 视频编码
Linux / RTOS
摄像头 / 深度传感器
视觉计算 SoC
飞控处理器
图传通信系统
电机执行系统
真正的产品中,上述功能可能集中在一颗 SoC,也可能分散在多个 SoC、MCU、DSP、FPGA 或专用芯片上。
视觉 SoC 更侧重高吞吐计算,而飞控处理器更关注控制时序、稳定性与故障安全。
11.2 摄像头到 AI 推理
假设一颗 SoC 需要处理摄像头 RAW 数据,图像处理流水线:
Image Sensor 图像传感器
│
│ MIPI CSI-2 总线
▼
CSI Receiver 接收端
│
▼
ISP 图像信号处理器
│
│ 去马赛克、降噪、颜色处理等
▼
Image Buffer 图像帧缓存
│
│ DMA / Buffer Sharing
▼
预处理模块
│
│ Resize / Normalize
▼
NPU / GPU / CPU 计算单元
│
▼
AI Inference 推理执行
│
▼
Detection / Tracking 后处理
│
▼
控制或业务应用
不同 SoC 对 RAW、ISP 和内存的连接方式可能存在差异,部分流水线可以做到流式处理不落地。
11.3 Zero-Copy
假设摄像头输入分辨率为 1920 × 1080,帧率 60 FPS,图像格式为紧凑存储 RAW12。
理论有效数据量计算:
B=1920×1080×128×60≈186.6 MB/s B = 1920 \times 1080 \times \frac{12}{8} \times 60 \approx 186.6\ \text{MB/s} B=1920×1080×812×60≈186.6 MB/s
这还没有计算传输协议开销、行对齐、帧填充以及后续处理产生的数据流量。
如果一帧图像经历多次完整的 DDR 读写和 CPU 拷贝,就会进一步消耗带宽、CPU 资源以及内存系统功耗。
所以现代视觉 SoC 软件栈会重点关注:Zero-Copy、DMA-BUF、硬件加速、异步流水线和 Buffer 生命周期管理。
Linux 的 DMA-BUF 框架允许多个硬件设备或驱动共享 Buffer,并通过同步机制协调异步访问。
但这里有一个需要特别注意的细节:
Zero-Copy 不代表硬件没有执行数据传输,也不代表一定没有格式转换或新的 Buffer。 它主要强调消除不必要的软件数据复制。
11.4 延迟与吞吐量是两个不同指标
如果视频处理系统达到 60 FPS,说明稳定状态下平均每约 16.7 ms 输出一帧,但不代表每一帧从曝光到输出的端到端延迟只有 16.7 ms。
流水线可以在前一帧进行 AI 推理时,同时采集后一帧。
因此:
Throughput≠1Latency \text{Throughput} \neq \frac{1}{\text{Latency}} Throughput=Latency1
在无人机感知系统中,除了帧率,还需要测量:
- Sensor 曝光到数据可用的延迟。
- ISP、DMA 和推理执行时间。
- 队列等待与线程调度延迟。
- 时间戳精度和跨设备同步误差。
- 端到端最坏延迟及延迟抖动。
这些指标往往比单纯的 TOPS 或 CPU 主频更能体现系统实际性能。
十二、如何分析陌生 SoC
12.1 六个关键维度
| 维度 | 需要搞清楚的问题 |
|---|---|
| 计算资源 | CPU 架构、核心数、各级Cache、GPU/NPU/DSP算力与规格 |
| 内存系统 | DDR 类型、理论带宽、片上SRAM、TCM、Cache一致性机制 |
| 互连及外设 | 片内互连架构、DMA控制器、CSI/USB/PCIe/CAN/UART等接口 |
| 实时及安全 | RTOS核心数量、定时器精度、中断控制器、看门狗、硬件隔离 |
| 软件生态 | BSP成熟度、Linux内核版本、Bootloader、官方SDK、驱动维护周期 |
| 系统约束 | 功耗曲线、温度范围、封装尺寸、供电要求、芯片成本、长期供货周期 |
不要只看 NPU 的 TOPS、CPU 的 GHz 或 DDR 的理论带宽。实际性能还取决于内存访问模式、数据类型、算子支持、编译器和运行时等多重因素。
12.2 Linux SoC 常用调试命令
在有权限的 Linux 开发板上,可以先用这些命令快速观察系统状态:
bash
# 内核及 CPU 信息
uname -a
lscpu
# 内存状态
cat /proc/meminfo
# 中断统计
cat /proc/interrupts
# 内核启动日志
dmesg
# 设备树节点(内核与设备支持时)
ls /proc/device-tree/
# 时钟与 CPU 频率策略
ls /sys/devices/system/cpu/cpufreq/
# 远端处理器框架(启用时)
ls /sys/class/remoteproc/
# 平台设备与总线
ls /sys/bus/platform/devices/
进一步分析性能时,可以使用 perf、ftrace、trace-cmd 等工具。在视觉平台上还需要了解 V4L2、media controller、DMA-BUF 和厂商提供的 ISP/NPU 分析工具。
对于嵌入式视觉与机器人应用开发方向,建议优先研究 Cortex-A 内存系统、DMA/Cache Coherency、Linux BSP、异构通信,以及 ISP 到算法的数据链路。这几个主题能够直接串联起硬件资源、操作系统和应用程序,是从应用开发进一步理解整套嵌入式运算平台的关键。
最终建议达到的能力是:
看到一张 SoC Block Diagram,就能理解各计算模块的职责、数据如何流动、软件如何调度硬件、潜在的性能瓶颈在哪里,以及应该查阅哪份官方文档进行验证。