海思SD3403(21AP10, 108DC2910 )4K60 的 ISP 图像处理能力，4Tops INT8算力

21AP10 是一颗面向市场推出的专业超高清智能网络录像机 SoC。该芯片最高支持四
路 sensor 输入，支持最高 4K60 的 ISP 图像处理能力，支持 3F WDR、多级降噪、六
轴防抖、硬件拼接等多种图像增强和处理算法，为用户提供了卓越的图像处理能力。
21AP10 内置四核 A55，提供高效且丰富和灵活的 CPU 资源，以满足客户计算和控制
需求。集成单核 MCU，以满足某些低延时要求较高场景。
21AP10 集成了高效的图像分析工具推理单元，最高 4Tops INT8，并支持业界主流的
图像分析工具框架。并内置双核 Vision DSP，以满足客户一些差异化的 CV 计算需
求。
21AP10 采用先进的 12nm 低功耗工艺和 0.65pitch 封装，同时支持
LPDDR4/LPDDR4x/DDR4 颗粒，满足客户应用的产品小型化设计和快速量产。
21AP10 配套提供的稳定、易用的 SDK 设计，能够支撑客户快速产品量产。
1.2 应用场景
1.2.1 21AP10 专业智能网络摄像机方案
21AP10 专业智能网络摄像机方案如 图 1-1 所示

1.3 架构
1.3.1 概述
21AP10 芯片逻辑框图如 图 1-2 所示。

1.3.2 处理器内核
●
四核 ARM Cortex A55@1.4GHz
− 32KB I-Cache ， 32KB D-Cache /512KB L3 cache
− 支持 Neon 加速，集成 FPU 处理单元
●
内置 32bit MCU@500MHz
32KB I-Cache ， 32KB D-Cache /64KB TCM
1.3.3 智能视频分析
●
图像分析工具 加速引擎，高达 4Tops INT8
− 支持 INT4/FP16
− 支持完整的 API 和工具链，易于客户开发
●
双核 Vision Q6 DSP
32K I-Cache /32K D-Cache /32K IRAM/320K DRAM
●
内置智能计算加速引擎
●
内置双目深度加速单元
●
内置矩阵计算加速单元
1.3.4 视频编解码
●
H.264 BP/MP/HP
●
H.265 Main Profile
●
H.264/H.265 编解码最大分辨率为 8192 x 8192
●
H.264/H.265 编码支持 I/P 帧
●
H.264/H.265 多码流编码能力：
− 3840 x 2160@60fps + 1280x720@30fps
− 7680 x 4320@15fps
●
H.264/H.265/MPEG-4 多码流解码能力：
3840 x 2160@60fps + 1920x1080@60fps
●
支持最多 8 个区域的编码前 OSD 叠加
●
支持 CBR/VBR/AVBR/FIXQP/QPMAP 等多种码率控制模式
●
输出码率最大值 100Mbps
●
支持 8 个感兴趣区域（ ROI ）编码
●
支持 JPEG Baseline 编解码
●
JPEG 编解码最大分辨率 16384x16384
●
JPEG 最大性能
− 编码： 3840 x 2160@60fps(YUV420)
− 解码： 3840 x 2160@75fps(YUV420)
1.3.5 视频输入接口
●
支持 8-Lane image sensor 串行输入，支持 MIPI/LVDS/Sub-LVDS/HiSPi 多种接
口
●
支持 2x4-Lane 或 4x2-Lane 等多种组合，最高支持 4 路 sensor 串行输入
●
最大分辨率 8192 x 8192
●
支持 8/10/12/14 Bit RGB Bayer DC 时序视频输入，时钟频率最高 150MHz
●
支持 BT.601 、 BT.656 、 BT.1120 视频输入接口
●
支持主流 CMOS 电平热成像传感器
1.3.6 ISP
●
ISP 支持分时复用处理多路 sensor 输入视频
●
支持 3A （ AE/AWB/AF ）功能， 3A 的控制用户可调节
●
支持去固定模式噪声（ FPN ）
●
支持坏点校正、镜头阴影校正；
●
最高支持三帧 WDR 及 Advanced Local Tone Mapping
●
支持多级 3D 去噪、图像边缘增强、去雾、动态对比度增强等处理功能
●
支持 3D-LUT 色彩调节
●
支持镜头畸变校正，支持鱼眼矫正
●
支持 6-DoF 数字防抖及 Rolling-Shutter 校正
●
支持图像 Mirror 、 Flip 、 90 度 /270 度旋转
●
提供 PC 端 ISP 调节工具
1.3.7 视频与图形处理
●
支持图形和图像 1/15.5 ～ 16x 缩放功能
●
支持多达 4 路视频全景拼接
− 输入 2 路 3840x2160 ，输出 4320x3840
− 输入 4 路 2688x1520 ，输出 6080x2688
●
支持视频层、图形层叠加
●
支持色彩空间转换
1.3.8 视频输出
●
支持 HDMI2.0 接口输出
●
支持 4-Lane Mipi DSI/CSI 接口输出，最高 2.5Gbps/lane
●
内置模拟标清 CVBS 输出
●
支持 8/16/24 bit RGB 、 BT.656 、 BT.1120 等数字接口
●
同时支持 2 个独立高清视频输出
− 支持任意两种接口非同源输出
− 其中一路可支持 PIP(Piture In Piture)
●
最大输出能力 3840x2160@60fps + 1920x1080@60fps
1.3.9 音频接口与处理
●
内置 Audio codec ，支持 16bit 语音输入和输出
●
支持 I2S 接口
支持多声道时分复用传输模式（ TDM ）
●
支持 HDMI Audio 输出
●
通过软件实现多协议语音编解码
●
支持音频 3A （ AEC/ANR/ALC ）处理
●
支持 G.711/G.726/AAC/ 等音频编码格式
1.3.10 安全隔离与引擎
●
支持安全启动
●
支持基于 TrustZone 的 REE/TEE 硬件隔离方案
●
硬件实现 AES 对称加密算法
●
硬件实现 RSA2048/3072/4096 签名校验算法
●
硬件实现基于 HASH 的 SHA256/384/512 、 HMAC_SHA256/384/512 算法
●
硬件实现随机数发生器
●
集成 30Kbit OTP 存储空间供客户使用
1.3.11 网络接口
2 个千兆以太网接口
●
支持 RGMII 、 RMII 两种接口模式
●
支持 TSO 、 UFO 、 COE 等加速单元
●
支持 Jumbo Frame
1.3.12 外围接口
●
支持上电复位（ POR ）和外部输入复位
●
集成 4 通道 LSADC
●
多个 UART 、 I2C 、 SPI 、 GPIO 接口
●
2 个 SDIO3.0 接口
− SDIO0 支持 SDXC 卡，最大容量 2TB
− SDIO1 支持对接 wifi 模组
●
2 个 USB3.0/USB2.0 接口
− USB0 仅 Host 接口
− USB1 Host/Device 可切换
●
2-Lane PCIe2.0 高速接口
− 支持 RC/EP 模式
− 可配置为 2-Lane PCIe2.0
− 可配置为 1-Lane PCIe2.0 + USB3.0
1.3.13 外部存储器接口
●
DDR4/LPDDR4/LPDDR4x 接口
− 支持 4 x 16bit DDR4
− 支持 2 x 32bit LPDDR4/LPDDR4x
− DDR4 最高速率 3200Mbps
− LPDDR4/LPDDR4x 最高速率 3733Mbps
− 最大容量 8GB
●
SPI Nor/SPI Nand Flash 接口
− 支持 1 、 2 、 4 线模式
− SPI Nor Flash 支持 3Byte 、 4Byte 地址模式
●
NAND Flash 接口
− 支持 SLC 、 MLC 异步接口器件
− 支持 2/4/8/16KB 页大小
− 支持 8/16/24/28/40/64bit ECC （以 1KB 为单位）
●
eMMC5.1 接口，最大容量 2TB
●
可选择从 eMMC 、 SPI Nor/SPI Nand Flash 、 NAND Flash 或 PCIe 从片启动
1.3.14 SDK
●
Arm CPU 支持 Linux SMP
●
DSP/MCU 支持 LiteOS
1.3.15 芯片物理规格
●
功耗
(TBD)W 典型功耗 (4K60 + 4Tops)
●
工作电压
− 内核电压为 0.8V
− IO 电压为 1.8/3.3V
− DDR4/LPDDR4/LPDDR4x 接口电压分别为 1.2/1.1/0.6V
●
封装形式
− RoHS ， FC-BGA 23mm x 23mm 封装
− 管脚间距： 0.65mm
1.4 启动和升级模式
1.4.1 概述
芯片中内置启动 ROM （ BOOTROM ），芯片复位撤销后由 BOOTROM 开始执行启动
引导程序。
启动介质
芯片包含多种外设接口可用于启动介质接口：
●
SPI Nand/Nor Flash 存储接口。
●
并行 Nand Flash 存储接口。
●
eMMC 存储接口。
启动介质的选择由 SFC_EMMC_BOOT_MODE/BOOT_SEL1/BOOT_SEL0 信号决
定。
PCIe 从启动
芯片还支持 PCIe 从片启动，此时芯片作为从片，通过 PCIe 接口与主片连接，主片可
以通过 PCIe 接口将启动程序加载至从片并引导从片启动。
PCIe 从片启动由 PCIE_SLV_BOOT_MODE 信号的值决定。
烧写（升级）
芯片通过 SDIO0/USB3 控制器 1 Device/UART0 来对启动介质进行烧写 ( 升级 ) 。 SD
卡、 USB 升级模式由 UPDATE_MODE_N 和 OTP 信号决定， UART 烧写由
FAST_BOOT_MODE 信号的值决定。
1.4.2 启动介质和上电锁存值关系
启动 / 升级介质由
PCIE_SLV_BOOT_MODE/FAST_BOOT_MOD/SFC_EMMC_BOOT_MODE/BOOT_
SEL1/BOOT_SEL0 和 UPDATE_MODE_N 信号来确定。
●
PCIE_SLV_BOOT_MODE 信号为 SENSOR1_VS 管脚的上电锁存值；
●
FAST_BOOT_MODE 信号为 RGMII0_TXD0 管脚的上电锁存值 ;
●
SFC_EMMC_BOOT_MODE 信号为 RGMII0_TXD1 管脚的上电锁存值 ;
●
BOOT_SEL1 信号为 RGMII0_TXD2 管脚的上电锁存值 ;
●
BOOT_SEL0 信号为 RGMII0_TXD3 管脚的上电锁存值 ;
●
UPDATE_MODE_N 信号为系统启动时 GPIO0_0 的状态，通常 GPIO0_0 可设计成按键，
按下时状态为 0 ，表示升级；未按下时状态为 1 ，表示非升级 ;
●
以上上电锁存值不受系统软复位影响；
●
SFC_EMMC_BOOT_MODE & BOOT_SEL1 & BOOT_SEL0 决定了启动或者烧
写的目标介质。
●
FAST_BOOT_MODE 用于选择是否进入串口烧写。
●
PCIE_SLV_BOOT_MODE 用于是否进入 PCIe 从片启动。
●
UPDATE_MODE_N 用于选择是否进入 SD/USB 升级。
启动模式和这些信号的关系如 表 1-1 所示：

1.4.3 启动模式
芯片支持如下表所示启动模式，其中 Secure_Boot_En 和 Quick_Boot 分别由寄存器的
值来决定 ( 源于 OTP 中的启动模式标志位 ) 。
表1-2 启动模式
2.1 封装与管脚分布
2.1.1 封装
21AP10 芯片采用 FCBGA 封装，封装尺寸为 23mmx23mm ，管脚间距为 0.65mm 。
管脚总数为 997 个。
详细封装请参见 图 2-1 ～ 图 2-5 ，封装尺寸参数请参见 表 2-1 。





表 2-10 各场景具体配置表
场景 1
(OS08A20 4k@30fps)*1->MIPI ：
开六轴防抖 /LDC, 开超感光，一路送 VPSS( 开 3DNR,8 个 osd, 4 个
mosaic),vpss 再送 VENC 进行编码
{Normal_P/H264:1x4k@60fps(12Mbps) +1x1080P@30fps (4Mbps) + 1
x4K@1fps JPEG};vpss 送 VO 进行 HDMI 1080P60 显示，叠加 GFBG
(1080p@10fps) ；
网络： 1x4K@60fps@12Mbps ；
智能： VGG16 循环处理图片；
DSP: DSP0+DSP1 开启，采用 bilateral filter 算法处理 1920x1080 yuv
数据中的 Y 分量。
场景 2
(OS08A20 4k@60fps)*1->MIPI ：
一路 vi 4k@30fps 开六轴防抖 /LDC/WDR, 送 VPSS( 开 3DNR,8 个 osd, 4
个 mosaic), 再送 VENC 进行编码
{Normal_P/H264:2x4k@30fps(12Mbps)+1x720P@30fps(2Mbps)+1x4K
@1fps JPEG}; 另一路 vi 4k@30fps 开六轴防抖 /LDC, 送 VPSS( 开
3DNR), 送 VO 进行 HDMI 1080P60 显示叠加 GFBG(1080p@10fps) ；
网络： 1x4K@30fps@12Mbps ；
智能： VGG16 循环处理图片；
DSP: DSP0+DSP1 开启，采用 bilateral filter 算法处理 1920x1080 yuv
数据中的 Y 分量。
场景 3
(IMX485 4k@90fps)*1->MIPI:
一路 vi 4k@30fps ，开六轴防抖 /LDC/WDR, 送 VPSS( 开 3DNR,8 个 osd,
4 个 mosaic), 再送 VENC 进行编码 {smart_P/H264:1x
4k@30fps(12Mbps) + 1x1080P@30fps(4Mbps)+1x720P@30fps
(2Mbps) + 1 x4K@1fps JPEG};VPSS 送一路 1080p30 送 VO 进行显
示；
音频： 1 路采集 16kHz mono + 1 路编解码 + 1 路输出 mono 重采样到
32kHz +1 路 ai 开 AGC/ANR ；
网络： 1x4K@30fps@12Mbps ；
智能： VGG16 循环处理图片；
DSP: DSP0+DSP1 开启，采用 bilateral filter 算法处理 1920x1080 yuv
数据中的 Y 分量。
场景 4
(0S08A20 4k@60fps)*1 ->MIPI:
一路 vi 4k@30fps 开六轴防抖 /LDC/WDR, 送 VPSS( 开 3DNR,8 个 osd,
4 个 mosaic),
再送 VENC 进行编码 {smart_P/H264:1x 4k@30fps(12Mbps) +
1x1080P@30fps (4Mbps)+ 1x720P@30fps (2Mbps) + 1 x4K@1fps
JPEG};VPSS 送一路 1080p30 送 VO 进行显示；
音频： 1 路采集 16kHz mono + 1 路编解码 + 1 路输出 mono 重采样到
32kHz +1 路 ai 开 AGC/ANR;
网络： 1x4K@30fps@12Mbps ；
智能： VGG16 循环处理图片；
DSP: DSP0+DSP1 开启，采用 bilateral filter 算法处理 1920x1080 yuv
数据中的 Y 分量。
场景 5
(0S08A20 4k@30fps)*2 ->MIPI:
VI 采集两路 sensor 4k@30fps 分别作为枪机和球机的通路输入，两路都
开启 2to1 WDR ，其中枪机通路开 LDC ，球机通路路开 6 轴防抖；
枪机通路送 VPSS （开 3DNR ），然后送 venc 进行编码（ 4K@30fps
h264 smartp + 1080P@30fps h264 smartp + 4K@1fps jpeg ）；
球机通路送 VPSS （开 3DNR ），然后送 venc 进行编码（ 4K@30fps
h264 smartp + 4K@1fps jpeg ）；
音频： 1 路采集 16kHz mono + 1 路编解码 + 1 路输出 mono 重采样到
32kHz +1 路 ai 开 AGC/ANR ；
网络： 2x 4K30fps@12Mbps ；
智能： VGG16 循环处理图片；
DSP: DSP0+DSP1 开启，采用 bilateral filter 算法处理 1920x1080 yuv
数据中的 Y 分量。
15.1 概述
安全子系统支持以下安全特性：
●
支持硬件产生真随机数，产生的真随机数符合 FIPS140-1 的随机测试标准。
●
支持 OTP （ One Time Programmable ），用户可用空间达 30Kbit 。
●
支持硬件对称加解密算法和 HASH 算法：
− 对称加解密算法
支持 AES128 、 AES192 、 AES256 ， AES 算法的实现符合 FIPS 197 标准。
AES 的工作模式符合 NIST special800-38a 标准。
− HASH 算法
支持 SHA256 、 SHA384 、 SHA512 、 HMAC-SHA256 、 HMAC-SHA384 、
HMAC-SHA512
●
支持硬件非对称加解密算法，支持 RSA 2048/3072/4096 ，符合 PKCS#1
V1.5/2.1 标准；
●
支持 JTAG 保护；
●
支持 KeyLadder ，用于密钥加解密管理，增加安全强度。
●
支持 ARM TrustZone 。
●
支持安全内存隔离。
●
支持安全启动。支持 bootloader 的签名校验和加解密。