基于龙芯 2K1000处理器和复旦微 FPGA K7 的全国产RapidIO 解决方案研究

RapidIO 总线协议 [1] 经过 20 多年的发展，已成为基
于数据分组交换的高性能系统互联 [2] 首选解决方案之
一，广泛应用于无线通信、军事、超算、医学图像处理和
工业控制等多个领域，而这些领域无一例外地关系到国
计民生和国家安全。目前，提供 RapidIO 总线接口的芯
片主要来自美国恩智浦公司的 PowerPC 、德州仪器公司
的 C6000 系列 DSP 、瑞萨公司的 TSI 系列 RapidIO 交换芯
片和 PCIe 转 RapidIO 桥片，以及赛灵思公司的 RapidIO
IP 软 核，而 国 内 则 鲜 见 对 标 上 述 芯 片 的 国 产 化 替 代
方案。
本文提出一种基于龙芯 2K1000 处理器 [3] 和复旦微
FPGA 的全国产 RapidIO 解决方案，并结合具体项目验
证该方案的可行性。
1 方案设计
1.1 总体设计
复杂的嵌入式设备，如核心网高端交换机、路由器、
5G 基站、飞机航电系统等，一般采用多子卡机架式设
计，这些子卡由机架背板布线信号联通，从而实现相互
间的通信。子卡间的通信一般包括数据平面通信和控
制平面通信。数据平面通信一般要求实现高可靠、高带
宽、低延迟的全双工通信，相应的数据平面系统互联方
案包括 RapidIO 总线、以太网和 PCIe 总线等，而 RapidIO
总线以其传输带宽高、互联信号线少、抗干扰性强、易于
扩展等优势成为如飞机航电系统等复杂系统的首选子
卡数据平面高速互联方案。
龙芯 2K1000 处理器（下文简称 CPU ）是中科院计算
所研发的面向网络应用、工业控制等领域的嵌入式 SoC 处
理器。片内集成两个 64 位的双发射超标量 GS264 处理器
核，兼 容 MIPS64 体 系 结 构，主 频为 1 GHz ，集 成 64 位
DDR3 控制器、 SATA3 控制器、 2 个 x4 的 PCIe 2.0 控制器、
2 个千兆以太网控制器等多种外设。龙芯 2K1000 处理
器具有丰富的外设资源，适合作为控制子卡的处理器，但
由于片上没有集成 RapidIO 控制器，比较可行的替代方
案是使用复旦微 JFM7K325T FPGA 配合 RapidIO IP 软核
来实现 RapidIO 总线接口，再选取 PCIe 2.0 总线接口作为
龙芯 2K1000 处理器与复旦微 FPGA 之间交换数据的通
路。 FPGA 端 RapidIO 总 线 采 用 LP⁃Serial x1 物 理 层 接
口，工作频率为 3.125 GHz ，数据带宽为 2.5 Gb/s 。软件
方面，在龙芯 2K1000 处理器上运行国产锐华实时操作系
统，并研发锐华系统下的 PCIe 驱动程序和 RapidIO 驱动
程 序；硬 件 方 面，使 用 中 航 通 用 公 司 自 行 研 发 的 国 产
RapidIOIP 软 核 。 以 龙 芯 2K1000 处 理 器 和 复 旦 微 电
JFM7K325T FPGA 为核心构建最小子系统，系统总体设
计方案 [4] 如图1所示。
CPU 与 FPGA 之间通过 PCIe 总线和 LPC 总线相连，
其中高速信号使用 PCIe 总线传输，控制信号使用 LPC
总 线 传 输。 RapidIO 差 分 信 号 由 FPGA 引 出。 CPU 和
FPGA 均使用基于 SPI 总线的 NOR FLASH 存储启动固
件， CPU 的大容量文件存储使用并行的 Nand FLASH ，
CPU 外接 4 片 x16 的国产 DDR3 颗粒， CPU 片上集成的
两 路 GMAC 以 太 网 控 制 器 通 过 RGMII 接 口 外 接
88E1111 千兆以太网 PHY 。 FPGA 除引出 RapidIO 信号
外，还实现了 HDLC 同步串口信号和 RS 422 高速串口
信号。子系统的外围均使用国产化芯片，例如兆易创
新 公 司 研 发 的 FLASH 芯 片 、长 江 存 储 公 司 研 发 的
DDR3 芯片和中电 32 所研发的 88E1111 以太网 PHY 芯
片等。
1.2
数据传输
FPGA 与 CPU 之间通过 PCIe 总线 [5] 交换数据的方式
主要有两种，分别是 PIO 方式和 DMA 方式。 PIO 方式的
原理是： FPGA 在 PCIe BAR 区间划出一定范围，实现数
据寄存器、控制寄存器和状态寄存器， CPU 使用 MMU 映
射 PCIe BAR 空间，并基于简单的数据拷贝算法实现数
据交换 [6] 。使用 PIO 方式进行 PCIe 数据传输时， CPU 每
次读、写数据寄存器都会触发 PCIe 的 TLP 事务包，当数
据 寄 存 器 为 4 B 时 ，净 荷 数 据 只 占 到 TLP 事 务 包 的
4 256 ，加上 PCIe 每次 TLP 事务建立开销，容易得出 PIO
方式效率低的结论，因此不适合作为高速 RapidIO 总线
的数据通路。
DMA 方式使用 FPGA 中的 DMA 通道，在 CPU 内存
和 FPGA 内存间搬运数据，每次搬运时尽可能保证 TLP
事务包中的净荷数据最大，且搬运过程不需要 CPU 参
与。当 CPU 向 FPGA 发送数据时， CPU 仅向 FPGA 告知
需要发送数据的地址和长度，由 DMA 通道负责搬运数
据，数据搬运完成后， FPGA 以 PCIe MSI 中断的异步方
式 通 知 CPU 数 据 搬 运 完 成；当 CPU 从 FPGA 接 收 数 据
时， CPU 首先告知 FPGA 写入数据的内存地址，当 FPGA
数据就绪时， DMA 通道将数据搬运到该内存地址中，然
后向 CPU 发送 PCIe MSI 中断，通知 CPU 数据搬运完成，
CPU 可以通过读取 FPGA 特定的寄存器来获取搬运数
据的实际长度。
本方案采纳的是一种改进的 XDMA 方式 [7] ，该方法
的 核 心 思 想 是 使 用 数 据 描 述 符 链 表 来 控 制 CPU 与
FPGA 之间的 PCIe 数据收发与同步。 XDMA 数据描述
符如图 2 所示，数据描述的长度为固定的 32 B ，存储数
据描述符的缓冲区地址要保持与 CPU 缓存行对齐，保
证内存吞吐效率最优。描述符中存储了 DMA 通道需要
搬运数据的长度、数据的源地址（从 CPU 向 FPGA 搬运
数据时使用） / 目的地址（从 FPGA 向 CPU 搬运数据时使
用）；控制字字段包括数据搬运完成标志位，用于标识数
据搬运的状态。描述符之间通过下一个相邻描述符地
址字段连接成单向链表，链表中最后一个描述符的该字
段为空，作为链表尾部标识。 CPU 在接收和发送数据前
按需准备好数据描述符链表，并把链表首个描述符的地
址设置到 FPGA 的 XDMA 寄存器中。
信迈提供龙芯+FPGA国产化解决方案。