【RDMA】librdmacm库和连接建立过程

翻译:rdma_cm - RDMA通信管理器。

概述:rdma_cm是用于建立RDMA传输上的通信的管理器。

说明:RDMA CM是一个用于建立可靠连接和不可靠数据报数据传输的通信管理器。它为建立连接提供了一个RDMA传输中立的接口。该API基于套接字,但为队列对(QP)的语义进行了调整:通信必须通过特定的RDMA设备进行,并且数据传输是基于消息的。

RDMA CM仅提供RDMA API的通信管理(连接建立/拆除)部分。它与libibverbs库定义的verbs API配合使用。libibverbs库提供了发送和接收数据所需的接口。

客户端操作:此部分提供了通信的主动端(或客户端)的基本操作概述。一般的连接流程如下:

  1. rdma_create_event_channel:创建接收事件的通道。

  2. rdma_create_id:分配一个rdma_cm_id,类似于socket。

  3. rdma_resolve_addr:获取本地RDMA设备以到达远程地址。

  4. rdma_get_cm_event:等待RDMA_CM_EVENT_ADDR_RESOLVED事件。

  5. rdma_ack_cm_event:确认事件。

  6. rdma_create_qp:为通信分配一个QP。

  7. rdma_resolve_route:确定到达远程地址的路由。

  8. rdma_get_cm_event:等待RDMA_CM_EVENT_ROUTE_RESOLVED事件。

  9. rdma_ack_cm_event:确认事件。

  10. rdma_connect:连接到远程服务器。

  11. rdma_get_cm_event:等待RDMA_CM_EVENT_ESTABLISHED事件。

  12. rdma_ack_cm_event:确认事件。

  13. 在连接上执行数据传输。

  14. rdma_disconnect:撤销连接。

  15. rdma_get_cm_event:等待RDMA_CM_EVENT_DISCONNECTED事件。

  16. rdma_ack_cm_event:确认事件。

  17. rdma_destroy_qp:销毁QP。

  18. rdma_destroy_id:释放rdma_cm_id。

  19. rdma_destroy_event_channel:释放事件通道。

用于在节点之间建立不可靠数据报(UD)通信的过程几乎相同。但是,QPs之间不会形成实际的连接,因此不需要断开连接。

虽然此示例显示客户端发起断开连接,但连接的任一方都可以发起断开连接。

服务器操作:此部分提供了通信的被动端(或服务器端)的基本操作概述。一般的连接流程如下:

  1. rdma_create_event_channel:创建接收事件的通道。

  2. rdma_create_id:分配一个rdma_cm_id,类似于socket。

  3. rdma_bind_addr:将本地端口号设置为监听的端口号。

  4. rdma_listen:开始监听连接请求。

  5. rdma_get_cm_event:等待带有新的rdma_cm_id的RDMA_CM_EVENT_CONNECT_REQUEST事件。

  6. rdma_create_qp:在新的rdma_cm_id上为通信分配一个QP。

  7. rdma_accept:接受连接请求。

  8. rdma_ack_cm_event:确认事件。

  9. rdma_get_cm_event:等待RDMA_CM_EVENT_ESTABLISHED事件。

  10. rdma_ack_cm_event:确认事件。

  11. 在连接上执行数据传输。

  12. rdma_get_cm_event:等待RDMA_CM_EVENT_DISCONNECTED事件。

  13. rdma_ack_cm_event:确认事件。

  14. rdma_disconnect:撤销连接。

  15. rdma_destroy_qp:销毁QP。

  16. rdma_destroy_id:释放已连接的rdma_cm_id。

  17. rdma_destroy_id:释放监听的rdma_cm_id。

  18. rdma_destroy_event_channel:释放事件通道。

返回值:成功返回0,错误返回-1。如果函数以异步方式运行,则返回值为0表示成功启动操作。操作仍然可能以错误完成;用户应该检查相关事件的状态。如果返回值为-1,则errno将包含有关失败原因的其他信息。

先前版本的库对于与ENOMEM、ENODEV、ENODATA、EINVAL和EADDRNOTAVAIL代码有关的某些情况会返回-errno并且不设置errno。希望检查这些代码并与先前版本的库兼容的应用程序必须在返回代码小于-1时手动将errno设置为返回代码的负值。

相关推荐
Tassel_YUE5 天前
SmartX分享:SMTX ZBS 中 RDMA 技术简介
分布式存储·rdma·技术分享·块存储·smartx
bandaoyu19 天前
【RDMA】RDMA read和write编程实例(verbs API)
rdma
北冥有鱼被烹1 个月前
微知-DOCA SDK中如何编译一个sample?如何运行?(meson /tmp/xxx; meson compile -C /tmp/xxx)
rdma·dpu·doca
北冥有鱼被烹1 个月前
微知-ib_write_bw的各种参数汇总(-d -q -s -R --run_infinitely)
rdma·mellanox
KIDGINBROOK4 个月前
RDMA驱动学习(一)- 用户态到内核态的过程
rdma
羌俊恩4 个月前
Linux 常见的冷知识集锦
linux·rdma·posix
我想学LINUX5 个月前
【RDMA项目】如何使用rdma-core进行调用开发一个实战项目
服务器·网络·github·客户端·rdma·rdma-core·内存访问
我想学LINUX5 个月前
RDMA 高性能架构基本原理与设计方案
linux·架构·嵌入式·rdma·系统开发·rdma设计思路·rdma基本元素架构
北冥有鱼被烹6 个月前
RDMA建链的3次握手和断链的4次挥手流程?
rdma·rdma_cm
妙BOOK言6 个月前
Rcmp: Reconstructing RDMA-Based Memory Disaggregation via CXL——论文阅读
论文阅读·cxl·rdma·内存分解