系统支持使用以太网协议的节点到节点连接,这些协议支持远程直接存储器存取 (RDMA) 技术,如 RDMA over Converged Ethernet (RoCE) 或 iWARP。要使用这些协议,系统要求在每个节点上安装一个支持 RDMA 的适配器和仅为节点到节点通信配置支持 RDMA 的专用以太网端口。
通过 RDMA 技术(如 RoCE 和 iWARP),支持 RDMA 的适配器可以在节点之间直接传输数据,绕过 CPU 和高速缓存,从而加快传输速度。相比于传统 iSCSI 连接,RDMA 技术可更快进行连接且处理时间更短。
节点之间使用的所有支持 RDMA 的以太网端口都需要以下先决条件:
- 节点硬件的所有安装已完成。
- 在每个节点上安装支持 RDMA 技术的 25-Gbps 以太网适配器。
如果是使用 RDMA 技术进行节点到节点通信,请确保支持 RDMA 的适配器使用同一技术,如 RoCE 或 iWARP。这些支持 RDMA 的适配器必须安装在系统所有节点上的相同插槽中。这些安装需求确保端口标识在系统中的所有节点上都相同。
- 正确连接了每个节点之间的以太网电缆。
- 源和目标适配器上的协议技术相同。
- 可访问本地和远程 IP 地址。
- 支持 RDMA 的以太网端口的每个 IP 地址及其关联子网掩码在每个节点上都唯一。
- 不得将路由器放置在使用支持 RDMA 的以太网端口进行节点到节点通信的节点之间。
- 本地和远程适配器上的协商速度相同。
- 本地和远程端口虚拟 LAN 标识相同。尽可能使用虚拟 LAN 为不相关系统建立物理网络隔离。必须为用于节点间通信的所有端口分配一个 VLAN 标识,而用于主机连接的端口必须具有不同的 VLAN 标识。如果计划使用 VLAN 建立这种隔离,那么必须先在网络中的所有以太网交换机上配置 VLAN 支持,然后才能在系统中的节点上定义支持 RDMA 的以太网端口。在网络中的每个交换机上,将 VLAN 设置为中继方式,并指定将位于同一 VLAN 中的 RDMA 端口的 VLAN 标识。此外,如果需要更新支持 RDMA 的以太网端口的 VLAN 设置,那么不能独立于其他配置设置来更新这些设置。在更新支持 RDMA 的特定以太网端口的 VLAN 设置之前,必须取消配置该端口,对交换机配置进行任何必要的更改,然后在系统中的每个节点上重新配置支持 RDMA 的以太网端口。
- 节点到节点通信至少需要两个支持 RDMA 的专用以太网端口,以确保最佳性能和可靠性。这些端口只能配置为用于节点间流量,不能用于主机连接、以太网连接的外部存储器的虚拟化或 IP 复制流量。
- 节点到节点通信最多允许每个节点有 4 个支持 RDMA 的以太网端口。
对于节点间的光纤通道连接和基于 RDMA 的连接,基本节点任务(例如,添加节点或移除节点)是相同的,但在完成节点级别管理任务之前,可能需要在支持 RDMA 的以太网端口上完成一些管理操作。
在节点上完成与支持 RDMA 的以太网端口相关的管理任务之前,请使用以下最佳实践来管理这些端口:
- 如果已将系统配置为使用支持 RDMA 的以太网端口,那么在添加、移除或更新支持 RDMA 的以太网端口的设置之前,必须确保有一条冗余路径可用。
- 一次仅添加、移除或更新一个支持 RDMA 的以太网端口的设置。在更新支持 RDMA 的其他以太网端口之前,请在这些更改之间等待 15 秒。
- 如果要使用虚拟 LAN 建立物理网络隔离,请确保在完成管理相关任务时遵循以下附加准则:
- 不能独立于支持 RDMA 的以太网端口的其他设置(如 IP 地址)来更新或添加 VLAN 标识。
- 在添加或更新支持 RDMA 的以太网端口的 VLAN 标识信息之前,必须在网络中的所有以太网交换机上配置 VLAN 支持。例如,在每个交换机上,将 VLAN 设置为“中继”方式,并指定将位于同一 VLAN 中的支持 RDMA 的以太网端口的 VLAN 标识。