将系统配置为使用支持 RDMA 的以太网端口进行节点到节点通信

系统支持使用以太网协议的节点到节点连接,这些协议支持远程直接存储器存取 (RDMA) 技术,如 RDMA over Converged Ethernet (RoCE) 或 iWARP。要使用这些协议,系统要求在每个节点上安装一个支持 RDMA 的适配器和仅为节点到节点通信配置支持 RDMA 的专用以太网端口。

通过 RDMA 技术(如 RoCE 和 iWARP),支持 RDMA 的适配器可以在节点之间直接传输数据,绕过 CPU 和高速缓存,从而加快传输速度。相比于传统 iSCSI 连接,RDMA 技术可更快进行连接且处理时间更短。

先决条件

节点之间使用的所有支持 RDMA 的以太网端口都需要以下先决条件:
  • 节点硬件的所有安装已完成。
  • 在每个节点上安装支持 RDMA 技术的 25-Gbps 以太网适配器。 如果是使用 RDMA 技术进行节点到节点通信,请确保支持 RDMA 的适配器使用同一技术,如 RoCE 或 iWARP。这些支持 RDMA 的适配器必须安装在系统所有节点上的相同插槽中。这些安装需求确保端口标识在系统中的所有节点上都相同。
  • 正确连接了每个节点之间的以太网电缆。
  • 源和目标适配器上的协议技术相同。
  • 可访问本地和远程 IP 地址。
  • 支持 RDMA 的以太网端口的每个 IP 地址及其关联子网掩码在每个节点上都唯一。
  • 不得将路由器放置在使用支持 RDMA 的以太网端口进行节点到节点通信的节点之间。
  • 本地和远程适配器上的协商速度相同。
  • 本地和远程端口虚拟 LAN 标识相同。尽可能使用虚拟 LAN 为不相关系统建立物理网络隔离。必须为用于节点间通信的所有端口分配一个 VLAN 标识,而用于主机连接的端口必须具有不同的 VLAN 标识。如果计划使用 VLAN 建立这种隔离,那么必须先在网络中的所有以太网交换机上配置 VLAN 支持,然后才能在系统中的节点上定义支持 RDMA 的以太网端口。在网络中的每个交换机上,将 VLAN 设置为中继方式,并指定将位于同一 VLAN 中的 RDMA 端口的 VLAN 标识。此外,如果需要更新支持 RDMA 的以太网端口的 VLAN 设置,那么不能独立于其他配置设置来更新这些设置。在更新支持 RDMA 的特定以太网端口的 VLAN 设置之前,必须取消配置该端口,对交换机配置进行任何必要的更改,然后在系统中的每个节点上重新配置支持 RDMA 的以太网端口。
  • 节点到节点通信至少需要两个支持 RDMA 的专用以太网端口,以确保最佳性能和可靠性。这些端口只能配置为用于节点间流量,不能用于主机连接、以太网连接的外部存储器的虚拟化或 IP 复制流量。
  • 节点到节点通信最多允许每个节点有 4 个支持 RDMA 的以太网端口。

下图描绘使用支持 RDMA 的以太网端口进行节点到节点通信的系统的示例配置。该配置使用环境和网络配置的先决条件和建议。在此示例中,系统中所有节点上的端口 1 和 2(紫色)都配置用于节点到节点通信,而端口 3 和 4(红色)则用于主机连接。所有节点上的端口 1 和 2 与所有节点上的端口 3 和 4 位于不同的子网中,以将节点到节点流量与主机流量分隔开来。所有端口都连接到两个用于相应路由流量的冗余 100-GB 交换机。

Figure 1. 配置具有支持 RDMA 的连接的系统
配置具有支持 RDMA 的以太网端口的系统

使用服务助手和管理 GUI

要创建使用支持 RDMA 的以太网端口的系统,请完成以下步骤:
定义系统中每个节点上所有支持 RDMA 的以太网端口的所有 IP 地址
通过完成以下步骤,使用服务助手 GUI 以定义每个节点上的端口 IP 地址:
  1. 在支持的浏览器中,输入系统中一个节点的服务 IP 地址。
  2. 在服务助手 GUI 中,选择其中一个节点,然后选择更改节点 IP
  3. 更改节点 IP 面板上,选择端口以定义 IP 地址,然后单击修改
  4. 输入所选支持 RDMA 的以太网端口的 IP 地址、子网掩码、网关和 VLAN 标识。
    Note: 每个端口的 IP 地址和子网掩码都必须唯一,并且不能在系统上的其他任何位置使用。 但是,所有节点上支持 RDMA 的以太网端口的 VLAN 标识都必须相同,否则使用这些 IP 地址的节点之间的连接将失败。配置支持 RDMA 的以太网端口时,请勿超过节点到节点通信的最大端口数(四个)。
  5. 单击保存
  6. 针对所选节点的每个支持 RDMA 的以太网端口重复这些步骤。 根据系统中的节点数,最多可以配置 8 个支持 RDMA 的以太网端口,其中每个节点具有两个端口。这些端口必须专用于节点间通信,不能用于主机连接、以太网连接的外部存储器的虚拟化或 IP 复制。
  7. 在配置第一个节点的所有 IP 地址后,从下拉列表中选择另一个节点,然后选择执行
  8. 针对系统中的其他节点,重复步骤 #svc_config_ethconnect/step2_define#svc_config_ethconnect/step6_define。更新第二个节点后,可使用管理 GUI 将其添加到系统。
将节点添加到系统
使用管理 GUI,通过完成以下步骤将节点添加到系统:
  1. 选择监控 > 系统
  2. 系统操作菜单中选择添加节点
  3. 在将节点添加到系统后,在系统 - 概述页面上验证节点的状态是否为联机。如果节点列为脱机或者如果发生错误,那么选择监控 > 事件以查看错误消息,或者选择设置 > 网络 > 以太网连接以查看节点的端口连接,找出可能的连接问题。您还可以使用 satask ping 命令对节点之间的连接问题进行故障诊断。此页面显示节点之间的连接状态。如果存在连接问题,那么将提供错误数据信息以帮助确定导致问题的原因:

使用命令行界面

要创建使用支持 RDMA 的以太网端口的系统,请完成以下步骤:
  1. 要定义支持 RDMA 的以太网端口的端口 IP 地址,请在系统内每个节点的每个端口上输入以下命令:
    satask chnodeip  -ip ip_address -mask mask -gw gateway -port_id port_number -vlan vlanid panel_name
    其中,ip_address 是其端口标识 (port_number) 和节点名称 (panel_name) 所标识的端口的 IP 地址。通过为支持 RDMA 的以太网端口上的每个 IP 地址指定同一 vlanid,确保所有端口都在同一 VLAN 中。
    Note: 每个端口的 IP 地址和子网掩码都必须唯一,并且不能在系统上的其他任何位置使用。 但是,所有节点上支持 RDMA 的以太网端口的 VLAN 标识都必须相同,否则使用这些 IP 地址的节点之间的连接将失败。
  2. 要向系统添加节点,请完成以下步骤:
    1. 通过输入以下命令,确保将节点列为候选节点:
      svcinfo lsnodecandidate
      在显示的结果中,验证 id 参数是否显示节点的 WWNN。如果检测不到该节点,请验证节点的连线。
    2. 输入以下命令以确定必须添加节点的 I/O 组:
      lsiogrp
    3. 记录节点计数为零的第一个 I/O 组的名称或标识。 您在后续步骤中需要该名称或标识。
      Note: 必须对添加的第一个节点执行此步骤。不必对节点对中的第二个节点执行此步骤,因为它使用相同的 I/O 组号。
    4. 输入此命令以将节点添加到系统中:
      addnode -wwnodename WWNN -iogrp iogrp_name -name new_name_arg
      其中 WWNN 是节点的 WWNN,iogrp_name 是要添加节点的 I/O 组的名称,而 new_name_arg 是要分配给节点的名称。如果未指定新的节点名称,那么将分配缺省名称。
  3. 通过输入以下命令,验证使用支持 RDMA 的以太网端口的节点之间的连接:
    sainfo lsnodeipconnectivity
    在显示的结果中,值 Status:Connected 指示成功连接。Status:Discovered 的值指示已配置所选节点上的端口,但无法建立连接。如果发生连接错误,那么将在 error_data 参数中显示这些错误的可能原因。 有关这些错误状态的描述,请参阅管理 GUI 指示信息。您还可以使用 satask ping 命令对节点之间的连接问题进行故障诊断。