在节点之间从光纤通道连接迁移到以太网 RDMA 连接

系统支持使用以太网协议的节点到节点连接,这些协议支持远程直接存储器存取 (RDMA) 技术,如 RDMA over Converged Ethernet (RoCE) 或 iWARP。要使用这些协议,系统要求在每个节点上安装一个支持 RDMA 的适配器和仅为节点到节点通信配置支持 RDMA 的专用以太网端口。如果系统当前使用光纤通道端口,那么可迁移到支持 RDMA 的以太网端口以进行节点到节点通信。

通过 RDMA 技术(如 RoCE 和 iWARP),支持 RDMA 的适配器可以在节点之间直接传输数据,绕过 CPU 和高速缓存,从而加快传输速度。相比于传统 iSCSI 连接,RDMA 技术可更快进行连接且处理时间更短。

节点之间使用的所有支持 RDMA 的以太网端口都需要以下先决条件:

使用服务助手和管理 GUI

要从光纤通道端口迁移到支持 RDMA 的以太网端口以进行节点到节点通信,请完成以下步骤:
  1. 在所有光纤通道连接的节点上,将软件升级到 8.2.1 发行版。
  2. 在升级所有节点后,登录到服务助手 GUI 并完成以下步骤:
    1. 使用受支持的浏览器,输入 https://ip_address/service,其中 ip_address 是系统的管理 IP 地址。
    2. 主页上,选择不是系统配置节点的节点。如果不知道节点是否为配置节点,请选择节点,然后查看节点详细信息选项卡上的信息。
    3. 在选择节点后,从操作菜单中选择关闭电源,单击执行
  3. 在节点完成电源关闭后,需要在节点上安装 25 Gbps 以太网适配器。使用 25 Gbps 以太网适配器的安装指示信息以完成此步骤。
  4. 通过在服务助手 GUI 中完成以下步骤,配置适配器上支持 RDMA 的以太网端口的 IP 地址:
    1. 在服务助手 GUI 中,选择已关闭电源的节点,然后选择更改节点 IP
    2. 更改节点 IP 面板上,选择端口以定义 IP 地址,然后单击修改
    3. 输入所选支持 RDMA 的以太网端口的 IP 地址、子网掩码、网关和 VLAN 标识。
      Note: 每个端口的 IP 地址和子网掩码都必须唯一,并且不能在系统上的其他任何位置使用。 但是,所有节点上支持 RDMA 的以太网端口的 VLAN 标识都必须相同,否则使用这些 IP 地址的节点之间的连接将失败。
    4. 单击 Save
    5. 针对与节点相关联的所有支持 RDMA 的以太网端口重复这些步骤。
  5. 在更新所有支持 RDMA 的以太网端口后,通过在管理 GUI 中完成以下步骤将节点添加到系统:
    1. 选择监控 > 系统
    2. 系统操作菜单中选择添加节点
    3. 在将节点添加到系统后,在系统 - 概述页面上验证节点的状态是否为联机。如果节点列为脱机或者如果发生错误,那么选择监控 > 事件以查看错误消息,或者选择设置 > 网络 > 以太网连接以查看节点的端口连接,找出可能的连接问题。您还可以使用 satask ping 命令对节点之间的连接问题进行故障诊断。此页面显示节点之间的连接状态。如果存在连接问题,那么将提供错误数据信息以帮助确定导致问题的原因:
  6. 在每个节点上重复步骤 #svc_icmigrateiser/step2_power_gui#svc_icmigrateiser/step4_ports_gui,直至所有节点都配置有支持 RDMA 的以太网端口为止。
  7. 通过完成以下步骤,逐个关闭系统中剩余的每个节点的电源:
    1. 使用受支持的浏览器,输入 https://ip_address/service,其中,ip_address 是系统的管理 IP 地址。
    2. 主页上,选择不是系统配置节点的节点。如果不知道节点是否为配置节点,请选择节点,然后查看节点详细信息选项卡上的信息。
    3. 在选择节点后,从操作菜单中选择关闭电源,单击执行
    节点需要完全关闭电源,然后才能关闭下一个节点的电源。
  8. 对于节点上的所有光纤通道适配器,使用对应于从其迁移的光纤通道适配器类型的相应移除过程。
  9. 确保主机现在可连接到节点。

使用命令行界面

  1. 在所有光纤通道连接的节点上,将软件升级至 8.2.1 发行版。
  2. 在不是系统的当前配置节点的节点上,输入以下命令:
    satask stopnode -poweroff
  3. 在节点完成电源关闭后,需要在节点上安装 25 Gbps 以太网适配器。使用 25 Gbps 以太网适配器的安装指示信息以完成此步骤。
  4. 要在命令行中定义支持 RDMA 的以太网端口的 IP 地址,请完成以下步骤:
    1. 要定义支持 RDMA 的以太网端口的端口 IP 地址,请在系统内每个节点的每个端口上输入以下命令:
      satask chnodeip  -ip ip_address -mask mask -gw gateway -port_id port_number -vlan vlanid panel_name
      其中,ip_address 是其端口标识 (port_number) 和节点名称 (panel_name) 所标识的端口的 IP 地址。通过为支持 RDMA 的以太网端口上的每个 IP 地址指定同一 vlanid,确保所有端口都在同一 VLAN 中。
      Note: 每个端口的 IP 地址和子网掩码都必须唯一,并且不能在系统上的其他任何位置使用。 但是,所有节点上支持 RDMA 的以太网端口的 VLAN 标识都必须相同,否则使用这些 IP 地址的节点之间的连接将失败。
    2. 要向系统添加节点,请完成以下步骤:
      1. 通过输入以下命令,确保将节点列为候选节点:
        svcinfo lsnodecandidate
        在显示的结果中,验证 id 参数是否显示节点的 WWNN。如果检测不到该节点,请验证节点的连线。
      2. 输入以下命令以确定必须添加节点的 I/O 组:
        lsiogrp
      3. 记录节点计数为零的第一个 I/O 组的名称或标识。 您在后续步骤中需要该名称或标识。
        Note: 必须对添加的第一个节点执行此步骤。不必对节点对中的第二个节点执行此步骤,因为它使用相同的 I/O 组号。
      4. 输入此命令以将节点添加到系统中:
        addnode -wwnodename WWNN -iogrp iogrp_name -name new_name_arg
        其中 WWNN 是节点的 WWNN,iogrp_name 是要添加节点的 I/O 组的名称,而 new_name_arg 是要分配给节点的名称。如果未指定新的节点名称,那么将分配缺省名称。
    3. 通过输入以下命令,验证使用支持 RDMA 的以太网端口的节点之间的连接:
      sainfo lsnodeipconnectivity
      在显示的结果中,值 Status:Connected 指示成功连接。Status:Discovered 的值指示已配置所选节点上的端口,但无法建立连接。如果发生连接错误,那么将在 error_data 参数中显示这些错误的可能原因。 有关这些错误状态的描述,请参阅管理 GUI 指示信息。您还可以使用 satask ping 命令对节点之间的连接问题进行故障诊断。
  5. 在每个节点上重复步骤 #svc_icmigrateiser/step2_cli_power#svc_icmigrateiser/step4_ports_cli,直至所有节点都配置有支持 RDMA 的以太网端口为止。
  6. 通过输入以下命令,逐个关闭系统中剩余的每个节点的电源:
    satask stopnode -poweroff
    每个节点需要完全关闭电源,然后才能在另一个节点上发出此命令。