系统支持使用以太网协议的节点到节点连接,这些协议支持远程直接存储器存取 (RDMA) 技术,如 RDMA over Converged Ethernet (RoCE) 或 iWARP。要使用这些协议,系统要求在每个节点上安装一个支持 RDMA 的适配器和仅为节点到节点通信配置支持 RDMA 的专用以太网端口。如果系统当前使用光纤通道端口,那么可迁移到支持 RDMA 的以太网端口以进行节点到节点通信。
通过 RDMA 技术(如 RoCE 和 iWARP),支持 RDMA 的适配器可以在节点之间直接传输数据,绕过 CPU 和高速缓存,从而加快传输速度。相比于传统 iSCSI 连接,RDMA 技术可更快进行连接且处理时间更短。
节点之间使用的所有支持 RDMA 的以太网端口都需要以下先决条件:
- 节点硬件的所有安装已完成。
- 在每个节点上安装支持 RDMA 技术的 25-Gbps 以太网适配器。
如果是使用 RDMA 技术进行节点到节点通信,请确保支持 RDMA 的适配器使用同一技术,如 RoCE 或 iWARP。这些支持 RDMA 的适配器必须安装在系统所有节点上的相同插槽中。这些安装需求确保端口标识在系统中的所有节点上都相同。
- 正确连接了每个节点之间的以太网电缆。
- 源和目标适配器上的协议技术相同。
- 可访问本地和远程 IP 地址。
- 支持 RDMA 的以太网端口的每个 IP 地址及其关联子网掩码在每个节点上都唯一。
- 不得将路由器放置在使用支持 RDMA 的以太网端口进行节点到节点通信的节点之间。
- 本地和远程适配器上的协商速度相同。
- 本地和远程端口虚拟 LAN 标识相同。尽可能使用虚拟 LAN 为不相关系统建立物理网络隔离。必须为用于节点间通信的所有端口分配一个 VLAN 标识,而用于主机连接的端口必须具有不同的 VLAN 标识。如果计划使用 VLAN 建立这种隔离,那么必须先在网络中的所有以太网交换机上配置 VLAN 支持,然后才能在系统中的节点上定义支持 RDMA 的以太网端口。在网络中的每个交换机上,将 VLAN 设置为中继方式,并指定将位于同一 VLAN 中的 RDMA 端口的 VLAN 标识。此外,如果需要更新支持 RDMA 的以太网端口的 VLAN 设置,那么不能独立于其他配置设置来更新这些设置。在更新支持 RDMA 的特定以太网端口的 VLAN 设置之前,必须取消配置该端口,对交换机配置进行任何必要的更改,然后在系统中的每个节点上重新配置支持 RDMA 的以太网端口。
- 节点到节点通信至少需要两个支持 RDMA 的专用以太网端口,以确保最佳性能和可靠性。这些端口只能配置为用于节点间流量,不能用于主机连接、以太网连接的外部存储器的虚拟化或 IP 复制流量。
- 节点到节点通信最多允许每个节点有 4 个支持 RDMA 的以太网端口。
使用服务助手和管理 GUI
要从光纤通道端口迁移到支持 RDMA 的以太网端口以进行节点到节点通信,请完成以下步骤:
- 在所有光纤通道连接的节点上,将软件升级到 8.2.1 发行版。
- 在升级所有节点后,登录到服务助手 GUI 并完成以下步骤:
- 使用受支持的浏览器,输入 https://ip_address/service,其中 ip_address 是系统的管理 IP 地址。
- 在主页上,选择不是系统配置节点的节点。如果不知道节点是否为配置节点,请选择节点,然后查看节点详细信息选项卡上的信息。
- 在选择节点后,从操作菜单中选择关闭电源,单击执行。
- 在节点完成电源关闭后,需要在节点上安装 25 Gbps 以太网适配器。使用 25 Gbps 以太网适配器的安装指示信息以完成此步骤。
- 通过在服务助手 GUI 中完成以下步骤,配置适配器上支持 RDMA 的以太网端口的 IP 地址:
- 在服务助手 GUI 中,选择已关闭电源的节点,然后选择更改节点 IP。
- 在更改节点 IP 面板上,选择端口以定义 IP 地址,然后单击修改。
- 输入所选支持 RDMA 的以太网端口的 IP 地址、子网掩码、网关和 VLAN 标识。
Note: 每个端口的 IP 地址和子网掩码都必须唯一,并且不能在系统上的其他任何位置使用。
但是,所有节点上支持 RDMA 的以太网端口的 VLAN 标识都必须相同,否则使用这些 IP 地址的节点之间的连接将失败。
- 单击 Save。
- 针对与节点相关联的所有支持 RDMA 的以太网端口重复这些步骤。
- 在更新所有支持 RDMA 的以太网端口后,通过在管理 GUI 中完成以下步骤将节点添加到系统:
- 选择。
- 从系统操作菜单中选择添加节点。
- 在将节点添加到系统后,在系统 - 概述页面上验证节点的状态是否为联机。如果节点列为脱机或者如果发生错误,那么选择以查看错误消息,或者选择以查看节点的端口连接,找出可能的连接问题。您还可以使用 satask ping 命令对节点之间的连接问题进行故障诊断。此页面显示节点之间的连接状态。如果存在连接问题,那么将提供错误数据信息以帮助确定导致问题的原因:
- 在每个节点上重复步骤 #svc_icmigrateiser/step2_power_gui 到 #svc_icmigrateiser/step4_ports_gui,直至所有节点都配置有支持 RDMA 的以太网端口为止。
- 通过完成以下步骤,逐个关闭系统中剩余的每个节点的电源:
- 使用受支持的浏览器,输入 https://ip_address/service,其中,ip_address 是系统的管理 IP 地址。
- 在主页上,选择不是系统配置节点的节点。如果不知道节点是否为配置节点,请选择节点,然后查看节点详细信息选项卡上的信息。
- 在选择节点后,从操作菜单中选择关闭电源,单击执行。
节点需要完全关闭电源,然后才能关闭下一个节点的电源。
- 对于节点上的所有光纤通道适配器,使用对应于从其迁移的光纤通道适配器类型的相应移除过程。
- 确保主机现在可连接到节点。
使用命令行界面
- 在所有光纤通道连接的节点上,将软件升级至 8.2.1 发行版。
- 在不是系统的当前配置节点的节点上,输入以下命令:
satask stopnode -poweroff
- 在节点完成电源关闭后,需要在节点上安装 25 Gbps 以太网适配器。使用 25 Gbps 以太网适配器的安装指示信息以完成此步骤。
- 要在命令行中定义支持 RDMA 的以太网端口的 IP 地址,请完成以下步骤:
- 要定义支持 RDMA 的以太网端口的端口 IP 地址,请在系统内每个节点的每个端口上输入以下命令:
satask chnodeip -ip ip_address -mask mask -gw gateway -port_id port_number -vlan vlanid panel_name
其中,ip_address 是其端口标识 (port_number) 和节点名称 (panel_name) 所标识的端口的 IP 地址。通过为支持 RDMA 的以太网端口上的每个 IP 地址指定同一 vlanid,确保所有端口都在同一 VLAN 中。Note: 每个端口的 IP 地址和子网掩码都必须唯一,并且不能在系统上的其他任何位置使用。
但是,所有节点上支持 RDMA 的以太网端口的 VLAN 标识都必须相同,否则使用这些 IP 地址的节点之间的连接将失败。
- 要向系统添加节点,请完成以下步骤:
- 通过输入以下命令,确保将节点列为候选节点:
svcinfo lsnodecandidate
在显示的结果中,验证 id 参数是否显示节点的 WWNN。如果检测不到该节点,请验证节点的连线。
- 输入以下命令以确定必须添加节点的 I/O 组:
lsiogrp
- 记录节点计数为零的第一个 I/O 组的名称或标识。 您在后续步骤中需要该名称或标识。
Note: 必须对添加的第一个节点执行此步骤。不必对节点对中的第二个节点执行此步骤,因为它使用相同的 I/O 组号。
- 输入此命令以将节点添加到系统中:
addnode -wwnodename WWNN -iogrp iogrp_name -name new_name_arg
其中 WWNN 是节点的 WWNN,iogrp_name 是要添加节点的 I/O 组的名称,而 new_name_arg 是要分配给节点的名称。如果未指定新的节点名称,那么将分配缺省名称。
- 通过输入以下命令,验证使用支持 RDMA 的以太网端口的节点之间的连接:
sainfo lsnodeipconnectivity
在显示的结果中,值 Status:Connected 指示成功连接。Status:Discovered 的值指示已配置所选节点上的端口,但无法建立连接。如果发生连接错误,那么将在 error_data 参数中显示这些错误的可能原因。
有关这些错误状态的描述,请参阅管理 GUI 指示信息。您还可以使用 satask ping 命令对节点之间的连接问题进行故障诊断。
- 在每个节点上重复步骤 #svc_icmigrateiser/step2_cli_power 到 #svc_icmigrateiser/step4_ports_cli,直至所有节点都配置有支持 RDMA 的以太网端口为止。
- 通过输入以下命令,逐个关闭系统中剩余的每个节点的电源:
satask stopnode -poweroff
每个节点需要完全关闭电源,然后才能在另一个节点上发出此命令。