在将系统配置为使用支持 RDMA 的以太网端口进行节点间通信之前,请考虑以下建议。
在配置支持 RDMA 的以太网端口以进行节点间通信时,请采用以下建议:
- 为用于节点间通信的端口和用于主机连接的端口分配不同的子网。对于使用支持 RDMA 的以太网端口实现的节点间通信,系统中所有节点的物理端口标识都必须匹配,并且必须位于同一子网中。
- 使用双冗余交换机配置以避免在以太网连接中发生单点故障。
- 在系统中的节点上配置支持 RDMA 的以太网端口之前,请验证所有交换机上是否支持 RDMA。
- 确保往返时间 (RTT) 最长为 80 毫秒且未发生任何丢包情况。
- 尽可能使用虚拟 LAN 为不相关系统建立物理网络隔离。必须为用于节点间通信的所有端口分配一个 VLAN 标识,而用于主机连接的端口必须具有不同的 VLAN 标识。如果计划使用 VLAN 建立这种隔离,那么必须先在网络中的所有以太网交换机上配置 VLAN 支持,然后才能在系统中的节点上定义支持 RDMA 的以太网端口。在网络中的每个交换机上,将 VLAN 设置为中继方式,并指定将位于同一 VLAN 中的 RDMA 端口的 VLAN 标识。此外,如果需要更新支持 RDMA 的以太网端口的 VLAN 设置,那么不能独立于其他配置设置来更新这些设置。在更新支持 RDMA 的特定以太网端口的 VLAN 设置之前,必须取消配置该端口,对交换机配置进行任何必要的更改,然后在系统中的每个节点上重新配置支持 RDMA 的以太网端口。
- 不属于当前所配置系统的所有系统都必须以物理方式与以太网光纤网隔离。可以配置不同的 VLAN 来实现系统间的隔离。
- 验证网络上的 IP 地址配置,以确保未指定重复的 IP 地址。
- 如果在网络配置中使用防火墙,请确保针对 TCP 端口 21455 和 UDP 端口 21451 和 21452 开放了流量。支持 RDMA 的以太网端口将 TCP 端口 21455 用于数据流量,而将 UDP 端口 21451 和 21452 用于系统上的服务发现。此外,支持 RDMA 的以太网端口使用因特网组管理协议 (IGMP) 进行组多点广播通信以便发现服务,因此请确保在防火墙上已启用 IGMP 流量来实现冗余站点配置。
- 为每个节点上每个支持 RDMA 的独立以太网端口分配具有不同子网的 IP 地址,以便系统可以根据其连接到的目标 IP 地址来选择唯一路径。
- 支持 RDMA 的以太网端口可用于节点间通信和主机连接;但是,主机通信和节点间通信不能共享支持 RDMA 的以太网端口。与外部存储器的连接不能使用支持 RDMA 的端口。外部存储器的主机连接和虚拟化还支持各种其他协议。
- 对于 HyperSwap 配置,请确保交换机间链路的数量足以支持节点间的 RDMA 连接。使用可在故障场景(例如,单站点故障、高速镜像连接或站点之间的卷镜像)中的站点之间流动的峰值流量,确定系统所需的交换机间链路数。
对于使用支持 RDMA 的以太网端口进行节点间通信的系统,存在以下限制: