ConnectX-7 单端口与双端口怎么选：带宽、Rail 与故障域

ConnectX-7 使用单端口还是双端口，不能只按“端口越多越好”决定。两个端口可能用于更高总带宽、双 rail、存储与计算分流或链路冗余，但它们仍共享同一块适配卡、PCIe 路径、供电和主机故障域。

真正的选择要同时回答：每台服务器需要多少独立网络端点、主机 PCIe 是否能承载目标总带宽、两个端口是否必须分属不同交换平面，以及单卡故障是否可接受。

先按逻辑网络计算端点

如果两个端口分别接入独立 rail，应在拓扑、交换机、线缆和地址或分区中保持对称，不能只在同一台交换机上占用两个端口后称为双 rail。计算网络与存储网络分流时，也要分别核算峰值和并发。

链路聚合、ECMP、多路径或通信库的多接口使用方式不同。应用是否能同时利用两个端口，需要结合协议、操作系统和软件栈验证，端口物理存在不代表带宽会自动叠加。

双端口仍受一条主机路径约束

核对具体 OPN 的 PCIe 代际、通道宽度和服务器插槽实际协商状态。两个高速端口并发时，主机侧上行、CPU 根端口或 PCIe Switch 可能先成为瓶颈。

还要检查网卡与 GPU 的 NUMA 位置。若多组 GPU 共用一张双端口卡，应验证每组到两个端口的数据路径是否对称，并在通信配置中固定接口关系。

冗余要区分链路故障与适配卡故障

双端口可以覆盖单根线缆、单个交换端口或部分上联故障，但不能覆盖整张网卡、所在 PCIe 插槽、服务器或驱动故障。要求更强隔离时，可能需要两张网卡分别连接不同根端口和交换平面。

故障模型应写入方案：允许损失多少带宽、业务是否中断、恢复由谁触发。没有故障注入测试的“双端口冗余”只是设计假设。

BOM 与验收按端口展开

询价表记录完整 OPN、端口数、协议、默认速率、卡型、挡板、线缆或模块 OPN、长度和交换机目标端口。双端口卡还要确认风道、功耗和服务器正式支持。

验收分别测试端口一、端口二和双端口并发，记录 PCIe、RDMA、错误计数、温度和 NCCL 结果。再执行单链路与单交换平面故障，确认带宽下降和恢复符合预期。

用故障域而不是端口数量下结论

单端口适合端点关系简单、每节点一条高速链路或通过多卡实现隔离的方案。双端口适合需要更密集端点或明确分流的服务器，但必须验证共享 PCIe 与单卡故障边界。

最终方案可以混合使用：核心训练节点按独立网卡构建双 rail，通用节点使用双端口卡。前提是运维能够清楚识别两种布线和故障处理方式。