ConnectX-6 Dx 升级 ConnectX-7 前要看什么:速率、PCIe 与软件基线
从业务瓶颈、端口速率、PCIe、服务器卡型、线缆、驱动固件和验收说明 ConnectX-6 Dx 升级 ConnectX-7 的判断方法。

从 ConnectX-6 Dx 升级到 ConnectX-7,不是简单替换一张更高速的网卡。新网卡能否发挥作用,取决于服务器 PCIe、交换机端口、线缆、主机拓扑和软件栈;如果当前瓶颈在存储、CPU 或拥塞配置,换卡后业务可能没有明显变化。
升级评估应从现网证据开始,再绑定具体 OPN 比较。系列级参数只能筛选方向,卡型、端口、协议、默认速率、挡板、散热和正式支持必须回到具体物料。
先确认现网瓶颈是否在网卡
采集端口利用率、RDMA 吞吐与时延、CPU、PCIe、队列、丢包、ECN/PFC 和业务通信占比。端口长期空闲而 GPU 等待数据时,应同时检查存储和作业模型。
若现有网卡已受 PCIe 降宽、NUMA 跨越或服务器插槽共享限制,新卡安装在同一位置可能复现问题。先修正拓扑再比较代际。
比较端口之外的主机条件
核对目标 OPN 的 PCIe 代际与宽度、卡型、端口数、功耗、散热和辅助供电,并取得服务器厂商支持确认。能够物理插入不等于正式兼容。
服务器若不能提供匹配的 PCIe 带宽,端口速率提升会受主机侧限制。多卡节点还要重新检查 GPU/NIC 绑定和 NUMA 对称性。
交换机与链路可能需要同步变更
列出交换机型号、端口模式、模块或线缆 OPN、距离、协议和 FEC。旧链路能连接 ConnectX-6 Dx,不代表支持 ConnectX-7 的目标速率或封装。
如果交换机暂不升级,可以评估新卡按现有速率运行的过渡方案,但要确认官方支持、自动协商和未来切换步骤,避免采购无法复用的介质。
软件迁移按受控基线进行
记录现有操作系统、内核、驱动、固件、RDMA 组件、容器和通信库,核对目标网卡支持组合。不要在同一维护窗口同时升级网卡、交换机、内核和业务镜像。
先在代表性服务器安装目标 OPN,验证设备识别、PCIe、端口、RDMA、拥塞和业务。升级失败时要有换回旧卡与恢复配置的路径。
用业务收益确定替换范围
比较升级前后的单流、多流、NCCL、训练步时或推理吞吐,并记录功耗、温度和错误。只展示峰值链路带宽不足以支持全量替换。
可按瓶颈最明显的训练池先升级,通用计算或低网络利用节点保留原卡。最终范围由业务收益、停机窗口和介质复用共同决定。