网络与 DPU 中科新远技术团队

ConnectX-6 Dx 升级 ConnectX-7 前要看什么:速率、PCIe 与软件基线

从业务瓶颈、端口速率、PCIe、服务器卡型、线缆、驱动固件和验收说明 ConnectX-6 Dx 升级 ConnectX-7 的判断方法。

ConnectX-6 Dx 升级 ConnectX-7 前要看什么:速率、PCIe 与软件基线

从 ConnectX-6 Dx 升级到 ConnectX-7,不是简单替换一张更高速的网卡。新网卡能否发挥作用,取决于服务器 PCIe、交换机端口、线缆、主机拓扑和软件栈;如果当前瓶颈在存储、CPU 或拥塞配置,换卡后业务可能没有明显变化。

升级评估应从现网证据开始,再绑定具体 OPN 比较。系列级参数只能筛选方向,卡型、端口、协议、默认速率、挡板、散热和正式支持必须回到具体物料。

先确认现网瓶颈是否在网卡

采集端口利用率、RDMA 吞吐与时延、CPU、PCIe、队列、丢包、ECN/PFC 和业务通信占比。端口长期空闲而 GPU 等待数据时,应同时检查存储和作业模型。

若现有网卡已受 PCIe 降宽、NUMA 跨越或服务器插槽共享限制,新卡安装在同一位置可能复现问题。先修正拓扑再比较代际。

比较端口之外的主机条件

核对目标 OPN 的 PCIe 代际与宽度、卡型、端口数、功耗、散热和辅助供电,并取得服务器厂商支持确认。能够物理插入不等于正式兼容。

服务器若不能提供匹配的 PCIe 带宽,端口速率提升会受主机侧限制。多卡节点还要重新检查 GPU/NIC 绑定和 NUMA 对称性。

交换机与链路可能需要同步变更

列出交换机型号、端口模式、模块或线缆 OPN、距离、协议和 FEC。旧链路能连接 ConnectX-6 Dx,不代表支持 ConnectX-7 的目标速率或封装。

如果交换机暂不升级,可以评估新卡按现有速率运行的过渡方案,但要确认官方支持、自动协商和未来切换步骤,避免采购无法复用的介质。

软件迁移按受控基线进行

记录现有操作系统、内核、驱动、固件、RDMA 组件、容器和通信库,核对目标网卡支持组合。不要在同一维护窗口同时升级网卡、交换机、内核和业务镜像。

先在代表性服务器安装目标 OPN,验证设备识别、PCIe、端口、RDMA、拥塞和业务。升级失败时要有换回旧卡与恢复配置的路径。

用业务收益确定替换范围

比较升级前后的单流、多流、NCCL、训练步时或推理吞吐,并记录功耗、温度和错误。只展示峰值链路带宽不足以支持全量替换。

可按瓶颈最明显的训练池先升级,通用计算或低网络利用节点保留原卡。最终范围由业务收益、停机窗口和介质复用共同决定。

常见问题

ConnectX-7 能否直接使用 ConnectX-6 Dx 现有的所有线缆和交换机端口?
不能统一判断。要核对两张卡的具体 OPN、目标速率、端口封装、协议、FEC、交换机模式和线缆 OPN,并用样链路验证。

Copyright © 2011-2026 北京中科新远科技有限公司 版权所有  Sitemap 备案号:京ICP备19012332号-2