InfiniBand 与以太网交换机：产品定位、接口和组网边界
说明 InfiniBand 与数据中心以太网交换机在协议栈、拥塞控制、管理方式、端口规划和 AI 集群组网中的差异。
InfiniBand 交换机和数据中心以太网交换机都能提供高速端口，但它们不是只换了协议名称。两类网络在地址与转发、拥塞处理、管理工具、故障域和应用接入方式上存在系统差异。
客户选择时应从现有网络基础、应用通信栈、集群规模、运维团队和扩容路径出发。只比较端口速率或单台价格，容易忽略端到端配套和后续运营成本。
产品定位从网络体系开始
InfiniBand 是面向高性能计算和 RDMA 的完整网络体系，交换机、主机通道适配器、子网管理和通信库协同工作。它通常用于训练集群、HPC 和对低时延、高消息率及规模化通信敏感的环境。
以太网具备更广的生态和运维基础，可承载通用业务、存储以及基于 RoCE 的 RDMA。要让 RoCE 在大规模负载下稳定工作，需要对队列、ECN、PFC、路由散列和缓冲策略进行专门设计。
关键能力比较
| 维度 | InfiniBand | 数据中心以太网/RoCE |
|---|---|---|
| 生态入口 | HCA、交换机、子网管理和 HPC/AI 通信栈 | 标准以太网生态叠加 RDMA 与拥塞控制 |
| 管理重点 | Fabric 拓扑、分区、路由和链路健康 | VLAN/路由、QoS、PFC、ECN、遥测 |
| 现网融合 | 通常建设专用计算网络 | 可与数据中心以太网体系协同，但应控制故障域 |
| 适用团队 | 具备 HPC/AI Fabric 运维能力 | 具备数据中心以太网和 RoCE 调优能力 |
交换机规格要落到端口计划
产品页上的总交换容量不能替代端口计划。需要确认端口物理形态、每端口速率、是否分拆、上下行比例、交换层级、阻塞比、可用端口和冗余预留。光模块、DAC、AOC 的接口、长度和功耗也必须进入同一 BOM。
AI 集群还要把 GPU 服务器数量换算为网络端点数量。每服务器一张网卡与多张网卡、单 rail 与多 rail 会得到完全不同的交换机数量和线缆规模。扩容时不能只看空闲端口，还要看叶脊层带宽和机柜布线空间。
软件与固件要求
- 确认交换机网络操作系统或固件版本及其长期维护策略。
- 确认网卡驱动、固件、RDMA 用户态组件和通信库支持组合。
- InfiniBand 明确子网管理、分区、路由算法和监控工具。
- RoCE 明确优先级映射、PFC、ECN、DCQCN、MTU 和 QoS 模板。
- 配置变更纳入版本控制，保留基线、差异和回滚步骤。
推荐选择路径
新建专用 AI/HPC 集群、业务高度依赖 RDMA 且希望采用一致 Fabric 体系时，可以重点评估 InfiniBand。已有成熟以太网团队、需要与数据中心网络协同或希望在同一技术体系内承载多类业务时，可以评估经过完整设计的 RoCE。
普通企业以太网并不会因为启用几个参数就自动成为稳定的 RoCE 网络。反过来，InfiniBand 也不适合直接承载所有办公和通用业务。计算、存储、管理和业务网络的边界应在架构阶段确定。
测试验收与扩容
验收从物理层开始：光功率或线缆状态、端口速率、误码和链路抖动；再验证 RDMA 连通、点对点带宽、双向流量、多对多通信和长时间稳定性。最后使用 NCCL 或业务通信模式验证集群表现。
扩容验收要模拟新增机柜和新增 rail 后的路径变化，检查路由均衡、拥塞热点和管理容量。没有记录端口、线缆、固件与测试基线的网络，很难在后续扩容时快速定位差异。