GPU 服务器网卡适配：PCIe、OCP、NUMA 与固件检查方法
提供 GPU 服务器高速网卡适配检查方法，覆盖卡型、PCIe 通道、OCP、NUMA、供电散热、驱动固件和交换网络。
高速网卡能插进服务器，不等于服务器正式支持，也不等于能够跑满目标速率。GPU 服务器内部同时存在 GPU、网卡、NVMe、CPU 根端口和 PCIe 交换路径，任何共享或跨 NUMA 访问都可能影响 RDMA 和集合通信。
采购前应以具体服务器型号、机型配置和网卡料号建立适配表。只给出网卡系列名或端口速率，供应方无法准确确认挡板、插槽、功耗、固件和线缆。
第一步：确认物理与平台支持
服务器同一系列的不同机箱、CPU 数量和背板配置可能拥有不同插槽能力，因此不能从外观或系列名称推断。
- 卡型：标准 PCIe、OCP 3.0 或服务器专用形态，不能互相默认替代。
- 尺寸：全高或半高、全长或半长、单槽或双槽以及正确挡板。
- 插槽：PCIe 代际、通道宽度、CPU 归属、是否经过交换芯片以及与其他设备共享情况。
- 功耗散热：插槽供电、辅助供电、系统风道和服务器允许的热设计。
- 支持矩阵：服务器厂商是否列出准确网卡料号、固件和操作系统。
第二步：检查 GPU、CPU 与网卡拓扑
多路服务器中，每个 PCIe 插槽通常归属于特定 CPU。GPU 与网卡位于同一 NUMA 节点时，数据路径更直接；跨 CPU 访问会经过处理器互联，可能增加时延并消耗额外带宽。
应读取服务器拓扑，确认每张 GPU 对应的网卡或 SuperNIC，并检查 PCIe 实际协商速率和宽度。规划多 rail 时，还要确保各 rail 的设备映射对称。
| 检查项 | 需要的证据 | 常见风险 |
|---|---|---|
| PCIe 链路 | 实际代际与通道宽度 | 插槽降速或通道共享 |
| NUMA | GPU/NIC/CPU 拓扑 | 跨 CPU 访问和绑定错误 |
| 卡型 | 服务器选件清单和机械规格 | 挡板、OCP 或散热不匹配 |
| 固件 | 服务器、网卡和驱动支持矩阵 | 设备识别但功能不稳定 |
| 端口 | 速率、接口、分拆和对端清单 | 链路不亮或只能降速 |
第三步：把对端和线缆一起确认
网卡选择必须同时确认交换机端口、网络协议、端口速率和物理接口。InfiniBand、以太网和 VPI 能力不能仅从接口外形判断；OSFP、QSFP 等封装也不代表通道和速率自动兼容。
BOM 应逐链路记录 A 端网卡、B 端交换机、模块或线缆、长度和端口配置。需要分拆时，把分拆方式和每个子端口写清楚。
驱动、固件和操作系统
确认服务器支持的操作系统和内核，再确定网卡驱动、固件与 RDMA 用户态组件。驱动最新并不一定最适合，服务器厂商认证分支、网络功能和业务软件支持应共同考虑。
固件升级前保存当前版本、配置和回滚包，并在同配置验证节点测试。网卡固件、交换机固件和主机驱动的大跨度混用，容易出现功能存在但行为不一致的情况。
采购信息怎么提供
- 服务器厂商、完整型号、CPU 数量、GPU 数量和当前插槽占用。
- 目标网络是 InfiniBand、RoCE 还是普通以太网，以及每端口目标速率。
- 网卡数量、单/双端口、PCIe/OCP 形态和是否需要多 rail。
- 交换机型号、端口形态、机柜位置、链路距离和线缆偏好。
- 操作系统、内核、驱动、固件、CUDA/通信库及变更限制。
到货验收与不适合场景
到货后核对料号、卡型和挡板，安装后检查 PCIe 链路、NUMA、端口、固件、温度和错误计数，再执行点对点带宽、RDMA 与业务测试。验收结果要绑定插槽位置，换槽后需重新确认。
如果服务器厂商没有支持该卡型，或插槽带宽、供电和散热无法满足，就不应以“可以识别”为理由用于生产。确需非标准组合时，应明确验证范围、备件和责任边界。