训练网络与存储网络要不要分开：流量竞争与容量边界

训练通信和数据存储可以共享一套高速网络，也可以使用独立网卡与交换平面。共享能减少设备和线缆，但集合通信、数据读取、检查点和后台复制会在相同端口与队列上竞争；物理分离则增加成本和运维对象。

选择应基于流量并发和故障影响，而不是把“高速网络”视为无限容量。模型训练的不同阶段会交替出现计算、集合通信和存储峰值，单次带宽测试无法反映相互干扰。

分别画出四类存储流量

数据集读取、检查点写入、模型或容器分发、备份复制的方向、峰值和持续时间不同。为每类流量记录源、目标、并发节点、所需完成时间和是否能限速。

训练通信则记录并行策略、消息模式和同步阶段。只有把两张时间线叠在一起，才能判断共享网络的真实竞争。

共享网络需要明确隔离机制

共享时应规划独立 VLAN/VRF、优先级、队列、路由和访问控制，并确认网卡、交换机和存储端配置一致。QoS 可以管理竞争，不能创造额外物理带宽。

PFC、ECN 或速率控制要按端到端方案验证。错误的优先级映射可能让存储流量触发训练队列暂停，或让检查点长期得不到带宽。

物理分离也要检查主机共享点

两张网卡接入两套交换机，不代表数据路径完全独立。它们可能共享 CPU 根端口、PCIe Switch、内存带宽或存储控制器，服务器内部仍会竞争。

GPU、训练网卡、存储网卡和 NVMe 的 NUMA 位置应与业务路径匹配。分离方案的价值要通过主机与网络共同测试。

故障影响决定隔离强度

共享网络的配置错误或交换机故障可能同时影响训练与检查点；物理分离可以缩小故障域，但需要独立监控、备件和维护窗口。

确定训练中断后能否从检查点恢复、存储网络不可用时作业如何退出、网络维护是否允许暂停业务。这些答案比设备数量更能决定架构。

并发压测后再决定

在目标节点数下同时运行 NCCL、数据读取和检查点写入，记录训练步时、存储吞吐、队列、丢包、拥塞标记和 GPU 等待。再加入备份或复制流量观察峰值。

共享方案若能在最坏并发下满足目标，可以保留；若必须依赖复杂限速才能稳定，应评估增加端口或分平面的运维成本。

迁移应允许分阶段共存

从共享改为分离时，可先让新节点使用独立存储平面，旧节点保留原路径，并明确路由、挂载和调度标签。一次切换全部节点会同时改变网络与数据访问，回滚困难。

从分离改为共享则先验证队列与访问控制，确认故障不会跨平面扩大。两种路径共存期间要有清晰资产和监控标识。