RoCE Leaf-Spine 的 ECMP 怎么规划：路径数量、散列与热点
说明 RoCE Leaf-Spine 网络中 ECMP 路径、路由邻接、流量散列、作业放置、拥塞遥测和故障验证的规划方法。
RoCE Leaf-Spine 网络有多条等价路径，不代表流量会自动平均分布。交换机通常按报文头字段进行散列，同一大流可能固定在一条上联；少量大象流、相似五元组或作业放置不均，都可能让某些链路拥塞而其他链路空闲。
ECMP 规划需要把路由路径、散列输入、业务流特征和拥塞控制一起看。只增加 Spine 数量而不验证散列，可能得到更多理论路径却没有更好的业务分布。
先保证路径真实等价
核对每台 Leaf 到各 Spine 的链路速率、数量、路由属性和 MTU，确保路由表实际安装预期数量的下一跳。物理连线存在但 BGP 邻接或策略不同，不会形成等价路径。
两端链路数量不对称时，应明确容量和故障影响。隐藏的不对称会在流量上升后变成固定热点。
理解业务产生多少独立流
采集训练、存储和服务流量的源/目的、端口、连接数量、消息大小和持续时间。多个并发连接更容易分散，单个长期大流则可能占据一条路径。
通信库、容器网络或 NAT 可能改变散列字段。设计时的五元组数量要用现场抓取和遥测验证，不凭应用进程数推断。
散列与拥塞控制解决不同问题
ECMP 负责把流映射到路径，ECN、PFC 和端点速率控制负责拥塞反馈。散列不均时只调 ECN 阈值，可能缓解队列却不能消除路径偏斜。
所有变更都要观察端口利用、队列、ECN 标记、PFC pause、重传和作业完成时间。单项计数下降不代表整体更好。
作业放置与路由共同优化
让强通信节点尽量位于对称 Leaf 组，可以减少跨域路径并提高可预测性。但调度器需要知道网络拓扑，节点标签和交换连接关系必须准确维护。
当多个作业并发时，应避免全部集中在同一 Leaf 或同一上联组。网络容量与调度策略需要共同进入变更评审。
用多流与故障测试验证
测试单流、多流、多对一和多个训练作业并发，观察每条 Leaf-Spine 链路分布。然后中断一条上联或一台 Spine，确认路由收敛、剩余路径和业务波动。
记录网络操作系统、散列配置、路由和工作负载。升级系统或改变封装后，原有分布结论要重新验证。
变更前保留可比较的流量快照
调整散列、路由或链路数量前，保存每条上联利用率、队列、ECN/PFC 和代表性作业时间。变更后使用相同节点与并发复测，避免只看总吞吐。
如果热点从一条链路移动到另一条链路而业务没有改善，应回到流特征和作业放置分析，不继续叠加参数。