先把直觉变成可验证的问题

两台 Jetson AGX Thor 各有多路高速以太网接口。最自然的估算是四路 10GbE 可以叠加到接近 40 Gbps,但接口数量从来不等于系统吞吐。真正需要验证的是:每条链路是否正常、并发流能否填满单口,以及多接口是否共享同一条内部数据通路。

测试顺序因此很重要。先逐接口测单链路,再在单链路增加 TCP 并发,最后才同时压四个独立接口。这样每一步都只引入一个新变量。

结果不是失败,而是边界

四条链路单独测试都达到约 9–10 Gbps,说明网口、网线和基本配置没有明显问题。两条并发时合计约 12.18 Gbps,四条并发时约 11.88 Gbps。CPU 仍有大量空闲,因此当前证据更像某个共享的 DMA、内存或 I/O 路径到达上限。

这里必须克制:吞吐形态只能支持工程假设,不能证明具体是哪一个内部部件。没有计数器和更多对照实验,就不应该把推断写成硬件结论。

  • 单口正常,不代表多口可以线性叠加。
  • 应用层看到四张网卡,不代表底层存在四条独立数据通路。
  • 框架参数不能替代端到端的并发测量。

对分布式推理的真正影响

12 Gbps 是否够用,要看跨机传输的张量,而不是看模型参数量。层切分只传递较小隐藏状态时,带宽可能绰绰有余;Prefill/Decode 分离传输 KV Cache 时,则应先计算缓存字节数、有效带宽和 prefill 时间。

这次实验带来的方法论不是“Thor 网络只有 12 Gbps”,而是把端口规格、实测吞吐和业务负载放进同一张账里。只有这样,升级互联、调整模型切分或引入多网卡框架才有明确依据。

查看完整测试数据与命令 ↗