1. 生成式AI训练的隐藏瓶颈

在生成式AI爆发的当下，“如何更快训练大模型”几乎是所有技术团队的核心命题。长期以来，行业的解决方案高度一致——堆叠更强大的GPU芯片：从V100到A100，再到H100，算力似乎成了衡量训练效率的唯一标准。但近期UC Berkeley RISELab旗下Skypilot团队的一项实验，却颠覆了这一惯性认知：在不更换GPU、不修改训练代码的前提下，仅通过优化网络带宽和存储I/O，分布式训练速度竟提升了10倍。这一发现直指行业长期忽视的底层问题：当GPU算力足够时，数据流通与存储效率才是真正制约训练速度的“隐形天花板”。

2. Skypilot实验

Skypilot团队的实验由开发者@makneee在Nebius AI云平台上完成，其核心目标是验证“非GPU硬件”对分布式训练的影响。实验选择了生成式AI的后训练（post-training）任务，在保持GPU型号（A100）和训练代码不变的情况下，仅调整网络带宽和存储类型，最终得出了令人意外的结果。

2.1 实验配置与结果对比

实验设置了三组对比方案，具体数据如下表所示：

配置类型 GPU类型 网络带宽 (Gbps) 存储类型 训练速度提升倍数
默认基础配置 A100 10 标准云SSD 1x（基准）
仅网络优化 A100 100 标准云SSD 4x
网络+存储协同优化 A100 100 本地NVMe高速SSD 10x

数据来源：maknee.github.io/blog/2025/Network-And-Storage-Training-Skypilot/
G0la2cVaMAgvLW8
从结果可以看出，仅将网络带宽从10Gbps提升至100Gbps，训练速度就提升了4倍；而当高速网络与本地NVMe存储结合后，速度直接达到基准的10倍。这一数据彻底打破了“GPU决定一切”的固有认知——在分布式训练中，数据的“传输”与“读取”效率，可能比计算本身更关键。

2.2 为何Nebius AI平台成为实验的理想环境？

实验能实现如此显著的优化效果，离不开Nebius AI云平台的硬件特性。作为专注于AI工作负载的服务商，Nebius提供的裸金属服务器实例是关键：用户可独占物理硬件，避免虚拟化层对网络和存储性能的损耗。具体而言，其平台支持：

  • 100Gbps InfiniBand网络：低延迟、高带宽的通信链路，满足分布式节点间高频数据传输需求；
  • 本地NVMe SSD直连：存储设备直接接入PCIe 4.0总线，读写速度远超传统网络挂载的云SSD。

这些特性为“网络+存储优化”提供了硬件基础，也解释了为何实验能在相同GPU条件下实现10倍提速。

3. 技术解析

要理解网络与存储的重要性，需先明确分布式训练的基本流程。当模型规模超过单卡GPU的内存容量时，团队通常会采用“数据并行”或“模型并行”策略，将任务拆分到多台服务器上。这一过程中，两个环节对性能影响极大：节点间的参数同步（依赖网络）和数据集/检查点的读写（依赖存储）。

3.1 网络：分布式训练的“通信命脉”

在数据并行模式下，每个GPU负责训练部分数据，计算出梯度后需与其他节点同步（如通过All-Reduce算法聚合梯度）。若网络带宽不足，同步过程会出现“拥堵”：

Tip：All-Reduce算法
分布式训练中常用的梯度同步方式，简单来说，就是让每个节点将本地梯度发送给其他节点，并汇总计算全局平均梯度。这一过程的耗时与网络带宽成反比，带宽越低，等待时间越长。

假设某训练任务中，单轮计算时间（Tgpu）为10秒，而网络同步时间（Tnet）因带宽不足达到30秒，那么总时间（Ttotal=Tgpu+Tnet）就是40秒——此时网络成为瓶颈，GPU有75%的时间处于闲置状态。Skypilot实验中，网络带宽从10Gbps提升至100Gbps后，Tnet大幅缩短，GPU利用率自然随之提高。

3.2 存储：数据读取的“最后一公里”

除了节点通信，存储I/O是另一大隐形瓶颈。生成式AI训练依赖大规模数据集（如图像、文本），且需要频繁读写模型检查点（Checkpoint）——当模型参数达百亿级时，单个检查点文件可能超过100GB。

传统云存储多为“网络挂载式”（如AWS EBS、标准云SSD），数据需通过网络从远程存储节点传输到本地GPU内存，延迟较高；而本地NVMe SSD直接物理连接服务器，读写速度可达3-5GB/s（远超网络存储的数百MB/s）。实验中，将存储从“标准云SSD”替换为“本地NVMe”后，数据加载和检查点保存时间（Tio）显著减少，进一步压缩了总训练时间。

3.3 数学视角

从公式角度看，分布式训练的总时间可简化为：
Ttotal = Tgpu（计算时间） + Tnet（网络同步时间） + Tio（存储I/O时间）

传统优化仅关注Tgpu（如升级GPU型号），但当Tgpu缩短到一定程度后，Tnet和Tio的占比会越来越高。Skypilot实验证明，通过优化这两项，即使Tgpu不变，Ttotal仍可大幅降低——这正是“10倍提速”的核心逻辑。

4. 从实验到实践

实验的成功并非偶然，背后离不开Skypilot框架的技术支撑。作为UC Berkeley RISELab开发的开源工具，Skypilot的核心使命是“让AI工作负载在云平台上高效运行”，其设计理念与“网络+存储优化”高度契合。

4.1 Skypilot的核心能力：智能资源调度

Skypilot通过抽象云平台差异，为用户提供统一接口，自动完成三项关键任务：

  1. 资源匹配：根据任务需求（如网络带宽、存储类型）筛选最优云实例，例如自动选择Nebius的高带宽裸金属服务器；
  2. 配置优化：自动启用高性能网络（如InfiniBand）和本地存储，避免用户手动调试底层参数；
  3. 成本控制：在满足性能的前提下，选择性价比最高的资源组合（如竞价实例+预留存储）。

实验中@makneee正是通过Skypilot框架，快速配置了“100Gbps网络+NVMe存储”的环境，无需手动编写复杂的云平台API脚本——这也印证了Skypilot“简化优化流程”的价值。

4.2 普通用户如何落地优化？

对于没有专业运维团队的中小实验室或企业，Skypilot提供了低门槛的优化路径：

  • 明确任务瓶颈：通过Skypilot的性能分析工具，定位Tnet或Tio是否为主要瓶颈；
  • 自动资源切换：在配置文件中声明需求（如network: 100gbps、storage: nvme），框架会自动匹配支持该配置的云实例；
  • 跨平台兼容：支持AWS、GCP、Azure、Nebius等多平台，无需绑定单一服务商。

5. 行业影响：AI基础设施从“算力至上”转向“平衡架构”

Skypilot的实验结果正在重塑行业对AI基础设施的认知。长期以来，企业和研究者习惯通过“堆叠GPU”提升效率（如从8卡集群扩展到32卡），但成本随之指数级增长。而网络与存储优化提供了一条“低成本高回报”的新路径。

5.1 企业成本结构的优化

以某团队的100亿参数模型训练为例：

  • 传统方案：为缩短时间，从16卡A100集群升级到64卡，硬件成本增加3倍；
  • 优化方案：保持16卡集群，升级网络至100Gbps+本地NVMe，成本仅增加20%（云平台高带宽实例溢价），但速度提升4-10倍。

显然，优化基础设施比单纯增加GPU更具成本效益。这对资金有限的初创公司和学术机构尤其重要——无需高价采购GPU，即可通过现有资源实现效率跃升。

5.2 行业趋势：云厂商的“AI专用实例”竞赛

事实上，云服务商已开始响应这一需求。AWS推出“P4d实例”（支持400Gbps InfiniBand网络），GCP的“A2实例”标配本地NVMe存储，Nebius AI更是以“裸金属+高带宽”为核心卖点。这些产品的共同特点是：不再只强调GPU数量，而是突出“网络-存储-计算”的协同性能。

Hyperion Research的报告也指出，2024年后，“平衡架构”将成为AI基础设施的主流设计理念——即网络带宽、存储速度与GPU算力需按比例匹配，避免“一快拖三慢”。

6. 未来展望

随着生成式AI模型规模向千亿、万亿参数迈进，分布式训练将成为常态，网络与存储的重要性会进一步凸显。未来，我们可能看到：

  • 自动化优化工具普及：类似Skypilot的框架会成为标配，开发者无需关注底层配置，只需声明任务需求；
  • 专用硬件创新：针对AI训练的网络芯片（如NVIDIA BlueField）和存储加速卡将更成熟；
  • “云-边-端”协同优化：不仅云端训练，边缘设备的模型部署也将纳入基础设施优化范畴。

正如Skypilot团队所言：“GPU只是冰山一角，真正的加速藏在数据流通和存储效率的底层。”这场关于“隐藏瓶颈”的发现，或许只是AI基础设施革命的开始。

参考链接