Accelerate documentation

FSDP1 与 FSDP2

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FSDP1 与 FSDP2

本指南介绍了FSDP1与FSDP2之间的主要区别,并帮助您以最小的改动将现有代码迁移到使用FSDP2。

FSDP2 比 FSDP1 好在哪里?

首先,我们希望了解 FSDP1 和 FSDP2 的内部工作原理,以理解它们之间的差异。这也有助于我们理解 FSDP1 的局限性,以及 FSDP2 如何解决这些问题。

我们将讨论一种场景:其中包含一个 Layer,该层包含 3 个 Linear 层,并使用 FSDP 进行封装,以便在 2 个 GPU 上进行分片。

Layer

FSDP1

首先,我们需要理解原始的 FSDP1 及其带来的局限性。它将每个 FSDP 模块表示为单个 FlatParameter,这是一个包含该模块所有参数的单个一维张量,随后这些参数会在各个 rank 之间进行分片。也就是说,如果你用 FSDP1 来包装 Layer,你将得到类似如下结构:

FSDP1

你可能会注意到一个问题。整个 Layer 会被展平为一个单一的 FlatParameter,然后该参数会在各个 rank 之间进行分片。但如果它只是一个 FlatParameter 对象,我们该如何存储元数据?这是其局限性之一。如果不采用一些丑陋的变通方法,就无法妥善地存储诸如 dtype、requires_grad 等每个参数各自的元数据。

FSDP2

这正是引入 FSDP2 的原因。它不使用 FlatParameter,而是使用 DTensor(“Distributed Tensor”的缩写)。每个 DTensor 基本上代表一个跨 rank 分片的普通 torch.Tensor。它包含有关原始 torch.Tensor 及其分片方式的元数据,例如 placement type 等。这就是它被称为 per-parameter sharding 的原因。下图展示了二者的区别:

FSDP2

原始 Layer 的每个 Parameter 都在第 0 维上进行分片,并分布在 2 个 GPU 之间。现在,每个 Linear 层都是一个独立的 DTensor,因此按参数存储元数据是可行且直接的。

在上面的图中,为了便于图像在屏幕上显示,张量沿第 1 维进行了分片;实际上,如上所述,它们是沿第 0 维进行分片的

FSDP2 提供了哪些功能?

FSDP2 是 PyTorch 全分片数据并行训练 API 的全新改进版本。其主要优势在于使用 DTensor 来表示分片参数。与 FSDP1 相比,它提供了:

  • 更简洁的内部实现,其中每个 Parameter 都是一个独立的 DTensor
  • 得益于上述特性,可以简单地冻结部分参数,从而使LORA等方法开箱即用
  • 使用 DTensor,FSDP2 开箱即支持在同一模型中混合使用 fp8 和其他参数类型
  • 使用 SHARDED_STATE_DICT 和 torch.distributed.checkpoint 实现更快、更简单的检查点保存,无需在 rank 之间进行额外通信,这样每个 rank 只需保存自己的分片及相应的元数据
  • 在加载时,它使用分片模型的state_dict来直接加载分片参数
  • 支持异步检查点,即先将参数复制到 CPU 内存,随后主线程继续训练,同时另一个线程将参数存储到磁盘
  • 内存效率以及确定性的内存使用,FSDP2 不再使用 recordStream,而是采用流到流的同步(更多技术细节请参见此论坛帖子和此 issue)
  • 未来,计划通过 torch.compile 优化通信模式,以进一步提升性能和内存效率。

API 差异

我们已经讨论了内部差异,现在来谈谈你作为用户需要了解的那些差异。

通过 accelerate CLI 使用 FSDP2 时,配置选项的主要更改如下:

上一个(FSDP1)新增(FSDP2)变更内容
--fsdp_sharding_strategy--fsdp_reshard_after_forward取代了 --fsdp_sharding_strategy,更改为 true(之前为 FULL_SHARD)或 false(之前为 SHARD_GRAD_OP)
--fsdp_backward_prefetch**已移除**FSDP2 默认使用之前的 BACKWARD_PRE 选项,因为只有该选项才能实现通信与计算的重叠
--fsdp_forward_prefetch**尚未实现**如何实现此功能目前仍在积极讨论中,FSDP2 暂不支持。
--fsdp_sync_module_states**已移除**使用 FSDP2 时,此参数变得多余
--fsdp_cpu_ram_efficient_loading--fsdp_cpu_ram_efficient_loading如果 true,FSDP2 同样会仅在 rank 0 上加载模型,然后将参数同步到其他 rank,这与 FSDP1 的行为相同,但不再需要设置 --fsdp_sync_module_states
--fsdp_state_dict_type--fsdp_state_dict_typeLOCAL_STATE_DICT 已弃用,在 FSDP2 中,SHARDED_STATE_DICT 是默认选项,它不会产生额外的通信开销,且每个 rank 仅保存自己的分片;另一个可选方案是 FULL_STATE_DICT,它会产生额外的通信开销并导致内存使用量激增,但会从 rank 0 保存完整的模型。
--fsdp_use_orig_params**已移除**FSDP2 在底层使用 DTensor 类,这意味着它默认始终使用原始参数
**全新**--fsdp_version1 是默认选项,为避免破坏现有代码,请设置为 2 以使用 FSDP2

对于所有其他保持不变的选项,请参阅 FSDP 文档。

如何切换到 FSDP2

如果使用 Python 代码:

只需在创建插件时设置 fsdp_version=2,并根据上表替换相应选项。

from accelerate import FullyShardedDataParallelPlugin, Accelerator

fsdp_plugin = FullyShardedDataParallelPlugin(
    fsdp_version=2
    # other options...
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)

如果使用 YAML 配置:

使用我们的转换工具:

accelerate to-fsdp2 --config_file config.yaml --output_file new_config.yaml

这将自动将所有 FSDP1 设置转换为对应的 FSDP2 设置。使用 --overwrite 可更新现有文件,而不是创建新文件。

Update on GitHub