Accelerate documentation
FSDP1 与 FSDP2
FSDP1 与 FSDP2
本指南介绍了FSDP1与FSDP2之间的主要区别,并帮助您以最小的改动将现有代码迁移到使用FSDP2。
FSDP2 比 FSDP1 好在哪里?
首先,我们希望了解 FSDP1 和 FSDP2 的内部工作原理,以理解它们之间的差异。这也有助于我们理解 FSDP1 的局限性,以及 FSDP2 如何解决这些问题。
我们将讨论一种场景:其中包含一个 Layer,该层包含 3 个 Linear 层,并使用 FSDP 进行封装,以便在 2 个 GPU 上进行分片。

FSDP1
首先,我们需要理解原始的 FSDP1 及其带来的局限性。它将每个 FSDP 模块表示为单个 FlatParameter,这是一个包含该模块所有参数的单个一维张量,随后这些参数会在各个 rank 之间进行分片。也就是说,如果你用 FSDP1 来包装 Layer,你将得到类似如下结构:

你可能会注意到一个问题。整个 Layer 会被展平为一个单一的 FlatParameter,然后该参数会在各个 rank 之间进行分片。但如果它只是一个 FlatParameter 对象,我们该如何存储元数据?这是其局限性之一。如果不采用一些丑陋的变通方法,就无法妥善地存储诸如 dtype、requires_grad 等每个参数各自的元数据。
FSDP2
这正是引入 FSDP2 的原因。它不使用 FlatParameter,而是使用 DTensor(“Distributed Tensor”的缩写)。每个 DTensor 基本上代表一个跨 rank 分片的普通 torch.Tensor。它包含有关原始 torch.Tensor 及其分片方式的元数据,例如 placement type 等。这就是它被称为 per-parameter sharding 的原因。下图展示了二者的区别:

原始 Layer 的每个 Parameter 都在第 0 维上进行分片,并分布在 2 个 GPU 之间。现在,每个 Linear 层都是一个独立的 DTensor,因此按参数存储元数据是可行且直接的。
在上面的图中,为了便于图像在屏幕上显示,张量沿第 1 维进行了分片;实际上,如上所述,它们是沿第 0 维进行分片的
FSDP2 提供了哪些功能?
FSDP2 是 PyTorch 全分片数据并行训练 API 的全新改进版本。其主要优势在于使用 DTensor 来表示分片参数。与 FSDP1 相比,它提供了:
- 更简洁的内部实现,其中每个
Parameter都是一个独立的DTensor - 得益于上述特性,可以简单地冻结部分参数,从而使
LORA等方法开箱即用 - 使用
DTensor,FSDP2开箱即支持在同一模型中混合使用fp8和其他参数类型 - 使用
SHARDED_STATE_DICT和torch.distributed.checkpoint实现更快、更简单的检查点保存,无需在 rank 之间进行额外通信,这样每个 rank 只需保存自己的分片及相应的元数据 - 在加载时,它使用分片模型的
state_dict来直接加载分片参数 - 支持异步检查点,即先将参数复制到 CPU 内存,随后主线程继续训练,同时另一个线程将参数存储到磁盘
- 内存效率以及确定性的内存使用,
FSDP2不再使用recordStream,而是采用流到流的同步(更多技术细节请参见此论坛帖子和此 issue) - 未来,计划通过
torch.compile优化通信模式,以进一步提升性能和内存效率。
API 差异
我们已经讨论了内部差异,现在来谈谈你作为用户需要了解的那些差异。
通过 accelerate CLI 使用 FSDP2 时,配置选项的主要更改如下:
上一个(FSDP1) | 新增(FSDP2) | 变更内容 |
|---|---|---|
--fsdp_sharding_strategy | --fsdp_reshard_after_forward | 取代了 --fsdp_sharding_strategy,更改为 true(之前为 FULL_SHARD)或 false(之前为 SHARD_GRAD_OP) |
--fsdp_backward_prefetch | **已移除** | FSDP2 默认使用之前的 BACKWARD_PRE 选项,因为只有该选项才能实现通信与计算的重叠 |
--fsdp_forward_prefetch | **尚未实现** | 如何实现此功能目前仍在积极讨论中,FSDP2 暂不支持。 |
--fsdp_sync_module_states | **已移除** | 使用 FSDP2 时,此参数变得多余 |
--fsdp_cpu_ram_efficient_loading | --fsdp_cpu_ram_efficient_loading | 如果 true,FSDP2 同样会仅在 rank 0 上加载模型,然后将参数同步到其他 rank,这与 FSDP1 的行为相同,但不再需要设置 --fsdp_sync_module_states |
--fsdp_state_dict_type | --fsdp_state_dict_type | LOCAL_STATE_DICT 已弃用,在 FSDP2 中,SHARDED_STATE_DICT 是默认选项,它不会产生额外的通信开销,且每个 rank 仅保存自己的分片;另一个可选方案是 FULL_STATE_DICT,它会产生额外的通信开销并导致内存使用量激增,但会从 rank 0 保存完整的模型。 |
--fsdp_use_orig_params | **已移除** | FSDP2 在底层使用 DTensor 类,这意味着它默认始终使用原始参数 |
| **全新** | --fsdp_version | 1 是默认选项,为避免破坏现有代码,请设置为 2 以使用 FSDP2 |
对于所有其他保持不变的选项,请参阅 FSDP 文档。
如何切换到 FSDP2
如果使用 Python 代码:
只需在创建插件时设置 fsdp_version=2,并根据上表替换相应选项。
from accelerate import FullyShardedDataParallelPlugin, Accelerator
fsdp_plugin = FullyShardedDataParallelPlugin(
fsdp_version=2
# other options...
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)如果使用 YAML 配置:
使用我们的转换工具:
accelerate to-fsdp2 --config_file config.yaml --output_file new_config.yaml
这将自动将所有 FSDP1 设置转换为对应的 FSDP2 设置。使用 --overwrite 可更新现有文件,而不是创建新文件。