Tham số

• checkpoint_dir (str) — Thư mục chứa các checkpoint của FSDP (có thể là của model hoặc optimizer).
• output_path (str) — Đường dẫn để lưu checkpoint đã hợp nhất.
• safe_serialization (bool, tùy chọn, mặc định là True) — Có nên lưu các trọng số đã hợp nhất bằng safetensors (được khuyến nghị) hay không.
• remove_checkpoint_dir (bool, tùy chọn, mặc định là False) — Có nên xóa thư mục checkpoint sau khi gộp hay không.

Tham số

• fsdp_version (int, mặc định là 1) — Phiên bản của FSDP cần sử dụng. Mặc định là 1. Nếu đặt thành 2, launcher sẽ kỳ vọng cấu hình đã được chuyển đổi sang định dạng FSDP2.
• sharding_strategy (Union[str, torch.distributed.fsdp.ShardingStrategy], mặc định là 'FULL_SHARD') — Chiến lược sharding cần sử dụng. Phải là một str hoặc một instance của torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy. Đã bị ngừng khuyến khích, thay thế bằng reshard_after_forward.
• reshard_after_forward (Union[str, torch.distributed.fsdp.ShardingStrategy, bool], mặc định là 'FULL_SHARD' cho fsdp_version=1 và True cho fsdp_version=2) — Chiến lược sharding cần sử dụng. Phải là một bool nếu fsdp_version được đặt thành 2, ngược lại phải là một str hoặc một instance của torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy.
• backward_prefetch (Union[str, torch.distributed.fsdp.BackwardPrefetch], mặc định là 'NO_PREFETCH') — Chiến lược prefetch cho quá trình backward. Phải là một str hoặc một instance của torch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch.
• mixed_precision_policy (Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]], mặc định là None) — Cấu hình để bật huấn luyện độ chính xác hỗn hợp với FullyShardedDataParallel. Nếu truyền vào một dict, nó phải có các khóa sau: param_dtype, reduce_dtype và buffer_dtype, có thể là một instance của torch.distributed.fsdp.MixedPrecisionPolicy nếu fsdp_version được đặt thành 2. Nếu truyền vào một str, nó phải là một trong các giá trị sau: fp8, fp16, bf16, fp32, và được dùng để đặt param_dtype, reduce_dtype và buffer_dtype.
• auto_wrap_policy (Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults to NO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one of transformer_based_wrap, size_based_wrap, or no_wrap. See torch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like.
• cpu_offload (Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy], mặc định là False) — Có nên offload tham số sang CPU hay không. Giá trị phải là bool hoặc một instance của torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffload hoặc torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicy nếu fsdp_version được đặt thành 2.
• ignored_modules (Optional[Union[Iterable[torch.nn.Module], str]], mặc định là None) — Một danh sách các module cần bỏ qua khi bọc bằng FSDP. Khi truyền một chuỗi, các module sẽ được khớp theo tên bằng cách sử dụng regex fullmatch. Nếu fsdp_version được đặt thành 2, các module sẽ được chuyển đổi thành các tham số và được sử dụng.
• state_dict_type (Union[str, torch.distributed.fsdp.StateDictType], mặc định là 'FULL_STATE_DICT') — Loại state dict cần sử dụng. Nếu là chuỗi, nó phải là một trong full_state_dict, local_state_dict hoặc sharded_state_dict.
• state_dict_config (Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig], mặc định là None) — Cấu hình state dict cần sử dụng. Nếu không được truyền vào, giá trị này sẽ được xác định dựa trên state_dict_type.
• optim_state_dict_config (Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig], mặc định là None) — Cấu hình optim state dict cần sử dụng. Nếu không được truyền vào, giá trị này sẽ được xác định dựa trên state_dict_type.
• limit_all_gathers (bool, mặc định là True) — Xác định việc FSDP có đồng bộ hóa rõ ràng luồng CPU để ngăn quá nhiều all-gathers đang chạy hay không. Giá trị bool này chỉ ảnh hưởng đến các chiến lược phân mảnh (sharded) có lịch trình all-gathers. Bật tùy chọn này có thể giúp giảm số lần thử lại (retries) của CUDA malloc.
• use_orig_params (bool, mặc định là False) — Có sử dụng các tham số gốc cho optimizer hay không.
• param_init_fn (Optional[Callable[[torch.nn.Module], None], mặc định là None) — Một Callable[torch.nn.Module] -> None quy định cách khởi tạo các module hiện đang trên thiết bị meta lên một thiết bị thực. Chỉ áp dụng khi sync_module_states là True. Mặc định là một lambda gọi to_empty trên module.
• sync_module_states (bool, mặc định là False) — Liệu mỗi đơn vị FSDP được bọc riêng lẻ có nên phát trực tiếp (broadcast) các tham số module từ rank 0 để đảm bảo chúng giống nhau trên tất cả các rank sau khi khởi tạo hay không. Mặc định là False trừ khi cpu_ram_efficient_loading là True, khi đó nó sẽ được bật bắt buộc.
• forward_prefetch (bool, mặc định là False) — Xác định việc FSDP có thực hiện prefetch (tải trước) cho phép all-gather tiếp theo trong khi thực hiện bước forward hay không. Chỉ sử dụng với đồ thị tĩnh (Static graphs).
• activation_checkpointing (bool, mặc định là False) — Một kỹ thuật để giảm mức sử dụng bộ nhớ bằng cách xóa các activation của một số lớp nhất định và tính toán lại chúng trong quá trình truyền ngược (backward pass). Về cơ bản, kỹ thuật này đánh đổi thêm thời gian tính toán để đổi lấy việc giảm mức sử dụng bộ nhớ.
• cpu_ram_efficient_loading (bool, mặc định là None) — Nếu là True, chỉ tiến trình đầu tiên tải checkpoint của model được huấn luyện trước, trong khi tất cả các tiến trình khác có trọng số rỗng. Chỉ áp dụng cho Transformers. Khi sử dụng tính năng này, sync_module_states cần được đặt là True.
• transformer_cls_names_to_wrap (Optional[List[str]], mặc định là None) — Một danh sách tên lớp của các lớp transformer cần bọc. Chỉ áp dụng khi auto_wrap_policy là transformer_based_wrap.
• min_num_params (Optional[int], mặc định là None) — Số lượng tham số tối thiểu mà một module phải có để được bọc. Chỉ áp dụng khi auto_wrap_policy là size_based_wrap.

Tham số

• accelerator (Accelerator) — Bản thể accelerator
• model (torch.nn.Module) — Mô hình để nạp state dict vào, được kỳ vọng nằm trên meta device, nếu không có thể xảy ra hiện tượng tăng đột biến VRAM
• full_sd (dict) — Trạng thái dict đầy đủ để tải, chỉ có thể nằm trên rank 0
• cpu_offload (bool, mặc định là False) — Nếu là True, di chuyển các tham số đã chia mảnh sang CPU sau khi phân phối. Bắt buộc khi bật tính năng offload CPU của FSDP.

Tham số

• optimizer (torch.optim.Optimizer) — Đối tượng Optimizer chứa các tham số của mô hình gốc
• mapping (dict) — Ánh xạ từ tham số gốc (được chỉ định bởi data_ptr) sang tham số đã chia

Tham số

• accelerator (Accelerator) — Bản thể accelerator
• model (torch.nn.Module) — Mô hình cần chuẩn bị