Accelerate documentation

FSDP1 so với FSDP2

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FSDP1 so với FSDP2

Hướng dẫn này giải thích các điểm khác biệt chính giữa FSDP1 và FSDP2 và giúp bạn chuyển đổi mã hiện có sang sử dụng FSDP2 với ít thay đổi nhất.

FSDP2 tốt hơn FSDP1 như thế nào?

Trước tiên, chúng ta cần hiểu cách FSDP1 và FSDP2 hoạt động bên trong để nắm bắt sự khác biệt giữa chúng. Điều này cũng giúp chúng ta hiểu được các hạn chế của FSDP1 và cách FSDP2 giải quyết chúng.

Chúng ta sẽ thảo luận về một kịch bản trong đó có một Layer duy nhất chứa 3 lớp Linear và được bọc bằng FSDP để chia nhỏ trên 2 GPU.

Layer

FSDP1

Trước tiên, chúng ta cần hiểu FSDP1 gốc và những hạn chế mà nó mang lại. Nó biểu diễn mỗi module FSDP dưới dạng một FlatParameter duy nhất, tức là một tensor 1 chiều chứa tất cả các tham số của module, sau đó được chia nhỏ (shard) trên các rank. Nghĩa là, nếu bạn bọc Layer bằng FSDP1, bạn sẽ đạt được kết quả như sau:

FSDP1

Bạn có thể nhận thấy một vấn đề. Toàn bộ Layer bị làm phẳng thành một FlatParameter duy nhất, sau đó được chia nhỏ trên các rank. Nhưng nếu đó chỉ là một đối tượng FlatParameter duy nhất, làm thế nào chúng ta lưu trữ được metadata? Đó là một trong những hạn chế. Việc lưu trữ đúng metadata cho từng tham số như dtype, requires_grad, v.v. là không thể thực hiện được mà không cần đến một số cách xử lý cồng kềnh.

FSDP2

Đây là lý do FSDP2 được giới thiệu. Nó không sử dụng FlatParameter, thay vào đó nó sử dụng DTensor, viết tắt của “Distributed Tensor” (Tensor phân tán). Mỗi DTensor về cơ bản đại diện cho một torch.Tensor thông thường đã được chia nhỏ (shard) trên các rank. Nó chứa các metadata về torch.Tensor gốc và cách nó được chia nhỏ, loại placement là gì, v.v. Đây là lý do nó được gọi là per-parameter sharding. Hình sau minh họa sự khác biệt:

FSDP2

Mỗi Parameter của Layer gốc được chia nhỏ theo chiều thứ 0 và phân tách giữa 2 GPU. Bây giờ, mỗi lớp Linear là một DTensor riêng biệt và việc lưu trữ metadata cho từng parameter là khả thi và đơn giản.

Trong hình trên, các tensor được chia nhỏ theo chiều thứ nhất để hình vừa với màn hình, trên thực tế, chúng được chia nhỏ theo chiều thứ 0 như đã nêu ở trên

FSDP2 cung cấp những gì?

FSDP2 là phiên bản mới và được cải tiến của API huấn luyện song song dữ liệu phân mảnh hoàn toàn của PyTorch. Lợi thế chính của nó là sử dụng DTensor để biểu diễn các tham số đã phân mảnh. So với FSDP1, nó cung cấp:

  • Triển khai nội bộ đơn giản hơn, trong đó mỗi Parameter là một DTensor riêng biệt
  • Cho phép đóng băng một phần tham số một cách đơn giản nhờ vào các yếu tố trên, giúp các phương pháp như LORA hoạt động ngay lập tức
  • Với DTensor, FSDP2 hỗ trợ trộn lẫn fp8 và các loại tham số khác trong cùng một mô hình ngay từ đầu
  • Checkpoint nhanh hơn và đơn giản hơn mà không cần thêm giao tiếp giữa các rank bằng cách sử dụng SHARDED_STATE_DICT và torch.distributed.checkpoint, theo cách này, mỗi rank chỉ lưu shard của riêng nó cùng với metadata tương ứng
  • Để tải, nó sử dụng state_dict của mô hình phân mảnh để tải trực tiếp các tham số phân mảnh
  • Hỗ trợ checkpoint bất đồng bộ, trong đó các tham số trước tiên được sao chép vào bộ nhớ CPU, sau đó luồng chính tiếp tục huấn luyện trong khi một luồng khác lưu các tham số xuống đĩa
  • Hiệu quả bộ nhớ và mức sử dụng bộ nhớ tất định, FSDP2 không còn sử dụng recordStream nữa mà sử dụng đồng bộ hóa giữa các luồng (để biết thêm chi tiết kỹ thuật, xem bài đăng trên diễn đàn này và vấn đề này)
  • Trong tương lai, các tối ưu hóa cho các mẫu giao tiếp thông qua torch.compile sẽ được lên kế hoạch, nhằm cải thiện thêm hiệu suất và hiệu quả sử dụng bộ nhớ

Sự khác biệt về API

Chúng ta đã thảo luận về các khác biệt bên trong, bây giờ hãy cùng xem xét những khác biệt mà bạn, với tư cách là người dùng, cần phải biết.

Dưới đây là những thay đổi chính trong các tùy chọn cấu hình khi sử dụng FSDP2 thông qua CLI accelerate:

Trước đó (FSDP1)Mới (FSDP2)Những gì đã thay đổi
--fsdp_sharding_strategy--fsdp_reshard_after_forwardthay thế --fsdp_sharding_strategy, được đổi thành true (trước đây là FULL_SHARD) hoặc false (trước đây là SHARD_GRAD_OP)
--fsdp_backward_prefetch**ĐÃ XÓA**FSDP2 mặc định sử dụng tùy chọn BACKWARD_PRE trước đó, vì chỉ tùy chọn này cho phép chồng chéo giữa truyền thông và tính toán
--fsdp_forward_prefetch**CHƯA ĐƯỢC TRIỂN KHAI**Cách triển khai điều này đang được thảo luận tích cực, hiện tại nó chưa được hỗ trợ trong FSDP2
--fsdp_sync_module_states**ĐÃ XÓA**với FSDP2, tham số này trở nên thừa
--fsdp_cpu_ram_efficient_loading--fsdp_cpu_ram_efficient_loadingnếu true, FSDP2 cũng sẽ chỉ tải mô hình trên rank 0, sau đó các tham số sẽ được đồng bộ hóa sang các rank khác, đây là hành vi giống hệt với FSDP1, tuy nhiên, việc đặt --fsdp_sync_module_states không còn cần thiết nữa
--fsdp_state_dict_type--fsdp_state_dict_typeLOCAL_STATE_DICT trở nên lỗi thời và với FSDP2, SHARDED_STATE_DICT là tùy chọn mặc định, giúp không phát sinh thêm giao tiếp và mỗi rank tự lưu shard của mình; một tùy chọn khác có thể là FULL_STATE_DICT, gây ra thêm giao tiếp và tăng đột biến mức sử dụng bộ nhớ nhưng lưu toàn bộ mô hình từ rank 0.
--fsdp_use_orig_params**ĐÃ XÓA**FSDP2 sử dụng lớp DTensor ở phía sau, điều này có nghĩa là nó luôn sử dụng các tham số gốc theo mặc định
**MỚI**--fsdp_version1 là tùy chọn mặc định, để không làm hỏng mã hiện có, hãy đặt thành 2 để sử dụng FSDP2

Đối với tất cả các tùy chọn khác không thay đổi, hãy xem tài liệu FSDP.

Cách chuyển sang FSDP2

Nếu sử dụng mã Python:

Chỉ cần đặt fsdp_version=2 khi tạo plugin của bạn và thay thế các tùy chọn theo bảng ở trên.

from accelerate import FullyShardedDataParallelPlugin, Accelerator

fsdp_plugin = FullyShardedDataParallelPlugin(
    fsdp_version=2
    # other options...
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)

Nếu sử dụng cấu hình YAML:

Sử dụng công cụ chuyển đổi của chúng tôi:

accelerate to-fsdp2 --config_file config.yaml --output_file new_config.yaml

Điều này sẽ tự động chuyển đổi tất cả các cài đặt FSDP1 sang tương đương của FSDP2. Sử dụng --overwrite để cập nhật tệp hiện có thay vì tạo một tệp mới.

Update on GitHub