Accelerate documentation
FSDP1 so với FSDP2
FSDP1 so với FSDP2
Hướng dẫn này giải thích các điểm khác biệt chính giữa FSDP1 và FSDP2 và giúp bạn chuyển đổi mã hiện có sang sử dụng FSDP2 với ít thay đổi nhất.
FSDP2 tốt hơn FSDP1 như thế nào?
Trước tiên, chúng ta cần hiểu cách FSDP1 và FSDP2 hoạt động bên trong để nắm bắt sự khác biệt giữa chúng. Điều này cũng giúp chúng ta hiểu được các hạn chế của FSDP1 và cách FSDP2 giải quyết chúng.
Chúng ta sẽ thảo luận về một kịch bản trong đó có một Layer duy nhất chứa 3 lớp Linear và được bọc bằng FSDP để chia nhỏ trên 2 GPU.

FSDP1
Trước tiên, chúng ta cần hiểu FSDP1 gốc và những hạn chế mà nó mang lại. Nó biểu diễn mỗi module FSDP dưới dạng một FlatParameter duy nhất, tức là một tensor 1 chiều chứa tất cả các tham số của module, sau đó được chia nhỏ (shard) trên các rank. Nghĩa là, nếu bạn bọc Layer bằng FSDP1, bạn sẽ đạt được kết quả như sau:

Bạn có thể nhận thấy một vấn đề. Toàn bộ Layer bị làm phẳng thành một FlatParameter duy nhất, sau đó được chia nhỏ trên các rank. Nhưng nếu đó chỉ là một đối tượng FlatParameter duy nhất, làm thế nào chúng ta lưu trữ được metadata? Đó là một trong những hạn chế. Việc lưu trữ đúng metadata cho từng tham số như dtype, requires_grad, v.v. là không thể thực hiện được mà không cần đến một số cách xử lý cồng kềnh.
FSDP2
Đây là lý do FSDP2 được giới thiệu. Nó không sử dụng FlatParameter, thay vào đó nó sử dụng DTensor, viết tắt của “Distributed Tensor” (Tensor phân tán). Mỗi DTensor về cơ bản đại diện cho một torch.Tensor thông thường đã được chia nhỏ (shard) trên các rank. Nó chứa các metadata về torch.Tensor gốc và cách nó được chia nhỏ, loại placement là gì, v.v. Đây là lý do nó được gọi là per-parameter sharding. Hình sau minh họa sự khác biệt:

Mỗi Parameter của Layer gốc được chia nhỏ theo chiều thứ 0 và phân tách giữa 2 GPU. Bây giờ, mỗi lớp Linear là một DTensor riêng biệt và việc lưu trữ metadata cho từng parameter là khả thi và đơn giản.
Trong hình trên, các tensor được chia nhỏ theo chiều thứ nhất để hình vừa với màn hình, trên thực tế, chúng được chia nhỏ theo chiều thứ 0 như đã nêu ở trên
FSDP2 cung cấp những gì?
FSDP2 là phiên bản mới và được cải tiến của API huấn luyện song song dữ liệu phân mảnh hoàn toàn của PyTorch. Lợi thế chính của nó là sử dụng DTensor để biểu diễn các tham số đã phân mảnh. So với FSDP1, nó cung cấp:
- Triển khai nội bộ đơn giản hơn, trong đó mỗi
Parameterlà mộtDTensorriêng biệt - Cho phép đóng băng một phần tham số một cách đơn giản nhờ vào các yếu tố trên, giúp các phương pháp như
LORAhoạt động ngay lập tức - Với
DTensor,FSDP2hỗ trợ trộn lẫnfp8và các loại tham số khác trong cùng một mô hình ngay từ đầu - Checkpoint nhanh hơn và đơn giản hơn mà không cần thêm giao tiếp giữa các rank bằng cách sử dụng
SHARDED_STATE_DICTvàtorch.distributed.checkpoint, theo cách này, mỗi rank chỉ lưu shard của riêng nó cùng với metadata tương ứng - Để tải, nó sử dụng
state_dictcủa mô hình phân mảnh để tải trực tiếp các tham số phân mảnh - Hỗ trợ checkpoint bất đồng bộ, trong đó các tham số trước tiên được sao chép vào bộ nhớ CPU, sau đó luồng chính tiếp tục huấn luyện trong khi một luồng khác lưu các tham số xuống đĩa
- Hiệu quả bộ nhớ và mức sử dụng bộ nhớ tất định,
FSDP2không còn sử dụngrecordStreamnữa mà sử dụng đồng bộ hóa giữa các luồng (để biết thêm chi tiết kỹ thuật, xem bài đăng trên diễn đàn này và vấn đề này) - Trong tương lai, các tối ưu hóa cho các mẫu giao tiếp thông qua
torch.compilesẽ được lên kế hoạch, nhằm cải thiện thêm hiệu suất và hiệu quả sử dụng bộ nhớ
Sự khác biệt về API
Chúng ta đã thảo luận về các khác biệt bên trong, bây giờ hãy cùng xem xét những khác biệt mà bạn, với tư cách là người dùng, cần phải biết.
Dưới đây là những thay đổi chính trong các tùy chọn cấu hình khi sử dụng FSDP2 thông qua CLI accelerate:
Trước đó (FSDP1) | Mới (FSDP2) | Những gì đã thay đổi |
|---|---|---|
--fsdp_sharding_strategy | --fsdp_reshard_after_forward | thay thế --fsdp_sharding_strategy, được đổi thành true (trước đây là FULL_SHARD) hoặc false (trước đây là SHARD_GRAD_OP) |
--fsdp_backward_prefetch | **ĐÃ XÓA** | FSDP2 mặc định sử dụng tùy chọn BACKWARD_PRE trước đó, vì chỉ tùy chọn này cho phép chồng chéo giữa truyền thông và tính toán |
--fsdp_forward_prefetch | **CHƯA ĐƯỢC TRIỂN KHAI** | Cách triển khai điều này đang được thảo luận tích cực, hiện tại nó chưa được hỗ trợ trong FSDP2 |
--fsdp_sync_module_states | **ĐÃ XÓA** | với FSDP2, tham số này trở nên thừa |
--fsdp_cpu_ram_efficient_loading | --fsdp_cpu_ram_efficient_loading | nếu true, FSDP2 cũng sẽ chỉ tải mô hình trên rank 0, sau đó các tham số sẽ được đồng bộ hóa sang các rank khác, đây là hành vi giống hệt với FSDP1, tuy nhiên, việc đặt --fsdp_sync_module_states không còn cần thiết nữa |
--fsdp_state_dict_type | --fsdp_state_dict_type | LOCAL_STATE_DICT trở nên lỗi thời và với FSDP2, SHARDED_STATE_DICT là tùy chọn mặc định, giúp không phát sinh thêm giao tiếp và mỗi rank tự lưu shard của mình; một tùy chọn khác có thể là FULL_STATE_DICT, gây ra thêm giao tiếp và tăng đột biến mức sử dụng bộ nhớ nhưng lưu toàn bộ mô hình từ rank 0. |
--fsdp_use_orig_params | **ĐÃ XÓA** | FSDP2 sử dụng lớp DTensor ở phía sau, điều này có nghĩa là nó luôn sử dụng các tham số gốc theo mặc định |
| **MỚI** | --fsdp_version | 1 là tùy chọn mặc định, để không làm hỏng mã hiện có, hãy đặt thành 2 để sử dụng FSDP2 |
Đối với tất cả các tùy chọn khác không thay đổi, hãy xem tài liệu FSDP.
Cách chuyển sang FSDP2
Nếu sử dụng mã Python:
Chỉ cần đặt fsdp_version=2 khi tạo plugin của bạn và thay thế các tùy chọn theo bảng ở trên.
from accelerate import FullyShardedDataParallelPlugin, Accelerator
fsdp_plugin = FullyShardedDataParallelPlugin(
fsdp_version=2
# other options...
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)Nếu sử dụng cấu hình YAML:
Sử dụng công cụ chuyển đổi của chúng tôi:
accelerate to-fsdp2 --config_file config.yaml --output_file new_config.yaml
Điều này sẽ tự động chuyển đổi tất cả các cài đặt FSDP1 sang tương đương của FSDP2. Sử dụng --overwrite để cập nhật tệp hiện có thay vì tạo một tệp mới.