Accelerate documentation
Bắt đầu tại đây!
Bắt đầu
Hướng dẫn
Tổng quanThêm Accelerate vào mã của bạnQuy trình thực thiĐào tạo trên TPUChạy các script AccelerateKhởi động huấn luyện phân tán từ Jupyter Notebooks
Hướng dẫn cách làm
Accelerate
Bắt đầu tại đây!Bộ ước lượng bộ nhớ mô hìnhLượng tử hóa mô hìnhTrình theo dõi thí nghiệmProfilerCheckpointingXử lý sự cốVí dụ Zoo
Huấn luyện
Gradient accumulationLocal SGDHuấn luyện độ chính xác thấp (FP8)DeepSpeedSử dụng nhiều mô hình với DeepSpeedDDP Communication HooksSong song dữ liệu phân mảnh hoàn toànMegatron-LMAmazon SageMakerGPU Apple M1Intel CPUIntel GaudiBiên dịch
Suy luận
Khái niệm và nền tảng
Cơ chế bên trong của AccelerateNạp các mô hình lớn vào bộ nhớSo sánh hiệu năng giữa các cấu hình phân tánThực thi và trì hoãn các tác vụĐồng bộ hóa gradientFSDP so với DeepSpeedFSDP1 so với FSDP2Song song ngữ cảnhSong song chuỗiCác phương pháp huấn luyện độ chính xác thấpHuấn luyện trên TPU
Tham khảo
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Bắt đầu tại đây!
Hãy sử dụng công cụ tương tác bên dưới để giúp bạn bắt đầu tìm hiểu về một tính năng cụ thể của Accelerate và cách sử dụng nó! Công cụ sẽ cung cấp cho bạn một mã diff, giải thích về những gì đang diễn ra, cũng như một số liên kết hữu ích để khám phá thêm trong tài liệu!
Hầu hết các ví dụ mã bắt đầu từ mã python sau trước khi tích hợp Accelerate theo một cách nào đó:
for batch in dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()