Accelerate documentation
여기서 시작하세요!
시작하기
튜토리얼
가이드
Accelerate
학습
그라디언트 축적Local SGD낮은 정밀도(FP8) 학습DeepSpeedDeepSpeed를 사용하여 여러 모델 사용DDP 통신 훅Fully Sharded Data ParallelMegatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudi컴파일
추론
개념 및 기본 사항
Accelerate의 내부 메커니즘메모리에 대형 모델 로드분산 환경 간 성능 비교작업 실행 및 지연Gradient 동기화FSDP과 DeepSpeedFSDP1과 FSDP2컨텍스트 병렬성시퀀스 병렬성저정밀도 학습 방법TPU에서 학습
참고
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
여기서 시작하세요!
Accelerate의 특정 기능에 대해 배우고 이를 활용하는 방법을 익히기 위해 아래 인터랙티브 도구를 사용해 보세요! 이 도구는 코드 diff, 해당 동작에 대한 설명, 그리고 문서 내에서 더 깊이 탐구할 수 있는 유용한 링크를 제공합니다!
대부분의 코드 예제는 Accelerate를 어떤 방식으로든 통합하기 전에 다음 Python 코드로 시작합니다:
for batch in dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()