Accelerate documentation
Pencatatan
Memulai
Tutorial
IkhtisarTambahkan Accelerate ke kode AndaProses eksekusiPelatihan TPUMeluncurkan skrip AccelerateMeluncurkan pelatihan terdistribusi dari Jupyter Notebooks
Panduan cara
Accelerate
Mulai di Sini!Perkiraan memori modelKuantisasi modelPelacak eksperimenProfilerCheckpointingPemecahan masalahContoh Zoo
Pelatihan
Akselerasi gradienLocal SGDPelatihan presisi rendah (FP8)DeepSpeedMenggunakan beberapa model dengan DeepSpeedHook Komunikasi DDPFully Sharded Data ParallelMegatron-LMAmazon SageMakerGPU Apple M1Intel CPUIntel GaudiKompilasi
Inferensi
Konsep dan dasar-dasar
Mekanisme internal AccelerateMemuat model besar ke dalam memoriMembandingkan kinerja di antara konfigurasi terdistribusiMenjalankan dan menunda tugasSinkronisasi gradienFSDP vs DeepSpeedFSDP1 vs FSDP2Paralelisme konteksParalelisme urutanMetode pelatihan presisi rendahPelatihan pada TPU
Referensi
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Pencatatan
Lihat panduan pemecahan masalah atau contoh di bawah untuk mempelajari cara menggunakan logger Accelerate.
accelerate.logging.get_logger
< source >( name: strlog_level: str | None = None )
Mengembalikan logging.Logger untuk name yang dapat menangani multiprocessing.
Jika log harus dipanggil di semua proses, berikan main_process_only=False Jika log harus dipanggil di semua proses dan secara berurutan, berikan juga in_order=True
Contoh:
>>> from accelerate.logging import get_logger
>>> from accelerate import Accelerator
>>> logger = get_logger(__name__)
>>> accelerator = Accelerator()
>>> logger.info("My log", main_process_only=False)
>>> logger.debug("My log", main_process_only=True)
>>> logger = get_logger(__name__, log_level="DEBUG")
>>> logger.info("My log")
>>> logger.debug("My second log")
>>> array = ["a", "b", "c", "d"]
>>> letter_at_rank = array[accelerator.process_index]
>>> logger.info(letter_at_rank, in_order=True)