Accelerate documentation
Utilitários do DeepSpeed
Utilitários do DeepSpeed
DeepSpeedPlugin
get_active_deepspeed_plugin
accelerate.utils.get_active_deepspeed_plugin
< source >( state )
Exceções
ValueError
ValueError— Se o DeepSpeed não estiver habilitado e esta função for chamada.
Retorna o DeepSpeedPlugin atualmente ativo.
classe accelerate.DeepSpeedPlugin
< source >( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )
Parâmetros
- hf_ds_config (
Any, padrãoNone) — Caminho para o arquivo de configuração do DeepSpeed, um dicionário ou um objeto da classeaccelerate.utils.deepspeed.HfDeepSpeedConfig. - gradient_accumulation_steps (
int, padrãoNone) — Número de passos para acumular gradientes antes de atualizar os estados do otimizador. Se não for definido, usará o valor doAcceleratordiretamente. - gradient_clipping (
float, padrãoNone) — Ativa o recorte de gradiente com o valor especificado. - zero_stage (
int, padrãoNone) — As opções possíveis são 0, 1, 2, 3. O padrão será obtido da variável de ambiente. - is_train_batch_min (
bool, padrãoTrue) — Se ambos os dataloaders de treino e avaliação forem especificados, este parâmetro determinará otrain_batch_size. - offload_optimizer_device (
str, padrãoNone) — As opções possíveis são none|cpu|nvme. Aplicável apenas com os Estágios 2 e 3 do ZeRO. - offload_param_device (
str, padrãoNone) — As opções possíveis são none|cpu|nvme. Aplicável apenas com ZeRO Stage 3. - offload_optimizer_nvme_path (
str, padrãoNone) — As opções possíveis são /nvme|/local_nvme. Aplicável apenas com ZeRO Stage 3. - offload_param_nvme_path (
str, padrãoNone) — As opções possíveis são /nvme|/local_nvme. Aplicável apenas com ZeRO Stage 3. - zero3_init_flag (
bool, padrãoNone) — Indica se o modelo de 16 bits deve ser salvo. Aplicável apenas com ZeRO Stage-3. - zero3_save_16bit_model (
bool, padrãoNone) — Flag para indicar se o modelo de 16 bits deve ser salvo. Aplicável apenas com ZeRO Stage-3. - transformer_moe_cls_names (
str, padrãoNone) — Lista separada por vírgulas dos nomes das classes de camadas MoE do Transformers (sensível a maiúsculas e minúsculas). Por exemplo,MixtralSparseMoeBlock,Qwen2MoeSparseMoeBlock,JetMoEAttention,JetMoEBlock, etc.
Este plugin é usado para integrar o DeepSpeed.
deepspeed_config_process
< source >( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )
Processe a configuração do DeepSpeed com os valores dos kwargs.
Define o HfDeepSpeedWeakref para usar a configuração atual do plugin deepspeed
classe accelerate.utils.DummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )
Parâmetros
- optimizer (
torch.optim.optimizer.Optimizer) — O otimizador a ser encapsulado. - total_num_steps (int, opcional) — Número total de etapas.
- warmup_num_steps (int, opcional) — Número de etapas para o aquecimento.
- lr_scheduler_callable (callable, opcional) —
Uma função chamável que cria um LR Scheduler. Ela aceita apenas um argumento
optimizer. - **kwargs (argumentos de palavra-chave adicionais, opcional) — Outros argumentos.
O agendador fictício apresenta os parâmetros do modelo ou os grupos de parâmetros; isso é usado principalmente para seguir o loop de treinamento convencional quando a configuração do agendador é especificada no arquivo de configuração do DeepSpeed.
DeepSpeedEnginerWrapper
classe accelerate.utils.DeepSpeedEngineWrapper
< source >( engine )
Wrapper interno para deepspeed.runtime.engine.DeepSpeedEngine. Isso é usado para seguir o loop de treinamento convencional.
Obtenha a norma global do gradiente do mecanismo DeepSpeed.
DeepSpeedOptimizerWrapper
classe accelerate.utils.DeepSpeedOptimizerWrapper
< source >( optimizer )
Wrapper interno para um otimizador deepspeed.
DeepSpeedSchedulerWrapper
classe accelerate.utils.DeepSpeedSchedulerWrapper
< source >( scheduleroptimizers )
Wrapper interno em torno de um agendador do DeepSpeed.
DummyOptim
classe accelerate.utils.DummyOptim
< source >( paramslr = 0.001weight_decay = 0**kwargs )
O otimizador fictício apresenta os parâmetros do modelo ou os grupos de parâmetros; ele é usado principalmente para seguir o loop de treinamento convencional quando a configuração do otimizador é especificada no arquivo de configuração do DeepSpeed.