Accelerate documentation

Utilitários do DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitários do DeepSpeed

DeepSpeedPlugin

get_active_deepspeed_plugin

accelerate.utils.get_active_deepspeed_plugin

< >

( state )

Exceções

ValueError

  • ValueError — Se o DeepSpeed não estiver habilitado e esta função for chamada.

Retorna o DeepSpeedPlugin atualmente ativo.

classe accelerate.DeepSpeedPlugin

< >

( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )

Parâmetros

  • hf_ds_config (Any, padrão None) — Caminho para o arquivo de configuração do DeepSpeed, um dicionário ou um objeto da classe accelerate.utils.deepspeed.HfDeepSpeedConfig.
  • gradient_accumulation_steps (int, padrão None) — Número de passos para acumular gradientes antes de atualizar os estados do otimizador. Se não for definido, usará o valor do Accelerator diretamente.
  • gradient_clipping (float, padrão None) — Ativa o recorte de gradiente com o valor especificado.
  • zero_stage (int, padrão None) — As opções possíveis são 0, 1, 2, 3. O padrão será obtido da variável de ambiente.
  • is_train_batch_min (bool, padrão True) — Se ambos os dataloaders de treino e avaliação forem especificados, este parâmetro determinará o train_batch_size.
  • offload_optimizer_device (str, padrão None) — As opções possíveis são none|cpu|nvme. Aplicável apenas com os Estágios 2 e 3 do ZeRO.
  • offload_param_device (str, padrão None) — As opções possíveis são none|cpu|nvme. Aplicável apenas com ZeRO Stage 3.
  • offload_optimizer_nvme_path (str, padrão None) — As opções possíveis são /nvme|/local_nvme. Aplicável apenas com ZeRO Stage 3.
  • offload_param_nvme_path (str, padrão None) — As opções possíveis são /nvme|/local_nvme. Aplicável apenas com ZeRO Stage 3.
  • zero3_init_flag (bool, padrão None) — Indica se o modelo de 16 bits deve ser salvo. Aplicável apenas com ZeRO Stage-3.
  • zero3_save_16bit_model (bool, padrão None) — Flag para indicar se o modelo de 16 bits deve ser salvo. Aplicável apenas com ZeRO Stage-3.
  • transformer_moe_cls_names (str, padrão None) — Lista separada por vírgulas dos nomes das classes de camadas MoE do Transformers (sensível a maiúsculas e minúsculas). Por exemplo, MixtralSparseMoeBlock, Qwen2MoeSparseMoeBlock, JetMoEAttention, JetMoEBlock, etc.

Este plugin é usado para integrar o DeepSpeed.

deepspeed_config_process

< >

( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )

Processe a configuração do DeepSpeed com os valores dos kwargs.

selecionar

< >

( _from_accelerator_state: bool = False )

Define o HfDeepSpeedWeakref para usar a configuração atual do plugin deepspeed

classe accelerate.utils.DummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )

Parâmetros

  • optimizer (torch.optim.optimizer.Optimizer) — O otimizador a ser encapsulado.
  • total_num_steps (int, opcional) — Número total de etapas.
  • warmup_num_steps (int, opcional) — Número de etapas para o aquecimento.
  • lr_scheduler_callable (callable, opcional) — Uma função chamável que cria um LR Scheduler. Ela aceita apenas um argumento optimizer.
  • **kwargs (argumentos de palavra-chave adicionais, opcional) — Outros argumentos.

O agendador fictício apresenta os parâmetros do modelo ou os grupos de parâmetros; isso é usado principalmente para seguir o loop de treinamento convencional quando a configuração do agendador é especificada no arquivo de configuração do DeepSpeed.

DeepSpeedEnginerWrapper

classe accelerate.utils.DeepSpeedEngineWrapper

< >

( engine )

Parâmetros

  • engine (deepspeed.runtime.engine.DeepSpeedEngine) — deepspeed engine a ser encapsulado

Wrapper interno para deepspeed.runtime.engine.DeepSpeedEngine. Isso é usado para seguir o loop de treinamento convencional.

get_global_grad_norm

< >

( )

Obtenha a norma global do gradiente do mecanismo DeepSpeed.

DeepSpeedOptimizerWrapper

classe accelerate.utils.DeepSpeedOptimizerWrapper

< >

( optimizer )

Parâmetros

  • optimizer (torch.optim.optimizer.Optimizer) — O otimizador a ser encapsulado.

Wrapper interno para um otimizador deepspeed.

DeepSpeedSchedulerWrapper

classe accelerate.utils.DeepSpeedSchedulerWrapper

< >

( scheduleroptimizers )

Parâmetros

  • scheduler (torch.optim.lr_scheduler.LambdaLR) — O scheduler a ser encapsulado.
  • optimizers (um ou uma lista de torch.optim.Optimizer) —

Wrapper interno em torno de um agendador do DeepSpeed.

DummyOptim

classe accelerate.utils.DummyOptim

< >

( paramslr = 0.001weight_decay = 0**kwargs )

Parâmetros

  • lr (float) — Taxa de aprendizado.
  • params (iterável) — iterável de parâmetros a serem otimizados ou dicionários definindo grupos de parâmetros
  • weight_decay (float) — Decaimento do peso.
  • **kwargs (argumentos de palavra-chave adicionais, opcional) — Outros argumentos.

O otimizador fictício apresenta os parâmetros do modelo ou os grupos de parâmetros; ele é usado principalmente para seguir o loop de treinamento convencional quando a configuração do otimizador é especificada no arquivo de configuração do DeepSpeed.

DummyScheduler

Update on GitHub