Hugging Face's logo

PEFT documentation

LyCORIS

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.21.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LyCORIS

LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) sont des adaptateurs de décomposition de matrices semblables à LoRA qui modifient la couche d’attention croisée du UNet. Les méthodes LoHa et LoKr héritent des classes Lycoris présentées ici.

LycorisConfig

classe peft.tuners.lycoris_utils.LycorisConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory> )

Configuration de base pour les adaptateurs de type LyCORIS

LycorisLayer

classe peft.tuners.lycoris_utils.LycorisLayer

< >

( base_layer: nn.Module )

Couche de base pour les adaptateurs de type LyCORIS

merge

< >

( safe_merge: bool = Falseadapter_names: Optional[list[str]] = None )

Paramètres

  • safe_merge (bool, facultatif) — Si True, l’opération de fusion est effectuée sur une copie des poids d’origine et vérifie la présence de NaN avant de fusionner les poids. Cela est utile si vous souhaitez vérifier si l’opération de fusion produira des NaN. Valeur par défaut : False.
  • adapter_names (List[str], facultatif) — La liste des noms d’adaptateurs à fusionner. Si None, tous les adaptateurs actifs seront fusionnés. Valeur par défaut : None.

Fusionner les poids de l'adaptateur actif dans les poids de base

unmerge

< >

( )

Cette méthode désintègre toutes les couches d'adaptateur fusionnées à partir des poids de base.

LycorisTuner

classe peft.tuners.lycoris_utils.LycorisTuner

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Paramètres

  • model (torch.nn.Module) — Le modèle à adapter.
  • config (LoraConfig) — La configuration du modèle Lora.
  • adapter_name (str) — Le nom de l'adaptateur, par défaut "default".
  • low_cpu_mem_usage (bool, optional, par défaut False) — Crée des poids d'adaptateurs vides sur l'appareil méta. Utile pour accélérer le processus de chargement.

Un tuner de base pour les adaptateurs de type LyCORIS

Update on GitHub

←LoRA MiSS→