MonteCLoRA (Monte Carlo Low-Rank Adaptation)

Esta es una variante de LoRA y, por lo tanto, todo lo que es posible con LoRA es válido para este método, salvo que se indique lo contrario en esta página.

MonteCLoRA envuelve un adaptador LoRA estándar con un pequeño módulo variacional que extrae muestras de Monte Carlo de perturbaciones estocásticas sobre la matriz A de LoRA durante el entrenamiento. Concretamente, aprende parámetros variacionales (una covarianza basada en Wishart, un término de ruido multivariante normal por muestra y un ponderado Dirichlet sobre las muestras) y añade la perturbación resultante promediada a lora_A en cada pasada hacia adelante. Se añade un término de divergencia KL + entropía a la función de pérdida de entrenamiento para mantener estos parámetros variacionales anclados a un prior razonable. En el momento de la inferencia, el muestreador se desactiva y MonteCLoRA se comporta exactamente como un adaptador LoRA regular, por lo que no hay coste de inferencia adicional ni parámetros adicionales que fusionar. Para el método completo, consulte https://huggingface.co/papers/2411.04358.

Puede que desee considerar MonteCLoRA cuando:

• Estás realizando fine-tuning en un conjunto de datos pequeño o ruidoso y deseas una regularización más fuerte que la de LoRA estándar. El promedio de Monte Carlo y el término KL actúan juntos como un regularizador de estilo bayesiano.
• Desea una mejor calibración de la incertidumbre / robustez de su adaptador sin incurrir en un costo adicional en el momento de la inferencia (el mecanismo variacional solo se utiliza durante el entrenamiento).
• LoRA estándar está sobreajustando y reducir r o aumentar lora_dropout no es suficiente.

Probablemente no necesites MonteCLoRA si tienes un conjunto de datos grande y limpio y LoRA estándar ya entrena de forma estable: en ese régimen, los parámetros variacionales adicionales suelen añadir sobrecarga de entrenamiento sin mucha ventaja.

Para habilitar MonteCLoRA, pase una MontecloraConfig a LoraConfig:

from peft import LoraConfig, MontecloraConfig

monteclora_config = MontecloraConfig(
    num_samples=8,         # number of Monte Carlo samples per forward pass
    sample_scaler=1e-4,    # magnitude of the variational perturbation
    kl_loss_weight=1e-5,   # weight of the KL term added to the training loss
)
config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    monteclora_config=monteclora_config,
)

Durante el entrenamiento, debes añadir la pérdida de regularización variacional a la pérdida de la tarea. La forma más sencilla es llamar a LoraModel._get_monteclora_loss() en el LoraModel subyacente:

task_loss = ...  # standard loss returned by your model
monteclora_loss = model._get_monteclora_loss()  # 0.0 if MonteCLoRA is not used
total_loss = task_loss + monteclora_loss
total_loss.backward()

Si entrenas con el Trainer de HF, simplemente puedes mezclar peft.helpers.MontecloraTrainerMixin, que hace esto por ti en compute_loss:

from transformers import Trainer
from peft.helpers import MontecloraTrainerMixin


class MontecloraTrainer(MontecloraTrainerMixin, Trainer):
    pass

Un ejemplo completo y funcional está disponible en examples/monteclora_finetuning.

API

MonteCloraConfig