MonteCLoRA（蒙特卡洛低秩适应）

这是 LoRA 的一种变体，因此，除非本页另有说明，LoRA 支持的所有功能在此方法中均适用。

MonteCLoRA 在标准 LoRA 适配器之上包裹了一个小型变分模块，该模块在训练期间对 LoRA 的 A 矩阵进行蒙特卡洛采样，以引入随机扰动。具体而言，它学习一组变分参数（基于 Wishart 分布的协方差、逐样本的多变量正态噪声项，以及跨样本的 Dirichlet 权重），并在每次前向传播时将由此得到的平均扰动添加到 lora_A 中。训练损失中会加入 KL 散度与熵项，以将这些变分参数锚定在合理的先验分布上。在推理阶段，采样器会被禁用，MonteCLoRA 的行为与常规 LoRA 适配器完全一致，因此不会产生额外的推理开销，也没有需要合并的额外参数。有关完整方法，请参阅 https://huggingface.co/papers/2411.04358。

在以下情况下，您可能需要考虑使用 MonteCLoRA：

• 您正在使用小型或噪声较大的数据集进行微调，并希望获得比标准 LoRA 更强的正则化效果。蒙特卡洛平均与 KL 项共同作用，充当一种贝叶斯风格的正则化器。
• 你希望在不增加推理时间开销的情况下，从适配器中获得更好的不确定性校准/鲁棒性（变分机制仅在训练时使用）。
• 普通的 LoRA 正在过拟合，降低 r 或增大 lora_dropout 并不足以解决问题。

当拥有一个大型且干净的数据集，且原生 LoRA 已经能够稳定训练时，你很可能不需要 MonteCLoRA——在这种情况下，额外的变分参数大多只会增加训练开销，而收益甚微。

要启用 MonteCLoRA，请将 MontecloraConfig 传递给 LoraConfig：

from peft import LoraConfig, MontecloraConfig

monteclora_config = MontecloraConfig(
    num_samples=8,         # number of Monte Carlo samples per forward pass
    sample_scaler=1e-4,    # magnitude of the variational perturbation
    kl_loss_weight=1e-5,   # weight of the KL term added to the training loss
)
config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    monteclora_config=monteclora_config,
)

在训练期间，您必须将变分正则化损失添加到任务损失中。最简单的方法是在底层的 LoraModel 上调用 LoraModel._get_monteclora_loss()：

task_loss = ...  # standard loss returned by your model
monteclora_loss = model._get_monteclora_loss()  # 0.0 if MonteCLoRA is not used
total_loss = task_loss + monteclora_loss
total_loss.backward()

如果您使用 HF Trainer 进行训练，只需混入 peft.helpers.MontecloraTrainerMixin，它会在 compute_loss 中为您完成此操作：

from transformers import Trainer
from peft.helpers import MontecloraTrainerMixin


class MontecloraTrainer(MontecloraTrainerMixin, Trainer):
    pass

完整的可运行示例位于 examples/monteclora_finetuning。

API

MonteCloraConfig