PEFT

🤗 PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）是一个用于高效适配大型预训练模型的库，使其能够应用于各种下游任务，而无需微调模型的所有参数，因为全参数微调的成本高得令人望而却步。PEFT 方法仅微调少量（额外的）模型参数——从而大幅降低计算和存储成本——同时实现与全参数微调模型相当的性能。这使得在消费级硬件上训练和存储大型语言模型（LLMs）及其他大型模型变得更加可行。

PEFT 与 Transformers、Diffusers 和 Accelerate 库集成，提供了一种更快速、更便捷的方式来加载、训练大型模型并用于推理。

有许多方法可以“适配”现有模型，这些方法通常会对模型进行深度集成。PEFT 可以被视为一个用于任意模型适配方法（修改权重、包装层、操作 KV 缓存等）的框架，同时它也是许多微调方法的参考实现。