PEFT

🤗 PEFT (Parameter-Efficient Fine-Tuning) est une bibliothèque permettant d'adapter efficacement de grands modèles pré-entraînés à diverses applications en aval, sans réentraîner l'ensemble des paramètres du modèle, ce qui serait prohibitif en termes de coûts. Les méthodes PEFT n'entraînent qu'un petit nombre de paramètres (supplémentaires) du modèle, réduisant ainsi considérablement les coûts de calcul et de stockage, tout en offrant des performances comparables à celles d'un modèle entièrement réentraîné. Cela rend l'entraînement et le stockage de grands modèles de langage (LLM) et d'autres grands modèles plus accessibles sur du matériel grand public.

PEFT est intégré aux bibliothèques Transformers, Diffusers et Accelerate afin de fournir une méthode plus rapide et plus simple pour charger, entraîner et utiliser de grands modèles pour l'inférence.

Il existe de nombreuses méthodes pour « adapter » des modèles existants, souvent en les intégrant de manière étendue. PEFT peut être considéré comme un cadre pour des méthodes d’adaptation de modèles arbitraires (modification des poids, encapsulation des couches, manipulation des KV-caches, …) tout en servant d’implémentation de référence pour de nombreuses méthodes de fine-tuning.