TinyLoRA : apprendre à raisonner avec 13 paramètres

TinyLoRA est une technique de fine-tuning extrêmement efficace en termes de paramètres, qui s’appuie sur l’approche LoRA-XS en utilisant la décomposition SVD des poids figés et en projetant un petit vecteur entraînable à travers des tenseurs aléatoires fixes. Combinée à des méthodes d’entraînement par apprentissage par renforcement (RL) telles que GRPO, TinyLoRA peut atteindre des performances compétitives avec seulement 1 à 13 paramètres entraînables.

L'innovation clé de TinyLoRA consiste à remplacer la matrice de faible rang entraînable R par une somme pondérée de matrices de projection aléatoires fixes : R = Σᵢ vᵢ Pᵢ, où v ∈ R^u est un petit vecteur entraînable de dimension u et où Pᵢ sont des matrices aléatoires fixes. Cela réduit considérablement le nombre de paramètres entraînables tout en maintenant des performances compétitives.

TinyLoRA prend en charge le partage de poids via le paramètre weight_tying, un ratio compris entre 0.0 et 1.0 qui contrôle le nombre de modules partageant le même vecteur entraînable v. Définir weight_tying=0.0 (la valeur par défaut) signifie qu'il n'y a aucun partage, tandis que weight_tying=1.0 signifie un partage complet entre tous les modules cibles — atteignant ainsi une efficacité paramétrique extrême avec un seul vecteur de u paramètres entraînables pour l'ensemble du modèle.

Lors de l’enregistrement des paramètres de l’adaptateur, il est possible d’éviter de stocker les matrices de projection aléatoire en définissant save_projection=False sur TinyLoraConfig. Dans ce cas, ces matrices seront restaurées à partir de la graine aléatoire fixe définie par l’argument projection_seed. Cela réduit la taille du point de contrôle, mais nous ne pouvons pas garantir la reproductibilité sur tous les appareils ni pour toutes les futures versions de PyTorch. Si vous souhaitez garantir la reproductibilité, définissez save_projection=True (ce qui est la valeur par défaut).

TinyLoRA présente actuellement les contraintes suivantes :

• Seules les couches nn.Linear, nn.Embedding et transformers.pytorch_utils.Conv1D sont prises en charge.

L'abstract de l'article est :

Des recherches récentes ont montré que les modèles de langage peuvent apprendre à raisonner, souvent via l'apprentissage par renforcement. Certains travaux entraînent même des paramétrages de faible rang pour le raisonnement, mais le LoRA conventionnel ne peut pas être mis à l'échelle en dessous de la dimension du modèle. Nous nous demandons si même un LoRA de rang=1 est nécessaire pour apprendre à raisonner et proposons TinyLoRA, une méthode permettant de mettre à l'échelle les adaptateurs de faible rang jusqu'à des tailles aussi petites qu'un seul paramètre. Au sein de notre nouveau paramétrage, nous parvenons à entraîner la taille de 8B paramètres de Qwen2.5 jusqu'à 91 % de précision sur GSM8K avec seulement 13 paramètres entraînés en bf16 (26 octets au total). Nous constatons que cette tendance se généralise : nous sommes capables de récupérer 90 % des améliorations de performance tout en entraînant 1000 fois moins de paramètres sur une série de benchmarks plus difficiles d'apprentissage du raisonnement, tels que AIME, AMC et MATH500. Notons que nous ne parvenons à atteindre de telles performances élevées qu'avec le RL : les modèles entraînés à l'aide du SFT nécessitent des mises à jour 100 à 1000 fois plus importantes pour atteindre les mêmes performances.

Aperçu des benchmarks

API

TinyLoraConfig

from peft import get_peft_model, TinyLoraConfig

config = TinyLoraConfig(
    r=2,  # SVD rank (paper recommends 2)
    u=64,  # Trainable vector dimension
    weight_tying=0.0,  # No weight tying (0.0 = none, 1.0 = full)
    target_modules=["q_proj", "v_proj"],
    projection_seed=42,
)
model = get_peft_model(base_model, config)

TinyLoraModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import TinyLoraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = TinyLoraConfig(r=2, u=64, target_modules=["q_proj", "v_proj"])
>>> model = get_peft_model(base_model, config)