Prompt tuning

Prompt tuning ajoute un prompt virtuel spécifique à la tâche à l’entrée, composé de vecteurs entraînables dans l’espace des plongements. Les paramètres des jetons virtuels sont mis à jour indépendamment des paramètres du modèle pré-entraîné, qui sont gelés.

L'abstract de l'article est :

Dans ce travail, nous explorons le « prompt tuning », un mécanisme simple mais efficace pour apprendre des « soft prompts » afin de conditionner des modèles de langage figés à effectuer des tâches spécifiques en aval. Contrairement aux prompts de texte discrets utilisés par GPT-3, les soft prompts sont appris par rétropropagation et peuvent être ajustés pour intégrer le signal d’un nombre quelconque d’exemples étiquetés. Notre approche apprise de bout en bout surpasse largement l’apprentissage « few-shot » de GPT-3. Plus remarquable encore, grâce à des ablations sur la taille du modèle utilisant T5, nous montrons que le prompt tuning devient plus compétitif à mesure que l’échelle augmente : lorsque les modèles dépassent le milliard de paramètres, notre méthode « comble l’écart » et égale les fortes performances du model tuning (où tous les poids du modèle sont ajustés). Ce constat est particulièrement pertinent dans la mesure où les grands modèles sont coûteux à partager et à servir, et la capacité à réutiliser un modèle figé pour plusieurs tâches en aval peut alléger cette charge. Notre méthode peut être vue comme une simplification du « prefix tuning » récemment proposé par Li et Liang (2021), et nous fournissons une comparaison avec celui-ci et d’autres approches similaires. Enfin, nous montrons que le conditionnement d’un modèle figé par des soft prompts confère des avantages en termes de robustesse au transfert de domaine, par rapport au model tuning complet.

Contrairement au prefix tuning, seuls les entrées de la première couche reçoivent les jetons virtuels.

Utilisation

Deux décisions sont à prendre : le nombre de jetons virtuels ajoutés à l’entrée du modèle (num_virtual_tokens) — ce qui définira le nombre de paramètres entraînables — et la manière dont ces jetons sont initialisés.

Créez un PromptTuningConfig avec le type de tâche, le texte de prompt tuning initial pour entraîner le modèle, le nombre de jetons virtuels à ajouter et à apprendre, ainsi qu'un tokenizer.

from peft import PromptTuningConfig, PromptTuningInit, get_peft_model

prompt_tuning_init_text = "Classify if the tweet is a complaint or no complaint.\n"
peft_config = PromptTuningConfig(
    task_type="CAUSAL_LM",
    prompt_tuning_init=PromptTuningInit.TEXT,
    num_virtual_tokens=len(tokenizer(prompt_tuning_init_text)["input_ids"]),
    prompt_tuning_init_text=prompt_tuning_init_text,
    tokenizer_name_or_path="bigscience/bloomz-560m",
)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

Aperçu des benchmarks

API

PromptTuningConfig

PromptEmbedding

>>> from peft import PromptEmbedding, PromptTuningConfig

>>> config = PromptTuningConfig(
...     peft_type="PROMPT_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     prompt_tuning_init="TEXT",
...     prompt_tuning_init_text="Predict if sentiment of this review is positive, negative or neutral",
...     tokenizer_name_or_path="t5-base",
... )

>>> # t5_model.shared is the word embeddings of the base model
>>> prompt_embedding = PromptEmbedding(config, t5_model.shared)