Prompt tuning

Prompt tuning добавляет к входу виртуальный промпт, специфичный для задачи, состоящий из обучаемых векторов в пространстве эмбеддингов. Параметры виртуальных токенов обновляются независимо от параметров предобученной модели, которые остаются замороженными.

Аннотация из статьи:

В данной работе мы исследуем «prompt tuning» — простой, но эффективный механизм обучения «мягких промптов» для настройки замороженных языковых моделей на выполнение конкретных задач. В отличие от дискретных текстовых промптов, используемых в GPT-3, мягкие промпты обучаются с помощью обратного распространения ошибки и могут быть настроены так, чтобы учитывать сигналы из любого количества размеченных примеров. Наш подход, обучаемый end-to-end, значительно превосходит «few-shot» обучение GPT-3. Более того, проведя абляции по размеру модели на T5, мы показываем, что prompt tuning становится более конкурентоспособным с ростом масштаба: когда модели превышают миллиарды параметров, наш метод «сужает разрыв» и достигает уровня, сопоставимого с сильным результатом model tuning (когда настраиваются все веса модели). Это наблюдение особенно актуально, поскольку крупные модели дороги в плане распространения и обслуживания, а возможность переиспользовать одну замороженную модель для нескольких задач позволяет снизить эту нагрузку. Наш метод можно рассматривать как упрощение недавно предложенного «prefix tuning» Ли и Лианга (2021), и мы приводим сравнение с этим и другими похожими подходами. Наконец, мы показываем, что настройка замороженной модели с помощью мягких промптов обеспечивает преимущества в устойчивости к переносу в другую область по сравнению с полной настройкой модели.

В отличие от prefix tuning, виртуальные токены подаются только на вход первого слоя.

Использование

Необходимо принять два решения: сколько виртуальных токенов добавляется на вход модели (num_virtual_tokens) — это определит количество обучаемых параметров — и как эти токены инициализируются.

Создайте PromptTuningConfig с типом задачи, начальным текстом prompt tuning для обучения модели, количеством виртуальных токенов для добавления и обучения, а также токенизатором.

from peft import PromptTuningConfig, PromptTuningInit, get_peft_model

prompt_tuning_init_text = "Classify if the tweet is a complaint or no complaint.\n"
peft_config = PromptTuningConfig(
    task_type="CAUSAL_LM",
    prompt_tuning_init=PromptTuningInit.TEXT,
    num_virtual_tokens=len(tokenizer(prompt_tuning_init_text)["input_ids"]),
    prompt_tuning_init_text=prompt_tuning_init_text,
    tokenizer_name_or_path="bigscience/bloomz-560m",
)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

Обзор бенчмарков

API

PromptTuningConfig

PromptEmbedding

>>> from peft import PromptEmbedding, PromptTuningConfig

>>> config = PromptTuningConfig(
...     peft_type="PROMPT_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     prompt_tuning_init="TEXT",
...     prompt_tuning_init_text="Predict if sentiment of this review is positive, negative or neutral",
...     tokenizer_name_or_path="t5-base",
... )

>>> # t5_model.shared is the word embeddings of the base model
>>> prompt_embedding = PromptEmbedding(config, t5_model.shared)