MiSS

MiSS (Matrix Shard Sharing) é um método PEFT que alcança um bom equilíbrio entre o desempenho do modelo e a eficiência computacional. Ele requer apenas uma única matriz treinável e introduz um mecanismo de compartilhamento de shards distinto do LoRA.

O resumo do artigo é:

Métodos de Fine-Tuning Eficiente em Parâmetros (PEFT), em particular a Low-Rank Adaptation (LoRA), reduzem eficazmente o número de parâmetros treináveis em Large Language Models (LLMs). No entanto, à medida que a escala dos modelos continua a crescer, a demanda por recursos computacionais permanece um desafio significativo. Variantes existentes de LoRA frequentemente têm dificuldade em atingir um equilíbrio ótimo entre adaptabilidade (desempenho do modelo e velocidade de convergência) e eficiência (sobrecarga computacional, uso de memória e tempo de inicialização). Este artigo introduz o MiSS (Matrix Shard Sharing), uma abordagem PEFT inovadora que aborda esse trade-off por meio de um mecanismo simples de compartilhamento de shards. O MiSS aproveita o insight de que uma adaptação de baixo rank pode ser alcançada decompondo a matriz de pesos em múltiplas matrizes fragmentadas e utilizando um fragmento comum compartilhado e treinável. Este método constrói a matriz de atualização de baixo rank por meio da replicação desses shards compartilhados e particionados. Também propomos uma implementação eficiente em hardware e amplamente aplicável para o MiSS. Experimentos extensos conduzidos em uma variedade de tarefas, juntamente com uma análise sistemática do desempenho computacional, demonstram a superioridade do MiSS. Os resultados mostram que o MiSS supera significativamente o LoRA padrão e suas variantes proeminentes tanto nas métricas de desempenho do modelo quanto na eficiência computacional, incluindo a velocidade de inicialização e o throughput de treinamento. Ao equilibrar eficazmente o poder expressivo e a utilização de recursos, o MiSS oferece uma solução convincente para a adaptação eficiente de modelos em larga escala.

Visão geral do benchmark

Quando usar o MiSS

MiSS é uma boa escolha quando:

• Você deseja uma inicialização mais rápida e um maior rendimento de treinamento do que os esquemas avançados de inicialização de LoRA que usam configurações caras (como PiSSA, LoRA-GA ou OLoRA).
• Você quer uma alternativa drop-in para o LoRA com mudanças mínimas de configuração.

Se você precisar de uma expressividade maior, mesmo que custe alguma eficiência, considere a variante de inicialização bat (veja abaixo).

modos de init_weights

O MiSS suporta três modos de inicialização por meio do parâmetro init_weights:

• True (padrão): inicialização padrão do MiSS. Ponto de partida ideal para a maioria dos casos de uso.
• "bat": Habilita atualizações não lineares entre diferentes shards. Produz melhores resultados que o MiSS padrão, mas usa mais memória e é aproximadamente duas vezes mais lento. Use esta opção quando o desempenho for prioridade em relação à eficiência.
• "mini": Usa um rank menor ao longo da dimensão out_features, controlado por mini_r. Isso reduz ainda mais os parâmetros treináveis. Ao usar este modo, mini_r deve ser definido e out_features deve ser divisível por mini_r.

Início rápido

import torch
from peft import MissConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
tokenizer.pad_token_id = tokenizer.eos_token_id

# Standard MiSS
config = MissConfig(
    r=64,
    miss_dropout=0.01,
    task_type="CAUSAL_LM"
)

# BAT variant — better performance, more memory
# config = MissConfig(
#     r=64,
#     init_weights="bat",
#     task_type="CAUSAL_LM"
# )

# Mini variant — fewer trainable parameters
# config = MissConfig(
#     r=64,
#     init_weights="mini",
#     mini_r=8,
#     task_type="CAUSAL_LM"
# )

model = get_peft_model(model, config)
model.print_healthcheck()

Para um exemplo completo de fine-tuning, incluindo treinamento e inferência, consulte o exemplo de fine-tuning do MiSS.

API

MissConfig

MissModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import MissModel, MissConfig

>>> config_te = MissConfig(
...     r=8,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     init_weights=True,
... )
>>> config_unet = MissConfig(
...     r=8,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = MissModel(model.text_encoder, config_te, "default")
>>> model.unet = MissModel(model.unet, config_unet, "default")