AdaLoRA

AdaLoRA(Adaptive LoRA)는 모든 모듈에 매개변수를 균등하게 분배하는 LoRA와 달리, 가중치 행렬과 레이어에 할당할 학습 가능 매개변수의 수를 최적화하는 방법입니다. 중요한 가중치 행렬과 레이어에는 더 많은 매개변수가 배정되고, 중요도가 낮은 것에는 더 적은 매개변수가 배정됩니다. 행렬의 평균 목표 rank 또는 r를 제어하고, target_modules를 통해 AdaLoRA를 적용할 모듈을 지정할 수 있습니다. 설정해야 할 다른 중요한 매개변수로는 lora_alpha(스케일링 팩터)와 modules_to_save(AdaLoRA 레이어 외에 학습 및 저장할 모듈)가 있습니다. 이 모든 매개변수와 그 외의 항목은 AdaLoraConfig에서 찾을 수 있습니다.

해당 논문의 초록은 다음과 같습니다:

하류 작업에서 대규모 사전 학습 언어 모델을 미세 조정하는 것은 NLP에서 중요한 패러다임이 되었습니다. 그러나 일반적인 관행은 사전 학습 모델의 모든 매개변수를 미세 조정하는 것이며, 이는 대규모의 하류 작업이 존재할 때 수행이 불가능해집니다. 따라서 사전 학습 가중치의 증분 업데이트를 저순위 증분과 같은 매개변수 효율적인 방식으로 학습하기 위해 많은 미세 조정 방법이 제안되었습니다. 이러한 방법은 일반적으로 사전 학습 가중치 행렬 전체에 걸쳐 증분 업데이트의 예산을 균등하게 분배하며, 서로 다른 가중치 매개변수의 중요도 차이를 간과합니다. 그 결과, 미세 조정 성능이 최적에 미치지 못합니다. 이러한 격차를 메우기 위해, 우리는 중요도 점수에 따라 가중치 행렬 간에 매개변수 예산을 적응적으로 할당하는 AdaLoRA를 제안합니다. 특히, AdaLoRA는 증분 업데이트를 특이값 분해의 형태로 매개변수화합니다. 이러한 새로운 접근 방식은 중요하지 않은 업데이트의 특이값을 효과적으로 가지칠 수 있게 해주며, 이는 본질적으로 해당 업데이트의 매개변수 예산을 줄이되 집약적인 정확한 SVD 계산을 우회하는 것입니다. 우리는 자연어 처리, 질의응답, 자연어 생성에서 여러 사전 학습 모델을 사용하여 광범위한 실험을 수행하여 AdaLoRA의 효과성을 검증했습니다. 결과에 따르면, AdaLoRA는 베이스라인 대비 뚜렷한 개선, 특히 저예산 설정에서 이를 보여줍니다. 우리의 코드는 https://github.com/QingruZhang/AdaLoRA에서 공개되어 있습니다.

AdaLoRA에는 매 학습 단계마다 매개변수 예산과 마스크를 업데이트해야 하는 update_and_allocate() 메서드가 있습니다. 이 메서드를 호출하지 않으면 적응 단계가 수행되지 않습니다. 이를 위해 커스텀 학습 루프를 작성하거나 Trainer를 서브클래싱하여 해당 메서드를 통합해야 합니다. 예시로 이 커스텀 학습 루프를 참고하세요.

AdaLoRA는 LoRA에서 도입된 매개변수 예산을 관리하며, 더 많은 매개변수, 즉 더 높은 랭크를 r - 작업에 더 잘 적응할 수 있는 중요한 가중치 행렬에 할당하고 덜 중요한 행렬은 제거합니다. 랭크는 고유값 분해(SVD)와 유사한 방법으로 제어됩니다. $\Delta W$ 는 두 개의 직교 행렬과 고유값을 포함하는 대각 행렬로 매개변수화됩니다. 이 매개변수화 방법은 계산 비용이 높은 SVD를 반복적으로 적용하는 것을 피합니다. 이 방법에 기반하여 $\Delta W$ 의 랭크는 중요도 점수에 따라 조정됩니다. $\Delta W$ 는 3중 집합(triplet)으로 나뉘며, 각 3중 집합은 모델 성능에 대한 기여도에 따라 점수를 받습니다. 중요도 점수가 낮은 3중 집합은 제거되고, 점수가 높은 3중 집합은 파인튜닝을 위해 유지됩니다.

AdaLoRA를 사용한 학습은 세 가지 단계로 구성됩니다: 초기화 단계, 예산 배정 단계, 최종 단계입니다. 초기화 단계에서는 예산 배정이 적용되지 않으므로 랭크는 변경되지 않습니다. 예산 배정 단계에서는 위에서 설명한 프로세스가 적용되며, 예산에 따라 랭크가 재분배됩니다. 이 과정에서 더 중요한 어댑터에는 더 많은 랭크를, 덜 중요한 레이어에는 더 적은 랭크를 할당하는 것을 목표로 합니다. 최종 단계에 도달하면 예산 배정이 종료되고 랭크가 재분배되며, 재분배된 랭크로 학습을 잠시 더 진행하여 성능을 추가로 향상시킬 수 있습니다.

기여 환영: 이 섹션은 명확한 설명이 필요합니다.

중요도가 어떻게 측정되는지는 명확하지 않습니다. 설명도 다소 중복되어 있어 통합할 필요가 있습니다. 기여하는 방법은 여기에서 확인하세요.

벤치마크 개요

사용

from peft import AdaLoraConfig, get_peft_model

config = AdaLoraConfig(
    r=8,
    init_r=12,
    tinit=200,
    tfinal=1000,
    deltaT=10,
    target_modules=["query", "value"],
    modules_to_save=["classifier"],
)
model = get_peft_model(model, config)
model.print_healthcheck()

[... training code ...]

model.update_and_allocate(step_idx)

API

AdaLoraConfig

AdaLoraModel

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import AdaLoraConfig, get_peft_model

>>> config = AdaLoraConfig(
...     peft_type="ADALORA",
...     task_type="SEQ_2_SEQ_LM",
...     init_r=12,
...     lora_alpha=32,
...     target_modules=["q", "v"],
...     lora_dropout=0.01,
...     total_step=1000,
... )
>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> adalora_model = get_peft_model(model, config)

>>> loss = model(**input).loss
>>> loss.backward()
>>> optimizer.step()
>>> model.base_model.update_and_allocate(i_step)
>>> optimizer.zero_grad()