VeRA: 벡터 기반 랜덤 매트릭스 적응

VeRA는 LoRA와 유사한 매개변수 효율적 파인튜닝 기법으로, 추가 매개변수가 훨씬 적으면서도 유사하거나 더 나은 성능을 제공합니다. 따라서 매개변수 예산이 매우 제한적인 경우, 예를 들어 매우 큰 모델로 확장할 때 특히 유용합니다. 학습 가능한 매개변수 수의 감소는 모든 레이어에 동일한 저랭크 행렬을 공유하고 레이어당 두 개의 추가 벡터만 학습함으로써 달성됩니다.

VeRA의 작동 방식

LoRA는 각 적응 대상 레이어마다 두 개의 작은 저랭크(low-rank) 행렬을 학습하여 동결된 베이스 모델을 업데이트합니다. 랭크(rank)는 이 행렬들의 내부 차원이며, 어댑터가 가지는 용량을 제어합니다. LoRA에서 r을 증가시키거나 더 많은 레이어를 적응시키면, 각 적응 대상 레이어가 자체적인 저랭크 행렬 쌍을 학습하기 때문에 학습 가능한 매개변수의 수가 빠르게 증가합니다.

VeRA는 동일한 저랭크 적응(low-rank adaptation) 아이디어를 유지하되 학습 대상 파라미터를 변경합니다. 모든 레이어에 대해 별도의 저랭크 행렬을 학습하는 대신, VeRA는 레이어 간에 공유되는 하나의 동결된(frozen) 무작위 초기화 저랭크 행렬 쌍 A와 B를 사용합니다. 각 적응(adapted) 레이어는 vera_lambda_d와 vera_lambda_b라는 두 개의 스케일링 벡터만 학습하며, 이는 공유 행렬을 다시 스케일링하여 레이어별 업데이트를 생성합니다. vera_lambda_d의 크기가 r이므로, VeRA의 학습 가능 파라미터 수는 여전히 r과 적응 레이어 수에 따라 증가합니다. 그러나 큰 A와 B 행렬이 각 레이어마다 별도로 학습되는 것이 아니라 공유되고 동결되므로, LoRA보다 훨씬 느리게 증가합니다.

이것이 VeRA가 LoRA보다 적은 학습 가능 매개변수를 사용할 수 있는 이유입니다. 논문에서 제시한 단순화된 매개변수 수에 따르면, LoRA는 2 * L_tuned * d_model * r에 비례하며, 여기서 L_tuned는 적응된 레이어의 수, d_model는 모델 차원, r은 랭크를 나타냅니다. VeRA는 L_tuned * (d_model + r)에 비례하는데, 이는 큰 저랭크 행렬이 공유되고 고정된 반면, 더 작은 레이어별 벡터만 학습되기 때문입니다.

어댑터 파라미터를 저장할 때 VeraConfig의 save_projection=False를 설정하여 저랭크 행렬을 저장하지 않을 수 있습니다. 이 경우, projection_prng_key 인자의 고정된 랜덤 시드를 기반으로 해당 행렬이 복원됩니다. 이를 통해 체크포인트의 크기를 줄일 수 있지만, 모든 디바이스와 PyTorch의 모든 향후 버전에서 재현성을 보장할 수 없습니다. 재현성을 보장하려면 save_projection=True를 설정하세요(기본값).

적응된 레이어의 다양한 형태를 처리하기 위해 VeRA는 각 차원에 대해 필요한 최대 크기로 공유 A 및 B 행렬을 초기화합니다. 순전파 과정에서, 주어진 레이어에 대한 부분 행렬 A와 B는 이러한 공유 행렬에서 슬라이싱되어 추출되며, 논문에서 설명된 대로 사용됩니다. 예를 들어, 형태가 (100, 20)과 (80, 50)인 두 개의 선형 레이어를 적응하면, 각각 (rank, 50)과 (100, rank) 형태의 A 및 B 행렬이 생성됩니다. 그런 다음, 형태가 (100, 20)인 레이어를 적응하려면 (rank, 20)과 (100, rank) 형태의 부분 행렬 A와 B가 추출됩니다.

VeRA에는 현재 다음과 같은 제약이 있습니다:

• nn.Linear 레이어만 지원됩니다.

해당 논문의 초록은 다음과 같습니다:

Low-rank adaptation (LoRA)은 대규모 언어 모델을 fine-tuning할 때 학습 가능한 파라미터의 수를 줄이는 인기 있는 방법이지만, 더 큰 모델로 확장하거나 사용자별 또는 작업별 적응 모델을 다수 배포할 때 여전히 심각한 저장 문제를 직면합니다. 이 연구에서는 Vector-based Random Matrix Adaptation (VeRA)를 제시하며, 이는 LoRA에 비해 학습 가능한 파라미터의 수를 크게 줄이면서도 동일한 성능을 유지합니다. 이는 모든 레이어에 걸쳐 공유되는 단일 저랭크 행렬 쌍을 사용하고 대신 작은 스케일링 벡터를 학습함으로써 달성됩니다. GLUE 및 E2E 벤치마크, 이미지 분류 작업에서의 효과를 입증하고, 7B 및 13B 언어 모델의 instruction-tuning에 이를 적용하는 것을 보여줍니다.

VeRA를 사용할 때

VeRA는 다음 경우에 좋은 선택입니다:

• LoRA와 유사한 성능을 유지하면서 학습 가능한 매개변수의 수를 최소화하는 것이 목표입니다.
• 여러 개의 작업별 어댑터를 저장하거나 배포해야 하며, 더 작은 어댑터 체크포인트가 저장 요구 사항을 줄여야 하는 경우
• 엄격한 메모리 또는 파라미터 예산 내에서 매우 대규모 언어 모델을 파인튜닝하는 경우입니다.

VeRA를 사용하지 않는 경우

다음과 같은 경우 VeRA가 최선의 선택이 아닐 수 있습니다:

• 적용된 각 레이어에 대해 독립적인 저순위(low-rank) 행렬이 필요하며, 이는 학습된 어댑터 파라미터에 대해 더 큰 유연성을 제공합니다.
• nn.Linear 이외의 모듈 유형을 적용해야 하므로, 현재 VeRA는 선형 레이어만 지원합니다.
• 모델에는 입력 차원과 출력 차원이 크게 다른 적응형 선형 레이어가 포함되어 있습니다. VeRA는 모든 적응형 레이어에 동일한 투영 행렬 쌍을 공유하므로, 이 행렬은 가장 큰 형태에 맞춰 크기가 결정되어야 합니다. 따라서 레이어 형태가 크게 변하는 모델(예: transformer의 업-프로젝션 및 다운-프로젝션 레이어)의 경우, 공유 투영 행렬에 대한 과도한 할당이 필요할 수 있으며, 이로 인해 VeRA의 매개변수 효율성 이점이 일부 감소할 수 있습니다.

벤치마크 개요

API

VeRAConfig

VeRAModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import VeraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = VeraConfig(r=128)
>>> model = get_peft_model(base_model, config)