BOFT

Orthogonal Butterfly (BOFT), temel modellerin ince ayarı için tasarlanmış genel bir yöntemdir. Cooley-Tukey hızlı Fourier dönüşümünden ilham alarak ince ayar paradigminin — Orthogonal Finetuning (OFT) — parametre verimliliğini artırır; büyük görünümlü dönüştürücüler, büyük dil modelleri ve metinden görüntüye difüzyon modelleri dahil olmak üzere farklı temel modellerin ince ayarında olumlu sonuçlar gösterir.

Makalenin özeti şudur:

Büyük temel modeller giderek yaygınlaşırken, bunları sıfırdan eğitmek son derece maliyetlidir. Bu nedenle, bu güçlü modelleri aşağı akış görevlerine verimli bir şekilde uyarlamak giderek daha önemli hale gelmektedir. Bu makalede, aşağı akış görevi uyarlama için ilkesel bir ince ayar paradigması olan Ortogonal İnce Ayar (OFT) üzerine çalışıyoruz. İyi bir genellenebilirlik göstermesine rağmen, OFT, ortogonal matrislerin yüksek boyutluluğu nedeniyle hâlâ oldukça büyük sayıda eğitilebilir parametre kullanmaktadır. Bunu ele almak için, OFT'yi bir bilgi iletimi perspektifinden incelemeye başlıyor ve daha iyi parametre verimliliği sağlayan birkaç temel gerekliliği belirliyoruz. Cooley-Tukey hızlı Fourier dönüşümü algoritmasının verimli bilgi iletimini nasıl mümkün kıldığından ilham alarak, kelebek yapıları kullanan verimli bir ortogonal parametrelendirme öneriyoruz. Bu parametrelendirmeyi OFT'ye uygulayarak, Orthogonal Butterfly (BOFT) olarak adlandırılan yeni bir parametre-verimli ince ayar yöntemi oluşturuyoruz. OFT'yi özel bir durum olarak kapsayarak, BOFT genel bir ortogonal ince ayar çerçevesi sunuyor. Son olarak, büyük görünümlü dönüştürücülerin, büyük dil modellerinin ve metinden görüntüye difüzyon modellerinin görünümlü ve dil alanındaki çeşitli aşağı akış görevlerine uyarlanmasına yönelik kapsamlı bir ampirik çalışma yürütüyoruz.

BOFT, standart OFT'ye kıyasla çok daha parametre verimli olmasının yanı sıra, önceden eğitilmiş bir modelin üretken yeteneklerini korumaya odaklanır. OFT gibi BOFT de, önceden eğitilmiş ağırlık matrisine ortogonal bir dönüşüm uygulayarak bir katmandaki tüm çiftli nöronlar arasındaki aynı kosinüs benzerliğini (hiperküresel enerji) korur ve bu sayede nöronlar arasındaki anlamsal ilişkilerin korunmasını sağlar.

Blok köşegenli ortogonal bir matris kullanmak yerine BOFT, ortogonal dönüşümü sparse kelebek matrislerinin (ilk olarak Cooley–Tukey FFT'de tanıtılan) bir çarpımı olarak faktörize eder. OFT'nin, girdileri yalnızca her blok içinde karıştıran blok köşegenli dönmelerinin aksine, kelebek yapısı her girdinin her çıktıyı etkileyebileceğini garanti eder ve yalnızca O(d log d) parametreyle yoğun bir bağlantı oluşturur. Bu faktörizasyon, OFT'ye kıyasla parametre sayısını (hesaplama süresinin pahasına) dramatik bir şekilde azaltırken ifade gücünü korur.

Uygulamada, BOFT her önceden eğitilmiş ağırlık matrisini kelebek yapılı ortogonal çarpanlardan oluşan bir diziyle çarparak verimli ve ifade gücü yüksek nöron rotasyonlarını mümkün kılar. Bu durum, BOFT'yu kontrollü üretim ve önceden eğitilmiş modelin konu temsilini korumanın kritik olduğu görevler için uygun hale getirirken, aynı zamanda daha düşük bellek ve hesaplama maliyetiyle daha büyük modellere ölçeklenmesini sağlar.

BOFT, bir sinir ağındaki ağırlık matrislerinin herhangi bir alt kümesine uygulanarak eğitilebilir parametre sayısını azaltmak için kullanılabilir. BOFT parametrelerinin enjekte edileceği hedef katmanlar verildiğinde, eğitilebilir parametre sayısı, ağırlık matrislerinin boyutuna göre belirlenebilir.

Karma performans değerlendirmesi genel bakış

BOFT ağırlıklarını temel modele birleştirin

LoRA'ya benzer şekilde, BOFT tarafından öğrenilen ağırlıklar, [~BOFTModel.merge_and_unload() işlevi kullanılarak önceden eğitilmiş ağırlık matrislerine entegre edilebilir. Bu işlev, adaptör ağırlıklarını temel modelle birleştirir ve bu sayede yeni birleştirilmiş modelin bağımsız bir model olarak etkin bir şekilde kullanılmasını sağlar.

Bu, eğitim sırasında ortogonal ağırlık matrisinin (yukarıdaki şemadaki R) ve önceden eğitilmiş ağırlık matrislerinin ayrı olması nedeniyle işe yarar. Ancak eğitim tamamlandığında, bu ağırlıklar aslında eşdeğer yeni bir ağırlık matrisine birleştirilebilir (çarptırılabilir).

BOFT Örnek Kullanım

BOFT yönteminin çeşitli aşağı akış görevlerine uygulanmasına dair bir örnek için lütfen aşağıdaki kılavuzlara başvurun:

BOFT ile bir modelin nasıl ince ayar yapılacağına dair aşağıdaki adım adım kılavuzlara göz atın:

• BOFT ile Dreambooth ince ayarı
• BOFT (ControlNet) ile kontrol edilebilir üretim için ince ayar

Görsel sınıflandırma görevi için DinoV2 modeli için BOFT yapılandırması şu şekilde başlatılabilir:

import transformers
from transformers import AutoModelForSeq2SeqLM, BOFTConfig
from peft import BOFTConfig, get_peft_model

config = BOFTConfig(
    boft_block_size=4,
    boft_n_butterfly_factor=2,
    target_modules=["query", "value", "key", "output.dense", "mlp.fc1", "mlp.fc2"],
    boft_dropout=0.1,
    bias="boft_only",
    modules_to_save=["classifier"],
)

model = transformers.Dinov2ForImageClassification.from_pretrained(
    "facebook/dinov2-large",
    num_labels=100,
)

boft_model = get_peft_model(model, config)

API

BOFTConfig

BOFTModel

>>> import transformers
>>> from peft import BOFTConfig, get_peft_model

>>> config = BOFTConfig(
...     boft_block_size=8,
...     boft_n_butterfly_factor=1,
...     target_modules=["query", "value", "key", "output.dense", "mlp.fc1", "mlp.fc2"],
...     boft_dropout=0.1,
...     bias="boft_only",
...     modules_to_save=["classifier"],
... )

>>> model = transformers.Dinov2ForImageClassification.from_pretrained(
...     "facebook/dinov2-large",
...     num_labels=100,
... )
>>> boft_model = get_peft_model(model, config)