Parametreler

• r (int) — Lily’nin rütbesi. Her adaptörün iç gizli boyutunu ve A @ B ağırlık güncellemesinin rütbesini belirler. Lily’de adaptör sayısı genellikle LoRA’dan daha az olduğundan, her adaptörün daha fazla kapasite taşıması gerekir; bu nedenle LoRA’da normalde kullanacağınız rütbenin 2x, 3x veya 4x’i kadar daha büyük bir r değeri kullanılması önerilir. Eğitilebilir parametrelerin toplam sayısı r * (total_layers / stride_A + num_B) ile ölçeklendiğinden, stride_A değerini büyük tutarak ve num_B değerini küçük tutarak r değerini artırmak önerilen ödünleşimdir.
• stride_A (int) — The number of consecutive layers that share one A adapter. For example, if stride_A=4, every 4 adjacent layers share the same A adapter, resulting in total_layers / stride_A distinct A adapters in total. The A adapter compresses the input into a low-rank representation of size r. stride_A should be no less than
  1. Önerilen değerler: 2, 3 veya 4 (yani her 2, 3 veya 4 katmanı paylaşma). stride_A değerini büyük tutmak (daha az farklı A adaptörü) ve bunun yerine r değerini artırmak, tam tersi ödünleşimden (küçük stride_A, küçük r) daha iyi performans sağlar. stride_A=1 olarak ayarlamak, her katmanın kendi A adaptörüne sahip olduğu anlamına gelir. NOT: A paylaşımı, her hedefin içinde gerçekleşir (aynı hedef son ekine sahip katmanlar). Örneğin, ['q_proj', 'v_proj'] hedef_modules değerleri varsa ve stride_A=2 olarak ayarlarsanız, her 2 komşu q_proj katmanı bir A adaptörü paylaşır ve her 2 komşu v_proj katmanı başka bir A adaptörü paylaşır; ancak q_proj ve v_proj katmanları farklı son eklerine sahip oldukları için birbirleriyle A adaptörü paylaşmaz.
• num_B (int) — Paylaşılan B adaptörlerinin sayısı. A adaptörlerinin aksine (katmanlara göre gruplanan), tüm B adaptörleri tüm katmanlar arasında küresel olarak paylaşılmaktadır. Her ileri geçişte, bir yönlendirici (router), tüm num_B B adaptörlerinin ağırlıklı bir kombinasyonunu (softmax-normalize edilmiş ağırlıklar kullanarak) hesaplayarak tek bir birleşik B adaptörü oluşturur; bu adaptör de düşük rütbeli temsilin (low-rank representation) orijinal boyuta geri yansıtılmasını sağlar. num_B'ün, total_layers / stride_A ile benzer bir büyüklükte ayarlanması önerilir. Önerilen değerler: total_layers / 2, total_layers / 3 veya total_layers / 4. stride_A'de olduğu gibi, küçük r değerine sahip büyük num_B yerine, büyük r değerine sahip küçük num_B tercih edilmelidir. NOT: Yönlendiriciyi (router) eğitmek için en az 2 B adaptörüne (yani num_B >= 2) ihtiyaç vardır, çünkü yönlendirici B adaptörlerinin ağırlıklı kombinasyonunu hesaplamayı öğrenir. NOT: B paylaşımı her hedefin (aynı hedef son ekine sahip katmanlar) içinde gerçekleşir. Örneğin, ['q_proj', 'v_proj'] hedef_modülleri (target_modules) ve num_B=4 ayarladıysanız, tüm q_proj katmanları arasında paylaşılan 4 B adaptörü ve tüm v_proj katmanları arasında paylaşılan başka 4 B adaptörü olacaktır; ancak q_proj ve v_proj katmanları farklı son eklerine sahip oldukları için birbirleriyle B adaptörü paylaşmaz.
• target_modules (Union[List[str], str], isteğe bağlı) — Lily'nin uygulanacağı modüllerin adları. Modül adı dizelerinin bir listesi (ör. ['q_proj', 'v_proj']) veya bir regex deseni (ör. '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$') olabilir. Belirtilmezse, Lily tüm desteklenen lineer katmanlara uygulanır.
• scaling (float) — Donmuş ağırlığın ileri geçişine eklenmeden önce birleşik adaptör çıktısına (scaling * A @ combined_B) uygulanan skaler çarpan. LoRA'nın aksine Lily, alpha / r formülasyonunu kullanmaz; bunun yerine scaling doğrudan bir çarpan olarak kullanılır. Bu tasarım, log ölçeğinde değerler üzerinde tarama yapmayı (ör. 0.01, 0.1, 1.0, 10.0) kolaylaştırır. Optimal değer görevden göreve değişir ve bir hiperparametre olarak ele alınmalıdır. 1.0 ile başlamanızı öneririz.
• modules_to_save (List[str], isteğe bağlı) — Lily katmanları dışında, eğitilebilir olarak ayarlanacak ve nihai checkpoint'te kaydedilecek modüllerin listesi. Örneğin, Sınıflandırma (Sequence Classification) veya Token Sınıflandırma görevlerinde, son katman classifier/score rastgele başlatıldığı için eğitilebilir olmalı ve kaydedilmelidir.
• exclude_modules (Union[List[str], str], isteğe bağlı) — Uyarlamanın (adapter) uygulanmaması istenen modüllerin adları. Bir dize geçirildiğinde, bir regex eşleşmesi yapılır. Bir dize listesi geçirildiğinde, tam bir eşleşme yapılır veya modül adının, geçirilen dizelerden herhangi biriyle sonlanıp sonlanmadığı kontrol edilir.
• layers_to_transform (Union[list[int], int], isteğe bağlı) — Bu argüman belirtilirse, PEFT yalnızca bu listede belirtilen katman indekslerini dönüştürür. Tek bir tamsayı geçirilirse, PEFT yalnızca bu indeksteki katmanı dönüştürür.
• layers_pattern (Optional[Union[List[str], str]], isteğe bağlı) — Katman deseni adı, yalnızca layers_to_transform None'den farklıysa ve katman deseni ortak katman desenlerinde yer almıyorsa kullanılır. Bu, genellikle 'layers' veya 'h' olarak adlandırılan modelin nn.ModuleList bileşenini hedeflemelidir.
• init_weights (bool) — Lily adaptör ağırlıklarının varsayılan başlatma şeması kullanılarak başlatılıp başlatılmayacağını belirtir: A matrisleri Kaiming uniform ile, B matrisleri ise sıfır ile başlatılır; bu sayede eğitim başlangıcında adaptör çıktısı sıfır olur ve ön eğitilmiş modele müdahale etmez. Belirli bir nedeniniz olmadıkça bu değerin True olarak bırakılması şiddetle önerilir.

Parametreler

• model (torch.nn.Module) — Uyarlanacak model.
• config (LilyConfig) — Lily modelinin yapılandırması.
• adapter_name (str) — Adaptörün adı, varsayılan olarak "default"'tır.