Modelin bir PEFT modeli olup olmadığını kontrol edin.

Bir modeldeki LoRA adaptörünün ölçeklemesini geçici olarak yeniden ölçeklemek için bağlam yöneticisi.

Bağlam yöneticisi (context manager) çıktığında orijinal ölçekleme değerleri geri yüklenir. Bu bağlam yöneticisi, LoRA adaptörlerini doğrudan yüklemiş olan transformers ve diffusers modelleriyle çalışır.

LoRA için, bu bağlam yöneticisini [0, 1] aralığında bir çarpanla uygulamak, wise-ft uygulamakla (detaylar için #1940 adresine bakın) kesin olarak eşdeğerdir. İnce ayar için kullanılan eğitim verileri ile çıkarım sırasında kullanılan test verileri arasında bir dağılım kayması varsa, modelin performansını iyileştirebilir.

Uyarı: PyTorch için Apple'ın MPS arka ucunun kullanıldığı durumlarda, ölçeklerin tamamen geri yüklenmeden önce bağlamdan çıkıldıktan sonra kısa bir uyku süresi eklenmesi gerektiği bildirilmiştir.

>>> model = ModelWithLoraLayer()
>>> multiplier = 0.5
>>> with rescale_adapter_scale(model, multiplier):
...     outputs = model(**inputs)  # Perform operations with the scaled model
>>> outputs = model(**inputs)  # The original scaling values are restored here

Bağlam yöneticisi, girdi veri türünün ağırlığın veri türüne dönüştürülmesini devre dışı bırakır.

DoRA önbellekleme özelliğini etkinleştiren bağlam yöneticisi; bu özellik, bellek maliyeti karşılığında DoRA çıkarım hızını artırır.

Aktif önbellekleme ile somutlaştırılmış LoRA ağırlığı (B @ A) ve ağırlık normu (temel ağırlık + LoRA ağırlığı) önbelleğe alınır.

Önbellekleme bağlamı içinde bile, model eğitim modundaysa önbellekleme devre dışı bırakılır. Model eğitim moduna geçtiğinde önbellek temizlenir.

>>> from peft.helpers import DoraCaching

>>> model.eval()  # put in eval model for caching to work

>>> with DoraCaching():  # use as a context manager
...     output = model(inputs)

>>> dora_caching = DoraCaching()
>>> dora_caching(enabled=True)  # permanently enable caching
>>> output = model(inputs)
>>> dora_caching(enabled=False)  # permanently disable caching
>>> output = model(inputs)

Modül başına / parametre başına koşul sayılarını hesaplamak ve en iyi LoRA hedeflerini döndürmek için hafif bir yardımcı araç.

Destekler:

• Klasik nn.Linear modülleri (LoraConfig içindeki target_modules)
• Llama-4, Qwen2_MoE, Qwen3_MoE, Mixtral, OLMoE ve benzeri modellerde kullanılan, 3B nn.Parameter olarak saklanan modern füzyonlu MoE ağırlıkları (gate_up_proj / down_proj, gate_proj / up_proj vb.). Bunlar target_parameters üzerinden döndürülür.

Notlar:

• Köşegen sayısı (condition number) hesabı SVD çalıştırılmasını gerektirir ve çok büyük modellerde birkaç dakika sürebilir. İlerleme çubuğu show_progress parametresiyle gösterilebilir veya devre dışı bırakılabilir.

KappaTune hedef seçimi için tek satırlık pratik işlev. Hem target_modules hem de target_parameters değerlerini döndürür.