تحقق مما إذا كان النموذج نموذج PEFT.

مدير سياق لإعادة مقياس مقياس مُكيّف LoRA مؤقتًا في نموذج.

تُستعاد قيم التوسيع الأصلية عند خروج مدير السياق. يعمل مدير السياق هذا مع نماذج transformers وdiffusers التي تم تحميل مُكيّفات LoRA فيها مباشرةً.

في حالة LoRA، فإن تطبيق مدير السياق هذا مع مُضاعِف ضمن المجال [0, 1] مكافئ تمامًا لتطبيق wise-ft (راجع #1940 للتفاصيل). يمكن أن يحسّن أداء النموذج إذا كان هناك انزياح في التوزيع بين بيانات التدريب المستخدمة للضبط الدقيق، وبيانات الاختبار المستخدمة أثناء الاستدلال.

تحذير: تم الإبلاغ عن أنه عند استخدام واجهة MPS من Apple لـ PyTorch، من الضروري إضافة فترة نوم قصيرة بعد الخروج من السياق قبل أن تُستعاد المقاييس بالكامل.

>>> model = ModelWithLoraLayer()
>>> multiplier = 0.5
>>> with rescale_adapter_scale(model, multiplier):
...     outputs = model(**inputs)  # Perform operations with the scaled model
>>> outputs = model(**inputs)  # The original scaling values are restored here

تعطّل مُدير السياق (Context manager) تحويل نوع البيانات المدخلة إلى نوع بيانات الوزن.

مدير سياق لتفعيل تخزين مؤقت لـ DoRA، مما يحسّن سرعة استنتاج DoRA على حساب الذاكرة.

مع التخزين المؤقت النشط، يتم تخزين وزن LoRA المادي (B @ A) ومعايير الوزن (الوزن الأساسي + وزن LoRA) في ذاكرة التخزين المؤقت.

حتى في سياق التخزين المؤقت، إذا كان النموذج في وضع التدريب، يتم تعطيل التخزين المؤقت. عند تحويل النموذج إلى وضع التدريب، سيتم مسح ذاكرة التخزين المؤقت.

>>> from peft.helpers import DoraCaching

>>> model.eval()  # put in eval model for caching to work

>>> with DoraCaching():  # use as a context manager
...     output = model(inputs)

>>> dora_caching = DoraCaching()
>>> dora_caching(enabled=True)  # permanently enable caching
>>> output = model(inputs)
>>> dora_caching(enabled=False)  # permanently disable caching
>>> output = model(inputs)

أداة خفيفة الوزن لحساب أرقام الحالة لكل وحدة / لكل معامل وإرجاع أفضل أهداف LoRA.

يدعم:

• وحدات nn.Linear التقليدية (معاملات target_modules في LoraConfig)
• أوزان MoE المدمجة الحديثة المخزنة على شكل nn.Parameter ثلاثي الأبعاد (gate_up_proj / down_proj، gate_proj / up_proj، إلخ) المستخدمة في Llama-4 وQwen2_MoE وQwen3_MoE وMixtral وOLMoE ونماذج مشابهة. تُعاد هذه الأوزان عبر target_parameters.

ملاحظات:

• يتطلب حساب رقم الشرط تشغيل تحليل القيم المفردة (SVD) وقد يستغرق عدة دقائق على النماذج الكبيرة جداً. يمكن إظهار شريط التقدم أو تعطيله عبر show_progress.

دالة مريحة من سطر واحد لاختيار هدف KappaTune. تُرجع كلًا من target_modules و target_parameters.