مونتوكلورا (مونتوكلوورا)

هذا متغيّر من LoRA، وبالتالي كل ما هو ممكن باستخدام LoRA صالح لهذه الطريقة ما لم يُذكر خلاف ذلك في هذه الصفحة.

يغلّف MonteCLoRA مُكيّف LoRA قياسيًّا بوحدة تباينية صغيرة ترسم عينات مونت كارلو من الاضطرابات العشوائية فوق مصفوفة A الخاصة بـ LoRA أثناء التدريب. وبشكل محدد، يتعلم معاملات تباينية (تباين مبني على توزيع Wishart، وحَد ضوضاء طبيعي متعدد المتغيرات لكل عينة، وترجيح توزيع Dirichlet على العينات) ويضيف الاضطراب المُتوسط الناتج إلى lora_A في كل تمريرة أمامية. يُضاف حدّ تباعد KL + إنتروبيا إلى خسارة التدريب للحفاظ على تثبيت هذه المعاملات التباينية على مسبق معقول. في وقت الاستدلال، يُعطَّل المُعيّن ويتصرف MonteCLoRA تمامًا مثل مُكيّف LoRA عادي، لذا لا يوجد تكلفة استدلال إضافية أو معاملات إضافية للدمج. للاطلاع على الطريقة الكاملة راجع https://huggingface.co/papers/2411.04358.

قد ترغب في النظر في MonteCLoRA عندما:

• أنت تقوم بضبط دقيق على مجموعة بيانات صغيرة أو مليئة بالضوضاء، وتريد تنظيمًا أقوى من LoRA العادي. تعمل عملية المتوسطات بطريقة مونت كارلو مع حد KL معًا كمنظم بأسلوب بايزي.
• تريد الحصول على معايرة أفضل لعدم اليقين / متانة أعلى من مُكيّفك دون دفع تكلفة إضافية في وقت الاستدلال (فآلية التباين تُستخدم في التدريب فقط).
• تتسبب تقنية LoRA الأساسية في الإفراط في التخصيص، ولا يكفي خفض r أو زيادة lora_dropout.

ربما لا تحتاج إلى MonteCLoRA عندما تمتلك مجموعة بيانات كبيرة ونظيفة، وكان LoRA العادي يتدرّب بشكل مستقر بالفعل — في ذلك النطاق، تضيف المعاملات التباينية الإضافية في الغالب عبئًا على التدريب دون فائدة كبيرة.

لتفعيل MonteCLoRA، مرّر MontecloraConfig إلى LoraConfig:

from peft import LoraConfig, MontecloraConfig

monteclora_config = MontecloraConfig(
    num_samples=8,         # number of Monte Carlo samples per forward pass
    sample_scaler=1e-4,    # magnitude of the variational perturbation
    kl_loss_weight=1e-5,   # weight of the KL term added to the training loss
)
config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    monteclora_config=monteclora_config,
)

أثناء التدريب، يجب عليك إضافة خسارة التنظيم التبايني إلى خسارة المهمة. أبسط طريقة هي استدعاء LoraModel._get_monteclora_loss() على LoraModel الأساسي:

task_loss = ...  # standard loss returned by your model
monteclora_loss = model._get_monteclora_loss()  # 0.0 if MonteCLoRA is not used
total_loss = task_loss + monteclora_loss
total_loss.backward()

إذا كنت تتدرب باستخدام Trainer الخاص بـ HF، يمكنك ببساطة دمج peft.helpers.MontecloraTrainerMixin الذي يقوم بذلك نيابةً عنك في compute_loss:

from transformers import Trainer
from peft.helpers import MontecloraTrainerMixin


class MontecloraTrainer(MontecloraTrainerMixin, Trainer):
    pass

يتوفر مثال عملي كامل في examples/monteclora_finetuning.

واجهة برمجة التطبيقات

MonteCloraConfig