C3A: الضبط الدقيق الفعال من حيث المعلمات عبر الالتفاف الدائري

C3A هي تقنية ضبط دقيق فعّالة من حيث المعلمات تستفيد من الالتفاف الدائري (Circular Convolution) لتحقيق تكيّف عالي الرتبة ضمن حدود موارد معقولة.

لاحظ أنه يجب استخدام معدل تعلّم (LR) أكبر بكثير لطريقة C3A مقارنةً بالطرق الأخرى. على سبيل المثال، يُعد معدل تعلّم بقيمة 1e-1 نقطة انطلاق جيدة لطريقة C3A. بالإضافة إلى ذلك، يجب استخدام تراجع وزن (weight decay) أصغر بكثير. يمكنك الرجوع إلى مجلد method_comparison لمزيد من التفاصيل.

بالنسبة إلى block_size, ، يؤثر على المعلمات القابلة للضبط والأداء. للبدء، يمكنك اختيار $\mathrm{gcd}(d_1,d_2)$ قريب من $\frac{\sqrt{d_1 \times d_2}}{r}$، حيث $r$ هو الرتبة الخاصة بـ LoRA التي ستستخدمها لهذه المهمة.

تخضع C3A حاليًا للقيود التالية:

• يتم دعم طبقات nn.Linear فقط.
• لا يتم دعم الطبقات المُكمّاة.
• يجب أن يكون حجم الكتلة قاسماً مشتركاً لكل من حجم المدخلات وحجم المخرجات للطبقات المستهدفة.

إذا لم تكن هذه القيود مناسبة لحالتك، فكّر في استخدام طرق أخرى بدلاً منها.

ملخص الورقة البحثية هو:

اكتسبت تقنية Low-Rank Adaptation (LoRA) شعبيةً واسعةً في ضبط نماذج الأساس الكبيرة، مستفيدةً من مصفوفات منخفضة الرتبة $\mathbf{A}$ و $\mathbf{B}$ لمثل تغييرات الأوزان (أي $\Delta \mathbf{W} = \mathbf{B} \mathbf{A}$). تقلل هذه الطريقة من عدد المعاملات القابلة للتدريب وتخفف من استهلاك الذاكرة الكبير المرتبط بمصفوفات الدلتا الكاملة، وذلك عبر الضرب التسلسلي لـ $\mathbf{A}$ و $\mathbf{B}$ مع التفعيل. وعلى الرغم من نجاحها، فإن الخاصية الجوهرية ذات الرتبة المنخفضة قد تحدّ من أدائها. وعلى الرغم من اقتراح عدة متغيرات لمعالجة هذه المشكلة، إلا أنها غالبًا ما تتجاهل الكفاءة الحسابية والذاكرة الجوهرية التي توفرها LoRA. في هذه الورقة، نقترح Circular Convolution Adaptation (C3A)، الذي لا يحقق فقط تكيّفًا عالي الرتبة مع أداء محسّن، بل يتفوق أيضًا في كل من القدرة الحسابية واستخدام الذاكرة. تُظهر التجارب الواسعة أن C3A يتفوق باستمرار على LoRA ومتغيراته عبر مهام الضبط المختلفة.

نظرة عامة على الاختبارات

واجهة برمجة التطبيقات

C3AConfig

C3AModel