PEANuT: Adaptasi Efisien Parameter dengan Tweaker Neural yang Menyadari Bobot

PEANuT adalah teknik fine-tuning yang efisien secara parameter, yang memperkenalkan neural tweakers yang sadar bobot untuk menghasilkan pembaruan adapter dari bobot pretrained yang dibekukan itu sendiri. Alih-alih mempelajari pembaruan low-rank yang murni linear seperti pada LoRA, PEANuT mengondisikan transformasi adapter pada bobot dasar, yang membuat aturan pembaruan lebih ekspresif sambil tetap menjaga jumlah parameter yang dapat dilatih tetap kecil.

PEANuT menggunakan proyeksi input A, proyeksi output B, dan pasangan encoder/decoder residual antara yang opsional dengan aktivasi non-linear. Hal ini memungkinkan pemodelan pola pembaruan yang lebih kompleks daripada adapter linear yang agnostik terhadap bobot, sambil tetap berada dalam pengaturan PEFT.

PEANuT saat ini memiliki beberapa tradeoff berikut:

Kelebihan:

• Ekspresivitas teoretis yang lebih tinggi daripada pembaruan peringkat rendah linear.
• Performa yang lebih baik daripada LoRA pada berbagai tugas dengan anggaran yang serupa.
• Berjalan dengan baik pada rentang parameter yang sangat rendah, misalnya sekitar 0.2M parameter yang dapat dilatih.

Kekurangan:

• Penggunaan memori lebih tinggi daripada LoRA, karena ΔW secara eksplisit dibangun sebelum diterapkan.
• Pelatihan dan inferensi lebih lambat daripada LoRA, dan lapisan perantara yang lebih dalam meningkatkan overhead lebih lanjut.
• Non-linearitas dapat memerlukan penyetelan hiperparameter yang lebih cermat, terutama untuk learning rate dan pengaturan optimasi terkait.

Jika tradeoff ini tidak sesuai dengan use case Anda, pertimbangkan metode PEFT lain seperti LoRA.

Abstrak dari makalah tersebut adalah:

Fine-tuning model fondasi pra-terlatih yang besar sering kali menghasilkan kinerja hilir yang sangat baik, tetapi biayanya sangat mahal ketika memperbarui semua parameter. Metode fine-tuning yang efisien secara parameter (PEFT) seperti LoRA meringankan masalah ini dengan memperkenalkan modul pembaruan yang ringan, namun mereka umumnya mengandalkan aproksimasi linear yang agnostik terhadap bobot, yang membatasi ekspresivitasnya. Dalam karya ini, kami mengusulkan PEANuT, sebuah kerangka kerja PEFT baru yang memperkenalkan neural tweakers yang sadar bobot, yaitu modul neural ringkas yang menghasilkan pembaruan yang adaptif terhadap tugas dengan dikondisikan pada bobot pra-terlatih yang dibekukan. PEANuT menyediakan cara yang fleksibel namun efisien untuk menangkap pola pembaruan yang kompleks tanpa penyetelan model penuh. Kami menunjukkan secara teoretis bahwa PEANuT mencapai ekspresivitas yang setara atau lebih besar daripada metode PEFT linear yang ada dengan jumlah parameter yang sebanding atau lebih sedikit. Eksperimen ekstensif di empat benchmark dengan lebih dari dua puluh dataset menunjukkan bahwa PEANuT secara konsisten melampaui baseline yang kuat dalam tugas NLP dan visi, sambil mempertahankan overhead komputasi yang rendah.

Ikhtisar benchmark

API

PeanutConfig

PeanutModel