VeRA: Adaptasi Matriks Acak Berbasis Vektor

VeRA adalah teknik fine-tuning yang efisien dalam hal parameter, mirip dengan LoRA tetapi membutuhkan parameter tambahan yang bahkan lebih sedikit sambil menjanjikan kinerja yang serupa atau bahkan lebih baik. Oleh karena itu, teknik ini sangat berguna ketika anggaran parameter sangat terbatas, misalnya saat menskalakan ke model yang sangat besar. Pengurangan jumlah parameter yang dapat dilatih dicapai dengan berbagi matriks ber-rank rendah yang sama di semua lapisan, dan hanya melatih dua vektor tambahan per lapisan.

Cara kerja VeRA

LoRA memperbarui model dasar yang dibekukan dengan mempelajari dua matriks kecil ber-rank rendah untuk setiap lapisan yang diadaptasi. Rank adalah dimensi dalam dari matriks-matriks ini, dan mengontrol seberapa besar kapasitas yang dimiliki adapter. Dalam LoRA, meningkatkan r atau mengadaptasi lebih banyak lapisan akan meningkatkan jumlah parameter yang dapat dilatih dengan cepat karena setiap lapisan yang diadaptasi mempelajari pasangannya sendiri dari matriks ber-rank rendah.

VeRA mempertahankan ide adaptasi rank rendah yang sama tetapi mengubah parameter mana yang dilatih. Alih-alih mempelajari matriks rank rendah terpisah untuk setiap lapisan, VeRA menggunakan satu pasangan matriks rank rendah yang dibekukan dan diinisialisasi secara acak, A dan B, yang dibagikan di antara lapisan. Setiap lapisan yang diadaptasi hanya mempelajari dua vektor penskalaan, vera_lambda_d dan vera_lambda_b, yang menskalakan ulang matriks bersama untuk menghasilkan pembaruan yang spesifik untuk lapisan tersebut. Karena vera_lambda_d memiliki ukuran r, jumlah parameter yang dapat dilatih pada VeRA tetap meningkat seiring dengan r dan jumlah lapisan yang diadaptasi. Namun, pertumbuhannya jauh lebih lambat daripada LoRA karena matriks A dan B yang besar dibagikan dan dibekukan, bukan dipelajari secara terpisah untuk setiap lapisan.

Inilah mengapa VeRA dapat menggunakan lebih sedikit parameter yang dapat dilatih dibandingkan LoRA. Dalam penghitungan parameter yang disederhanakan dari makalah tersebut, LoRA skala dengan 2 * L_tuned * d_model * r, di mana L_tuned adalah jumlah lapisan yang diadaptasi, d_model adalah dimensi model, dan r adalah rank. VeRA skala dengan L_tuned * (d_model + r) karena matriks rank rendah yang besar dibagikan dan dibekukan, sementara hanya vektor per lapisan yang lebih kecil yang dilatih.

Saat menyimpan parameter adapter, Anda dapat memilih untuk tidak menyimpan matriks rank rendah dengan mengatur save_projection=False pada VeraConfig. Dalam kasus tersebut, matriks ini akan dipulihkan berdasarkan seed acak tetap dari argumen projection_prng_key. Hal ini mengurangi ukuran checkpoint, tetapi kami tidak dapat menjamin reproduktibilitas di semua perangkat dan untuk semua versi PyTorch di masa depan. Jika Anda ingin memastikan reproduktibilitas, atur save_projection=True (yang merupakan nilai default).

Untuk menangani bentuk lapisan yang diadaptasi yang berbeda, VeRA menginisialisasi matriks A dan B bersama dengan ukuran terbesar yang diperlukan untuk setiap dimensi. Selama jalur maju, submatriks A dan B untuk lapisan tertentu dipotong dari matriks bersama ini dan digunakan seperti yang dijelaskan dalam makalah. Sebagai contoh, mengadaptasi dua lapisan linear dengan bentuk (100, 20) dan (80, 50) akan membuat matriks A dan B dengan bentuk (rank, 50) dan (100, rank) masing-masing. Kemudian, untuk mengadaptasi lapisan dengan bentuk (100, 20), submatriks A dan B dengan bentuk (rank, 20) dan (100, rank) akan diekstrak.

VeRA saat ini memiliki batasan berikut:

• Hanya lapisan nn.Linear yang didukung.

Abstrak dari makalah tersebut adalah:

Adaptasi peringkat rendah (LoRA) adalah metode populer yang mengurangi jumlah parameter yang dapat dilatih saat melakukan penyesuaian halus (finetuning) pada model bahasa besar, namun masih menghadapi tantangan penyimpanan yang serius saat diskalakan ke model yang lebih besar lagi atau saat mendeploikan banyak model yang telah diadaptasi per pengguna atau per tugas. Dalam karya ini, kami memperkenalkan Adaptasi Matriks Acak Berbasis Vektor (VeRA), yang secara signifikan mengurangi jumlah parameter yang dapat dilatih dibandingkan dengan LoRA, namun tetap mempertahankan kinerja yang sama. Hal ini dicapai dengan menggunakan satu pasang matriks peringkat rendah yang dibagikan di semua lapisan dan mempelajari vektor penskalaan kecil sebagai gantinya. Kami mendemonstrasikan efektivitasnya pada benchmark GLUE dan E2E, tugas klasifikasi gambar, serta menunjukkan penerapannya dalam penyetelan instruksi (instruction-tuning) pada model bahasa 7B dan 13B.

Kapan menggunakan VeRA

VeRA adalah pilihan yang tepat ketika:

• Anda ingin meminimalkan jumlah parameter yang dapat dilatih sambil mempertahankan kinerja yang sebanding dengan LoRA.
• Anda perlu menyimpan atau mendeploy banyak adapter yang spesifik untuk tugas tertentu, di mana checkpoint adapter yang lebih kecil mengurangi kebutuhan penyimpanan.
• Anda sedang melakukan fine-tuning pada model bahasa yang sangat besar dengan anggaran memori atau parameter yang ketat.

Kapan tidak menggunakan VeRA

VeRA mungkin bukan pilihan terbaik ketika:

• Anda memerlukan matriks ber-rank rendah yang independen untuk setiap lapisan yang diadaptasi, sehingga memberikan fleksibilitas yang lebih besar pada parameter adapter yang dipelajari.
• Model Anda memerlukan penyesuaian tipe modul selain nn.Linear, karena VeRA saat ini hanya mendukung lapisan linear.
• Model Anda berisi lapisan linear yang diadaptasi dengan dimensi input dan output yang sangat berbeda. Karena VeRA berbagi satu pasang matriks proyeksi di seluruh lapisan yang diadaptasi, matriks ini harus berukuran sesuai dengan bentuk terbesar. Model dengan variasi bentuk lapisan yang besar (misalnya, lapisan proyeksi up dan down pada transformer) dapat memerlukan over-provisioning matriks proyeksi bersama, sehingga mengurangi sebagian keunggulan efisiensi parameter VeRA.

Ikhtisar benchmark

API

VeRAConfig

VeRAModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import VeraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = VeraConfig(r=128)
>>> model = get_peft_model(base_model, config)