BOFT

Orthogonal Butterfly (BOFT) adalah metode generik yang dirancang untuk finetuning model fondasi. Metode ini meningkatkan efisiensi parameter dari paradigma finetuning — Orthogonal Finetuning (OFT), dengan mengambil inspirasi dari transformasi Fourier cepat Cooley-Tukey, dan menunjukkan hasil yang menguntungkan dalam finetuning berbagai model fondasi, termasuk large vision transformers, large language models, dan model difusi teks-ke-gambar.

Abstrak dari makalah tersebut adalah:

Model fondasi besar semakin umum digunakan, tetapi melatihnya dari awal sangat mahal. Oleh karena itu, mengadaptasi model-model yang kuat ini ke tugas turunan secara efisien menjadi semakin penting. Dalam makalah ini, kami mempelajari paradigma penyesuaian halus (finetuning) yang berprinsip — Orthogonal Finetuning (OFT) — untuk adaptasi tugas turunan. Meskipun menunjukkan kemampuan generalisasi yang baik, OFT masih menggunakan sejumlah parameter yang dapat dilatih yang cukup besar karena dimensi tinggi dari matriks ortogonal. Untuk mengatasi hal ini, kami memulai dengan memeriksa OFT dari perspektif transmisi informasi, dan kemudian mengidentifikasi beberapa kriteria utama yang memungkinkan efisiensi parameter yang lebih baik. Terinspirasi oleh cara algoritma transformasi Fourier cepat Cooley-Tukey memungkinkan transmisi informasi yang efisien, kami mengusulkan parameterisasi ortogonal yang efisien menggunakan struktur kupu-kupu (butterfly). Kami menerapkan parameterisasi ini ke OFT, menciptakan metode penyesuaian halus yang efisien parameter, yang disebut Orthogonal Butterfly (BOFT). Dengan menyerap OFT sebagai kasus khusus, BOFT memperkenalkan kerangka kerja penyesuaian halus ortogonal yang digeneralisasi. Terakhir, kami melakukan studi empiris yang luas tentang adaptasi transformer visi besar, model bahasa besar, dan model difusi teks-ke-gambar ke berbagai tugas turunan dalam visi dan bahasa.

BOFT berfokus pada pelestarian kemampuan generatif model pra-terlatih sambil menjadi jauh lebih efisien parameter dibandingkan OFT standar. Seperti OFT, BOFT mempertahankan kemiripan kosinus (hyperspherical energy) yang sama antara semua pasangan neuron dalam suatu lapisan dengan menerapkan transformasi ortogonal pada matriks bobot pra-terlatih, sehingga memastikan hubungan semantik di antara neuron tetap terjaga.

Alih-alih menggunakan matriks ortogonal blok-diagonal, BOFT memfaktorkan transformasi ortogonal menjadi hasil kali dari matriks kupu-kupu jarang (yang awalnya diperkenalkan dalam Cooley–Tukey FFT). Berbeda dengan rotasi blok-diagonal OFT yang hanya mencampur input di dalam setiap blok, struktur kupu-kupu menjamin bahwa setiap input dapat memengaruhi setiap output, menghasilkan konektivitas padat dengan hanya O(d log d) parameter. Faktorisasi ini mempertahankan ekspresivitas sambil mengurangi jumlah parameter secara drastis dibandingkan OFT (dengan mengorbankan waktu komputasi).

Dalam praktiknya, BOFT mengalikan setiap matriks bobot pralatih dengan rangkaian faktor ortogonal berstruktur kupu-kupu, memungkinkan rotasi neuron yang efisien dan ekspresif. Hal ini menjadikan BOFT sangat cocok untuk generasi yang dapat dikendalikan dan tugas di mana mempertahankan representasi subjek dari model pralatih sangat penting, sekaligus mampu diskalakan ke model yang lebih besar dengan overhead memori dan komputasi yang lebih rendah.

BOFT dapat diterapkan pada subset matriks bobot mana pun dalam jaringan saraf untuk mengurangi jumlah parameter yang dapat dilatih. Dengan diberikan lapisan target untuk menyuntikkan parameter BOFT, jumlah parameter yang dapat dilatih dapat ditentukan berdasarkan ukuran matriks bobot.

Ikhtisar benchmark

Menggabungkan bobot BOFT ke dalam model dasar

Mirip dengan LoRA, bobot yang dipelajari oleh BOFT dapat diintegrasikan ke dalam matriks bobot pralatih menggunakan fungsi [~BOFTModel.merge_and_unload(). Fungsi ini menggabungkan bobot adapter dengan model dasar, yang memungkinkan Anda menggunakan model gabungan baru secara efektif sebagai model mandiri.

Ini bekerja karena selama pelatihan, matriks bobot ortogonal (R pada diagram di atas) dan matriks bobot prapelatihan terpisah. Namun, begitu pelatihan selesai, bobot-bobot ini sebenarnya dapat digabungkan (dikalikan) menjadi matriks bobot baru yang ekuivalen.

Contoh Penggunaan BOFT

Untuk contoh penerapan metode BOFT pada berbagai tugas turunan, silakan merujuk pada panduan berikut:

Lihat panduan langkah demi langkah berikut tentang cara melakukan finetuning model dengan BOFT:

• Penyesuaian halus Dreambooth dengan BOFT
• Penyesuaian halus generasi yang dapat dikendalikan dengan BOFT (ControlNet)

Untuk tugas klasifikasi gambar, seseorang dapat menginisialisasi konfigurasi BOFT untuk model DinoV2 sebagai berikut:

import transformers
from transformers import AutoModelForSeq2SeqLM, BOFTConfig
from peft import BOFTConfig, get_peft_model

config = BOFTConfig(
    boft_block_size=4,
    boft_n_butterfly_factor=2,
    target_modules=["query", "value", "key", "output.dense", "mlp.fc1", "mlp.fc2"],
    boft_dropout=0.1,
    bias="boft_only",
    modules_to_save=["classifier"],
)

model = transformers.Dinov2ForImageClassification.from_pretrained(
    "facebook/dinov2-large",
    num_labels=100,
)

boft_model = get_peft_model(model, config)

API

BOFTConfig

BOFTModel

>>> import transformers
>>> from peft import BOFTConfig, get_peft_model

>>> config = BOFTConfig(
...     boft_block_size=8,
...     boft_n_butterfly_factor=1,
...     target_modules=["query", "value", "key", "output.dense", "mlp.fc1", "mlp.fc2"],
...     boft_dropout=0.1,
...     bias="boft_only",
...     modules_to_save=["classifier"],
... )

>>> model = transformers.Dinov2ForImageClassification.from_pretrained(
...     "facebook/dinov2-large",
...     num_labels=100,
... )
>>> boft_model = get_peft_model(model, config)