AdaLoRA

AdaLoRA (Adaptive LoRA) là một phương pháp tối ưu hóa số lượng tham số có thể huấn luyện để gán cho các ma trận trọng số và các lớp, khác với LoRA vốn phân bổ tham số đều cho tất cả các module. Các ma trận trọng số và lớp quan trọng sẽ được cấp nhiều tham số hơn, trong khi những phần ít quan trọng hơn nhận ít tham số hơn. Bạn có thể kiểm soát rank trung bình mong muốn hoặc r của các ma trận, cũng như các module cần áp dụng AdaLoRA thông qua target_modules. Các tham số quan trọng khác cần thiết lập là lora_alpha (hệ số tỷ lệ) và modules_to_save (các module ngoài các lớp AdaLoRA cần được huấn luyện và lưu lại). Tất cả các tham số này - và nhiều hơn nữa - đều có trong AdaLoraConfig.

Tóm tắt từ bài báo là:

Việc tinh chỉnh các mô hình ngôn ngữ tiền huấn luyện lớn trên các tác vụ hạ nguồn đã trở thành một phương thức quan trọng trong NLP. Tuy nhiên, thông lệ phổ biến là tinh chỉnh tất cả các tham số trong một mô hình tiền huấn luyện, điều này trở nên không khả thi khi có một số lượng lớn các tác vụ hạ nguồn. Do đó, nhiều phương pháp tinh chỉnh đã được đề xuất để học các cập nhật tăng dần của trọng số tiền huấn luyện theo cách hiệu quả về mặt tham số, chẳng hạn như các phần tăng bậc thấp. Các phương pháp này thường phân bổ đều ngân sách cập nhật tăng dần cho tất cả các ma trận trọng số tiền huấn luyện và bỏ qua tầm quan trọng khác nhau của các tham số trọng số khác nhau. Hệ quả là, hiệu suất tinh chỉnh không đạt tối ưu. Để lấp đầy khoảng trống này, chúng tôi đề xuất AdaLoRA, phương pháp phân bổ thích ứng ngân sách tham số giữa các ma trận trọng số dựa trên điểm quan trọng của chúng. Cụ thể, AdaLoRA tham số hóa các cập nhật tăng dần dưới dạng phân rã giá trị riêng. Cách tiếp cận mới颖 này cho phép chúng tôi cắt tỉa hiệu quả các giá trị riêng của các cập nhật không quan trọng, về bản chất là giảm ngân sách tham số của chúng nhưng tránh các tính toán SVD chính xác phức tạp. Chúng tôi tiến hành các thí nghiệm rộng rãi với một số mô hình tiền huấn luyện trên xử lý ngôn ngữ tự nhiên, trả lời câu hỏi và tạo ngôn ngữ tự nhiên để xác minh hiệu quả của AdaLoRA. Kết quả cho thấy AdaLoRA thể hiện sự cải thiện đáng kể so với các phương pháp cơ sở, đặc biệt là trong các cài đặt ngân sách thấp. Mã nguồn của chúng tôi được công khai tại https://github.com/QingruZhang/AdaLoRA.

AdaLoRA có phương thức update_and_allocate() cần được gọi ở mỗi bước huấn luyện để cập nhật ngân sách tham số và mặt nạ, nếu không thì bước thích ứng sẽ không được thực hiện. Điều này đòi hỏi phải viết một vòng lặp huấn luyện tùy chỉnh hoặc kế thừa lớp Trainer để tích hợp phương thức này. Ví dụ, hãy xem vòng lặp huấn luyện tùy chỉnh này.

AdaLoRA quản lý ngân sách tham số được giới thiệu từ LoRA bằng cách phân bổ nhiều tham số hơn - nói cách khác, một bậc (rank) cao hơn r - cho các ma trận trọng số quan trọng, phù hợp hơn với tác vụ, và cắt giảm những ma trận kém quan trọng hơn. Bậc được kiểm soát bằng một phương pháp tương tự phân tích giá trị riêng (SVD). $\Delta W$ được tham số hóa bằng hai ma trận trực giao và một ma trận đường chéo chứa các giá trị riêng. Phương pháp tham số hóa này tránh việc áp dụng SVD lặp đi lặp lại, vốn tốn kém về mặt tính toán. Dựa trên phương pháp này, bậc của $\Delta W$ được điều chỉnh theo một điểm số quan trọng. $\Delta W$ được chia thành các bộ ba (triplet) và mỗi bộ ba được chấm điểm theo mức đóng góp của nó vào hiệu suất mô hình. Các bộ ba có điểm số quan trọng thấp sẽ bị cắt giảm, trong khi các bộ ba có điểm số quan trọng cao sẽ được giữ lại để tinh chỉnh.

Huấn luyện với AdaLoRA có ba giai đoạn: giai đoạn khởi tạo, giai đoạn phân bổ ngân sách và giai đoạn cuối. Trong giai đoạn khởi tạo, không áp dụng phân bổ ngân sách, do đó các rank không bị thay đổi. Trong giai đoạn phân bổ ngân sách, quy trình được mô tả ở trên được áp dụng và rank được phân phối lại theo một ngân sách, nhằm cấp nhiều rank hơn cho các adapter quan trọng hơn và ít rank hơn cho các lớp ít quan trọng hơn. Khi đạt đến giai đoạn cuối, quá trình phân bổ ngân sách đã kết thúc, các rank được phân phối lại nhưng chúng ta có thể tiếp tục huấn luyện trong một thời gian với các rank đã phân phối lại để cải thiện hiệu suất thêm nữa.

Mời đóng góp: Phần này cần được làm rõ.

Cách đo lường mức độ quan trọng chưa rõ ràng. Các phần giải thích cũng hơi trùng lặp và có thể được gộp lại cho gọn. Xem tại đây để biết cách đóng góp.

Tổng quan về benchmark

Cách sử dụng

from peft import AdaLoraConfig, get_peft_model

config = AdaLoraConfig(
    r=8,
    init_r=12,
    tinit=200,
    tfinal=1000,
    deltaT=10,
    target_modules=["query", "value"],
    modules_to_save=["classifier"],
)
model = get_peft_model(model, config)
model.print_healthcheck()

[... training code ...]

model.update_and_allocate(step_idx)

API

AdaLoraConfig

AdaLoraModel

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import AdaLoraConfig, get_peft_model

>>> config = AdaLoraConfig(
...     peft_type="ADALORA",
...     task_type="SEQ_2_SEQ_LM",
...     init_r=12,
...     lora_alpha=32,
...     target_modules=["q", "v"],
...     lora_dropout=0.01,
...     total_step=1000,
... )
>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> adalora_model = get_peft_model(model, config)

>>> loss = model(**input).loss
>>> loss.backward()
>>> optimizer.step()
>>> model.base_model.update_and_allocate(i_step)
>>> optimizer.zero_grad()