Kết nối khoảng cách giữa thích ứng hạng thấp và thích ứng trực giao thông qua Thích ứng Phản xạ Householder (HRA)

HRA mang đến một góc nhìn mới kết nối LoRA với OFT, cho phép khai thác lợi thế của cả hai chiến lược bằng cách sử dụng Householder reflections để giảm số lượng tham số và chi phí tính toán, đồng thời hạn chế sự mất mát kiến thức từ quá trình huấn luyện trước. Phương pháp này liên tục đạt hiệu suất tốt hơn với ít tham số có thể huấn luyện hơn và vượt trội so với các adapter tiên tiến nhất trên nhiều mô hình khác nhau, bao gồm các mô hình ngôn ngữ lớn (LLM) và bộ tạo ảnh có điều kiện.

HRA xây dựng một chuỗi gồm r các phản xạ Householder (HR) có thể huấn luyện. Vì ma trận phản xạ Householder là một ma trận trực giao và tích của các ma trận trực giao cũng là một ma trận trực giao, HRA đáp ứng bảo đảm lý thuyết của Orthogonal Finetuning (OFT). Đồng thời, HRA cũng có thể được xem là một adapter fine-tuning hạng thấp. r, càng lớn, số tham số có thể huấn luyện càng nhiều, dẫn đến dung lượng mô hình lớn hơn và hiệu suất tốt hơn. Ngoài ra, do cấu trúc chuỗi, tính trực giao của các mặt phẳng HR ảnh hưởng đến dung lượng và tính quy tắc của HRA. Để đạt được sự cân bằng giữa dung lượng mô hình và tính quy tắc, một bộ điều hòa trực giao của các mặt phẳng HR được thêm vào hàm mất mát. Trọng số$\lambda$ có thể kiểm soát cường độ của bộ điều hòa.

Tóm tắt từ bài báo là:

Mặc dù đi theo các lộ trình kỹ thuật khác nhau, cả hai kỹ thuật thích ứng bậc thấp và thích ứng trực giao đều có thể thích ứng hiệu quả các mô hình tiền huấn luyện quy mô lớn cho các tác vụ hoặc lĩnh vực cụ thể dựa trên một lượng nhỏ tham số có thể huấn luyện. Trong nghiên cứu này, chúng tôi lấp đầy khoảng cách giữa hai kỹ thuật này, đề xuất một phương pháp thích ứng đơn giản nhưng hiệu quả dựa trên phản xạ Householder. Với một mô hình đã được tiền huấn luyện, phương pháp của chúng tôi tinh chỉnh các lớp của nó bằng cách nhân mỗi ma trận trọng số đóng băng với một ma trận trực giao được xây dựng từ một chuỗi các phản xạ Householder (HR) có thể học được. Việc tinh chỉnh trực giao dựa trên HR này tương đương với một thích ứng bậc thấp thích ứng. Hơn nữa, chúng tôi chỉ ra rằng tính trực giao của các mặt phẳng phản xạ tương ứng với các HR ảnh hưởng đến sức chứa và tính quy tắc của mô hình. Phân tích này thúc đẩy chúng tôi chuẩn hóa tính trực giao của các HR, dẫn đến các cách triển khai khác nhau của phương pháp thích ứng phản xạ Householder (HRA) được đề xuất. So với các phương pháp tiên tiến, HRA đạt được hiệu suất vượt trội với ít tham số có thể học hơn khi thích ứng các mô hình ngôn ngữ lớn và các bộ tạo ảnh có điều kiện. Mã nguồn có sẵn tại peft và HRA.

API

HRAConfig

HRAModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import HRAConfig, get_peft_model

>>> config_te = HRAConfig(
...     r=8,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     init_weights=True,
... )
>>> config_unet = HRAConfig(
...     r=8,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)