PaCA: 부분 연결 적응

PaCA(ICLR 2025)는 학습 속도와 활성화 메모리를 목표로 하는 PEFT 방법입니다. 각 대상 사전 학습 가중치의 r개의 무작위로 선택된 입력 열(“부분 연결”)을 미세 조정합니다. 학습 가능한 매개변수는 이러한 열의 업데이트만이며, LoRA와 달리 PaCA는 추가적인 저랭크 행렬을 추가하지 않습니다.

LoRA와 같은 방법은 사전 학습된 각 레이어 옆에 작은 저랭크(low-rank) 브랜치를 실행합니다. 이 브랜치는 적은 FLOPs가 필요하지만, 사전 학습된 레이어와 순차적으로 실행되며 역전파를 위해 입력 활성화의 자체 복사본을 유지합니다. PaCA는 이 두 가지 문제를 모두 피합니다:

• 레이어당 GEMM 1회. 적응된 열은 해당 matmul 직전에 사전 학습된 가중치에 기록되고, matmul 직후에 원래대로 복원됩니다. 따라서 forward와 backward 모두 동결된 베이스 레이어와 동일하게 matmul을 한 번만 실행합니다.
• 부분 활성화. 적응된 열의 기울기는 일치하는 r개의 입력 채널에만 의존하므로, 전체 입력 대신 역전파를 위해 해당 채널만 저장됩니다.

결과 가중치의 관점에서, PaCA 어댑터는 A 행렬이 고정된 열 선택기인 랭크 r의 LoRA 어댑터와 동등합니다: W' = W + delta @ S에서 S가 r개의 열을 선택합니다. 따라서 convert_to_lora()를 통해 손실 없이 랭크 r의 LoRA 어댑터로 변환할 수 있으며, 예를 들어 LoRA 추론 스택으로 서빙하는 데 사용할 수 있습니다.

PaCA를 사용할 때:

• LoRA 수준의 정확도를 유지하면서 더 빠른 fine-tuning 단계와 더 낮은 activation memory를 원합니다. 예를 들어, 동일한 GPU에서 더 긴 시퀀스나 더 큰 batch를 처리하기 위한 경우입니다.
• base weights에 정확히 병합되는 어댑터(업데이트가 단순한 컬럼 업데이트인 경우)가 필요합니다.

현재 제약 사항:

• nn.Linear 레이어(양자화 선형 레이어 포함)만 지원됩니다.
• PaCA는 base layer의 forward를 호출하는 대신 matmul을 직접 실행하므로, base layer에 등록된 forward hook은 호출되지 않습니다(경고 메시지가 출력됩니다). 대신 PaCA layer에 hook을 등록하세요.
• Mixed adapter batches(adapter_names 인자)는 지원되지 않습니다.
• sharded weights(FSDP, DeepSpeed ZeRO-3)을 사용한 학습은 아직 테스트되지 않았습니다.
• torch.compile이 지원됩니다: 컴파일 시 컬럼 스왑, matmul 및 restore가 불투명한 커스텀 오프(torch.ops.peft.paca_linear_forward/_backward)로 실행되므로 컴파일러가 베이스 가중치를 복사하지 않습니다. 이를 위해 torch.library.custom_op(PyTorch >= 2.4)이 필요하며, 그렇지 않으면 eager 구현이 추적됩니다.
• paca_alpha / r은 열 업데이트를 스케일링하므로, 사실상 학습률의 배율 역할을 합니다.
• 추론을 위해 어댑터를 병합(merge_and_unload())하세요. 병합되지 않은 forward는 여전히 모든 호출 시 컬럼을 반복적으로 교체합니다.

사용

from transformers import AutoModelForCausalLM
from peft import PacaConfig, get_peft_model

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-3B")
config = PacaConfig(r=16, paca_alpha=16, target_modules="all-linear", random_seed=0)
model = get_peft_model(model, config)
model.print_trainable_parameters()

기본적으로 대상이 되는 모든 레이어는 r개의 컬럼을 무작위로 선택하여 파인튜닝합니다. 해당 논문에서는 이 방식이 가중치 노름 또는 누적 그래디언트에 따라 컬럼을 선택하는 방식과 동등한 성능을 보였습니다. 컬럼을 직접 선택하려면, 예를 들어 다른 선택 전략을 시도하거나 레이어당 다른 수의 컬럼을 사용하려면 paca_indices_pattern을 전달하세요. 그 키는 LoRA의 rank_pattern와 마찬가지로 레이어 이름 또는 정규식입니다:

config = PacaConfig(
    r=16,
    paca_alpha=16,
    target_modules=["q_proj", "v_proj"],
    paca_indices_pattern={"layers.0.self_attn.q_proj": [0, 2, 4, 6], "layers.1.self_attn.v_proj": list(range(32))},
)

키와 일치하는 레이어는 주어진 열을 fine-tune하고, 나머지 대상 레이어는 r개의 무작위 열을 선택합니다. 스케일링은 모든 레이어에서 config의 r를 사용하여 paca_alpha / r로 계산되므로, paca_alpha는 모든 레이어에서 동일한 의미를 가집니다.

해당 논문의 초록은 다음과 같습니다:

이전 파라미터 효율적 파인튜닝(PEFT) 알고리즘은 전체 모델이 아닌 소수의 추가 어댑터 파라미터만 학습시킴으로써 대규모 신경망 모델의 파인튜닝에 필요한 메모리 사용량과 계산 비용을 줄입니다. 그러나 PEFT에 따른 계산 비용 감소가 반드시 학습 시간 감소로 이어지지는 않습니다. 어댑터 레이어의 계산 비용은 사전 학습된 레이어보다 훨씬 작지만, 이 두 유형의 레이어가 GPU에서 순차적으로 처리되어 상당한 지연 오버헤드가 발생한다는 것은 잘 알려진 사실입니다. LoRA와 그 변형들은 추론 시 저랭크 어댑터 행렬을 사전 학습된 가중치와 병합하여 이러한 지연 오버헤드를 피합니다. 그러나 학습 중에는 저랭크 어댑터 행렬이 지속적으로 업데이트되는 동안 사전 학습된 가중치가 동결된 상태를 유지해야 하므로 해당 레이어를 병합할 수 없습니다. 또한 LoRA와 그 변형들은 첫 번째 저랭크 어댑터 행렬이 가중치 기울기를 계산하기 위해 사전 학습된 가중치의 입력 활성화가 여전히 필요하기 때문에 활성화 메모리를 줄이지 못합니다. 이 문제를 완화하기 위해, 우리는 모델에 어댑터 레이어를 도입하는 대신 사전 학습된 가중치 내에서 무작위로 선택된 부분 연결을 파인튜닝하는 Partial Connection Adaptation(PaCA)을 제안합니다. PaCA는 어댑터 레이어와 사전 학습된 레이어의 순차적 처리로 인한 시간 오버헤드를 제거하여 학습 속도를 향상시킬 뿐만 아니라, 기울기 계산에 전체 활성화가 아닌 부분 활성화만 저장하면 되므로 활성화 메모리도 줄입니다. LoRA와 비교할 때, PaCA는 MMLU 데이터셋에서의 파인튜닝과 Oasst1 데이터셋에서의 지시 튜닝과 같은 다양한 파인튜닝 시나리오에서 유사한 정확도를 유지하면서 학습 시간을 22%, 총 메모리 사용량을 16% 줄입니다. PaCA는 양자화와도 결합할 수 있어 LLaMA3.1-70B와 같은 대규모 모델의 파인튜닝을 가능하게 합니다. 또한 PaCA는 LoRA에 비해 NVIDIA A100 GPU와 INTEL Gaudi2 HPU 모두에서 23% 더 긴 시퀀스로 학습할 수 있고 처리량을 16% 향상시킵니다.

벤치마크 개요

API

PacaConfig

PacaModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import PacaConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = PacaConfig(r=16, paca_alpha=16, target_modules="all-linear")
>>> model = get_peft_model(base_model, config)