매개변수

• r (int) — Lily의 랭크입니다. 각 어댑터의 내부 히든 차원과 가중치 업데이트 A @ B의 랭크를 결정합니다. Lily에서는 일반적으로 LoRA보다 어댑터 수가 적어 각 어댑터가 더 많은 용량을 가져야 하므로, LoRA에서 일반적으로 사용하는 랭크보다 더 큰 r 값을 사용하는 것이 권장됩니다. 보통은 LoRA 랭크의 2x, 3x, 또는 4x입니다. 학습 가능한 매개변수의 총 수는 r * (total_layers / stride_A + num_B)에 비례하므로, stride_A를 크게 유지하고 num_B를 작게 유지하면서 r을 늘리는 것이 권장되는 트레이드오프입니다.
• stride_A (int) — 하나의 A 어댑터를 공유하는 연속 레이어의 수입니다. 예를 들어, stride_A=4, 인 경우, 인접한 4개 레이어가 동일한 A 어댑터를 공유하여 총 total_layers / stride_A 개의 서로 다른 A 어댑터가 생성됩니다. A 어댑터는 입력을 크기 r. stride_A 보다 작지 않은 값이어야 합니다. 권장 값: 2, 3 또는 4 (즉, 2, 3 또는 4개 레이어마다 공유). stride_A를 크게 유지하고(서로 다른 A 어댑터의 수를 줄이고) 대신 r을 증가시키는 것이 반대 트레이드오프(작은 stride_A, 작은 r)보다 더 나은 성능을 제공합니다. stride_A=1로 설정하면 각 레이어가 자체 A 어댑터를 가집니다. 참고: A 공유는 각 target(동일한 target 접미사를 가진 레이어) 내에서 발생합니다. 예를 들어, target_modules가 ['q_proj', 'v_proj']이고 stride_A=2로 설정한 경우, 인접한 2개 q_proj 레이어는 A 어댑터를 공유하고, 인접한 2개 v_proj 레이어는 다른 A 어댑터를 공유하지만, 접미사가 다르기 때문에 q_proj와 v_proj 레이어는 서로 A 어댑터를 공유하지 않습니다.
  1. 권장 값: 2, 3 또는 4 (즉, 2, 3 또는 4개 레이어마다 공유). stride_A를 크게 유지하고(고유한 A 어댑터가 적음) 대신 r를 증가시키는 것이 반대되는 트레이드오프(작은 stride_A, 작은 r)보다 더 나은 성능을 제공합니다. stride_A=1로 설정하면 모든 레이어가 자체 A 어댑터를 가집니다. 참고: A 공유는 각 타겟 내에서 발생합니다(같은 타겟 접미사를 가진 레이어). 예를 들어, target_modules가 ['q_proj', 'v_proj']이고 stride_A=2로 설정한 경우, 인접한 q_proj 레이어 2개마다 A 어댑터를 공유하고, 인접한 v_proj 레이어 2개마다 다른 A 어댑터를 공유하지만, q_proj와 v_proj 레이어는 접미사가 다르므로 서로 A 어댑터를 공유하지 않습니다.
• num_B (int) — 공유되는 B 어댑터의 수입니다. A 어댑터(레이어별로 그룹화됨)와 달리, 모든 B 어댑터는 모든 레이어에 걸쳐 전역적으로 공유됩니다. 각 forward pass마다 라우터가 softmax 정규화된 가중치를 사용하여 모든 num_B개의 B 어댑터의 가중치 합을 계산하여 단일 결합된 B 어댑터를 생성하며, 이 어댑터는 저순위 표현을 원래 차원으로 다시 투영합니다. num_B은 total_layers / stride_A와 유사한 크기로 설정하는 것이 권장됩니다. 권장 값: total_layers / 2, total_layers / 3 또는 total_layers / 4. stride_A와 마찬가지로, 작은 r에 큰 num_B보다 큰 r에 작은 num_B를 선호하는 것이 좋습니다. 참고: 라우터를 학습하려면 라우터가 B 어댑터의 가중치 합을 계산하도록 학습하기 때문에 최소 2개의 B 어댑터(즉, num_B >= 2)가 필요합니다. 참고: B 공유는 각 타겟(동일한 타겟 접미사를 가진 레이어) 내에서 발생합니다. 예를 들어, target_modules가 ['q_proj', 'v_proj']이고 num_B=4로 설정한 경우, 모든 q_proj 레이어에 걸쳐 공유되는 4개의 B 어댑터와 모든 v_proj 레이어에 걸쳐 공유되는 다른 4개의 B 어댑터가 생성됩니다. 그러나 q_proj와 v_proj 레이어는 서로 다른 접미사를 가지므로 서로 B 어댑터를 공유하지 않습니다.
• target_modules (Union[List[str], str], 선택 사항) — Lily를 적용할 모듈의 이름입니다. 모듈 이름 문자열 목록(예: ['q_proj', 'v_proj']) 또는 정규식 패턴(예: '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$')을 사용할 수 있습니다. 지정하지 않으면 Lily는 모든 지원되는 linear layer에 적용됩니다.
• scaling (float) — 동결된 가중치의 forward pass에 합쳐진 어댑터 출력(scaling * A @ combined_B)을 더하기 전에 적용되는 스칼라 곱셈 인자입니다. LoRA와 달리 Lily는 alpha / r 수식을 사용하지 않고, 대신 scaling을 직접적인 곱셈 인자로 사용합니다. 이러한 설계 덕분에 로그 스케일(예: 0.01, 0.1, 1.0, 10.0)에서 값을 스윕하는 것이 간단해집니다. 최적의 값은 작업에 따라 달라지며 하이퍼파라미터로 취급해야 합니다. 1.0으로 시작하는 것을 권장합니다.
• modules_to_save (List[str], 선택 사항) — Lily 레이어를 제외한 최종 체크포인트에 학습 가능 상태로 설정되고 저장될 모듈 목록입니다. 예를 들어, 시퀀스 분류 또는 토큰 분류 작업에서 최종 레이어인 classifier/score는 무작위로 초기화되므로 학습 가능 상태로 설정되고 저장되어야 합니다.
• exclude_modules (Union[List[str], str], 선택 사항) — 어댑터를 적용하지 않을 모듈의 이름입니다. 문자열을 전달하면 정규식 매칭이 수행됩니다. 문자열 목록을 전달하면 정확한 매칭이 수행되거나, 모듈 이름이 전달된 문자열 중 하나로 끝나는지 확인됩니다.
• layers_to_transform (Union[list[int], int], 선택 사항) — 변환할 레이어 인덱스입니다. 이 인수가 지정되면 PEFT는 해당 리스트에 지정된 레이어 인덱스만 변환합니다. 단일 정수가 전달되면 PEFT는 해당 인덱스의 레이어만 변환합니다.
• layers_pattern (Optional[Union[List[str], str]], 선택 사항) — layers_to_transform가 None과 다르고 레이어 패턴이 공통 레이어 패턴에 없는 경우에만 사용되는 레이어 패턴 이름입니다. 이는 모델의 nn.ModuleList를 대상으로 해야 하며, 보통 'layers' 또는 'h'라고 불립니다.
• init_weights (bool) — 기본 초기화 스킴을 사용하여 Lily 어댑터 가중치를 초기화할지 여부: A 행렬은 Kaiming uniform으로, B 행렬은 0으로 초기화되어 학습 시작 시 어댑터 출력이 0이 되도록 하며 사전 학습된 모델을 방해하지 않습니다. 특별한 이유가 없는 한 True로 유지하는 것이 강력히 권장됩니다.

매개변수

• model (torch.nn.Module) — 적응할 모델.
• config (LilyConfig) — Lily 모델의 구성입니다.
• adapter_name (str) — 어댑터의 이름이며, 기본값은 "default"입니다.