멋진 고급 LoRA 기법 10選

LoRA(Low-Rank Adaptation)는, 전체 모델을 다시 학습시키는 대신에 작은 저랭크 행렬을 추가하는 방식으로 효율적으로 모델을 파인튜닝할 수 있게 해 주는 대표적인 방법입니다.

다른 AI 분야와 마찬가지로, 이 분야도 계속해서 발전하고 있죠. 새로운 LoRA 기법들이 나오면서 효율성, 일반화 능력, 개인화라는 영역에서 모델의 능력을 한계까지 끌어올리고 있습니다.

꼭 알아둘 만한 최신의 LoRA 기법 10가지를 소개합니다:

1. Mixture-of-LoRA-experts
   여러 개의 저랭크 어댑터(LoRA)를 모델 레이어에 추가하고, 입력값에 따라서 가장 적합한 어댑터를 활성화하는 라우팅 메커니즘을 사용합니다. 이렇게 해서 모델이 새로운 상황에 더 잘 적응할 수 있습니다.
   

2. Amortized Bayesian Meta-Learning for LoRA (ABMLL)
   베이지안 프레임워크 안에서 전역(Global) 파라미터와 과제에 특화된(Task-specific) 파라미터를 균형있게 다뤄서, 불확실성을 더 잘 보정하면서도 새로운 과제에 대해서도 일반화를 잘 할 수 있게끔 합니다. 메모리나 연산 비용을 크게 늘리지 않고도요.
   

3. AutoLoRA
   공개된 LoRA들을 자동으로 검색하고 다이나믹하게 집계해서, 더 강력한 텍스트-이미지(T2I) 생성 성능을 가능하게 합니다.
   

4. aLoRA (Activated LoRA)
   LoRA를 호출 이후에만 적용하는 방식으로, 모델이 전체 대화의 KV 캐시를 재계산하지 않고 기본 모델의 KV 캐시를 재사용할 수 있도록 합니다. 멀티 턴 대화에서 효율성이 높아집니다.
   

5. LiLoRA (LoRA in LoRA)
   LoRA 행렬 A를 여러 과제 간에 공유하고, 행렬 B는 추가로 저랭크 분해해서 매개변수를 줄입니다. 이런 방식으로 연속적인 비전-텍스트 MLLM(멀티모달 대규모 언어모델)에서 효율성을 높여줍니다.
   

6. Sensitivity-LoRA
   이차 미분으로 측정한 민감도(Sensitivity)에 근거해서 가중치 행렬에 다이나믹하게 랭크를 할당합니다.

7. Semantic-guided LoRA (SG-LoRA)
   의미적 선호도(Semantic Preferences)에서 과제별 LoRA 파라미터를 생성해서, 새로운 과제에 대해 제로샷(Zero-shot) 적응이 가능할 뿐 아니라 개인정보까지 잘 보호하게끔 합니다.

8. PHLoRA (Post-hoc LoRA)
   파인튜닝 후의 가중치 차이를 저랭크 분해해서 LoRA 어댑터를 추출합니다.

9. LoRA-Gen
   대규모 클라우드 모델에서 LoRA 파라미터를 생성해서 소규모 엣지 모델에 제공하고, 이를 병합해서 효율적으로 과제에 특화하거나 추론을 빠르게 할 수 있게끔 해 줍니다.

10. DP-FedLoRA
    연합 학습(Federated On-device Fine-tuning) 과정에서 LoRA 행렬에 DP(Differential Privacy) 노이즈를 추가함으로써 더 강화된 개인정보 보호 기능을 제공합니다.

*읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요