LLM 파인튜닝을 위한 LoRA와 그 파생 기법 12選

최근에 튜링 포스트 코리아의 AI 101 에피소드에서 세 가지의 LoRA 파생 기법 - DoRA, QLoRA, QDoRA - 에 대해 살펴본 적이 있는데요. 이것들을 포함해서 살펴보니 훨씬 더 많은 LoRA의 파생 기법들이 있더라구요. 역시 LoRA 자체가 ‘모델의 파라미터들 중에 일부만 수정하면 되는 방식으로, 파인튜닝을 쉽고 빠르게, 메모리도 덜 쓰면서 할 수 있으니’, 가장 인기있고 잘 알려져 있는, 그리고 효율적인 파인튜닝 기법 중 하나고, 특정한 시나리오에 맞게 LoRA를 업그레이드해서 더 효율적으로 사용할 수 있는 방법들이 많구나 생각이 들었습니다.

자, 여기 파인튜닝을 도와줄 12가지의 LoRA 패밀리에 대한 자료를 뽑아서 정리해 봤습니다:

• Token #1.11: What is Low-Rank Adaptation (LoRA)? 튜링 포스트의 이 글 (영문)은 LoRA 기법이 어떤 원리로 작동하는지, 어떻게 더 효율적이고 적은 비용으로 파인튜닝을 할 수 있게 해 주는지에 대해 설명합니다. —> [글 보기]

• Topic #14: 암호같은 DoRA, QLoRA, QDoRA,이건 뭘까요? 튜링 포스트 코리아의 이 글 (한글)에서는, LoRA의 한계점을 극복하고 메모리를 더 효율적으로 써서 파인튜닝을 잘 할 수 있도록 해 주는 세 가지 기법을 소개합니다. —> [글 보기]

  • 가중치 분해 LoRA (Weight-Decomposed Low-Rank Adaptation; DoRA)는 파인튜닝을 좀 더 쉽고 안정적으로 할 수 있게 해 줍니다. —> [논문 보기]

  • QLoRA는 LLM을 4 bit로 양자화해서 미세 조정을 더 효율적으로, 적은 메모리로 할 수 있도록 해 줍니다. —> [논문 보기]

  • 마지막으로, DoRA와 QLoRA를 결합한 QDoRA를 소개합니다. —> [글 보기]

• CURLoRA는 CUR 행렬 분해와 LoRA를 결합해서 학습해야 하는 파라미터를 줄이고, 연속 학습 (Continual Learning) 과정에서 망각 (Fogetting)을 방지합니다. 특히 데이터가 적더라도 데이터셋 전반에 걸쳐서 성능과 안정성을 향상시켜줍니다. —> [논문 보기]

• DLP-LORA - DIP는 ‘Dynamic Lightweight Plugin’ - 는 mini-MLP 모듈을 사용해서 문장 수준에서 LoRA를 동적으로 융합, 처리 시간을 단축해 줍니다. 정확도, 효율성이 향상되고 멀티 태스크 학습에 이상적인 기법입니다. —> [논문 보기]

• GraphLoRA는, LoRA 기법에 영감을 받아서, 새로운 그래프에 GNN을 효율적으로 적응시키고 적응력을 높임과 동시에 망각을 방지하는 기법입니다. 최소한의 튜닝으로 다양한 데이터셋에서 우수한 성능을 발휘합니다. —> [논문 보기]

• SeLoRA는 자가 확장 (Self-Expanding) LoRA 모듈로, 의료 영상 합성을 위해서 의료 데이터를 효율적으로 파인튜닝할 때 사용합니다. 트레이닝 중에 중요한 계층 (Layer)에 랭크를 추가해서 합성의 품질을 향상시킵니다. —> [논문 보기]

• Flat-LoRA는 LoRA의 일반화 (Generalization) 문제를 해결하겠다는 목적으로 고안된 기법으로, 효율적인 파인튜닝을 위해서 ‘랜덤 가중치 섭동 (Random Weight Perturbation)’ 기법을 이용해서 전체 파라미터 공간의 “Flat”한 영역에서 해결책을 탐색합니다. —> [논문 보기]

• FLoRA는 개인정보 보호를 위해서 데이터를 로컬에 보관하는 연합 학습(Federated Learning) 환경에서 LLM을 효율적으로 파인튜닝하는 방법입니다. 스태킹 기반의 접근법을 사용해서, 로컬 모델들을 오류 없이 결합하기 때문에, 설정이 서로 다른 클라이언트도 원활하게 함께 작업할 수 있습니다. —> [논문 보기]

• UIR-LoRA는 다양한 유형으로 발생하는 ‘이미지 열화 (Image Degradation)’를 처리하기 위해 LoRA를 활용하는 이미지 복원 프레임웍입니다. LoRA를 통해서 지식을 전달 (Knowledge Transfer)해서, 사전 학습된 생성형 모델을 특정한 작업에 맞게 조정하고, 열화 유사성 (Degradation Similarity)을 기반으로 다양한 LoRA를 결합, 다양한 방식으로 열화한 이미지를 효과적으로 복원합니다. —> [논문 보기]

읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요.