• Turing Post Korea
  • Posts
  • 13가지 유형의 새로운 LoRA

13가지 유형의 새로운 LoRA

AuthorAuthor

Ben Eum & Ksenia Se
July 15, 2025

LoRA(Low-Rank Adaptation)는 AI 모델을 가볍게 파인튜닝할 수 있는 인기 있는 방법입니다. 전체 모델을 다시 학습시키는 게 아니라, 원래의 모델 가중치는 그대로 두고, 소규모의 ‘학습 가능한’ 구성 요소들 — 즉, '저차원 행렬(Low-rank Matrices)'만 추가해서 학습합니다. 이 추가된 구성 요소들을 "어댑터(Adapter)"라고 부르고, 학습은 오로지 이 어댑터들만을 대상으로 진행됩니다.

최근에 LoRA를 바탕으로 한 흥미로운 새로운 변형 기법들이 여럿 등장해서, 지금 살펴볼 만한 13가지 새로운 접근법들을 살펴보려고 합니다.

  1. T-LoRA: Single Image Diffusion Model Customization Without Overfitting (2507.05964)
    단 하나의 이미지로 Diffusion 모델을 적응(Adapt)시키기 위한 기법입니다. 업데이트를 시간 단계에 따라 다이나믹하게 조정하고, 어댑터 간의 중복을 줄이기 위해서 직교 초기화(Orthogonal Initialization)를 합니다. 이렇게 해서, 기존 LoRA보다 Fidelity(정확도, 사실성–Alignment(사용자의 조건) 간의 균형이 더 좋아진다고 합니다.

  2. SingLoRA: Low Rank Adaptation Using a Single Matrix (2507.05566)
    기존의 LoRA는 작은 행렬 두 개를 사용하는데, 이 방식은 하나의 작은 행렬만 사용하고 그것을 스스로의 전치 행렬과 곱합니다 (예: A × Aᵀ). 이렇게 해서, LoRA의 절반 수준의 파라미터만 필요하면서도, 서로 다른 행렬 간의 스케일 불일치 문제도 피할 수 있다고 합니다.

  3. LiON-LoRA: Rethinking LoRA Fusion to Unify Controllable Spatial and Temporal Generation for Video Diffusion (2507.05678)
    훈련 데이터가 적은 상황에서도 비디오 생성 모델의 제어력과 정밀도를 향상시킵니다. 기존 LoRA 위에 선형 확장성(Linear Scalability), 직교성(Orthogonality), 정규화 일관성(Norm Consistency)이라는 세 가지 핵심 원칙을 추가합니다. 제어 가능한 토큰과 수정된 Self-Attention을 통해서 움직임을 부드럽게 조정할 수 있습니다.

  4. LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing (2507.00029)
    여러 가지 작업(Task)에 대해서 거대 언어 모델(LLM)을 적응(Adapt)시키기 위해서 LoRA와 MoE(Mixture-of-Experts)를 결합합니다. 작업별로 다른 LoRA 전문가 모듈을 Attention 모듈의 선형 투영 부분에 다이나믹하게 연결하고, 공동 학습(Joint Training)과 기존 전문가의 재사용을 모두 지원합니다.

  5. QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation (2507.04599)
    여러 LoRA 어댑터를 조합할 때 콘텐츠와 스타일을 분리합니다. QR 분해(QR Decomposition)를 활용해서 파라미터 업데이트를 구조화하는데, Q 행렬은 특징 간의 간섭을 줄이고, R 행렬은 개별적인 변환을 포착합니다.

  1. FreeLoRA
    각 LoRA 모듈을 하나의 피사체(Subject)만을 대상으로 파인튜닝합니다. 추론(Inference) 시에는 피사체 인식 기반 활성화(Subject-aware Activation)를 통해서 각 모듈이 자신에게 해당하는 토큰에만 작동하게 해서, 깔끔하고 간섭 없는 결합을 할 수 있게끔 합니다.

  2. LoRA-Augmented Generation (LAG)
    추가 훈련이나 데이터 없이도 수많은 작업에 특화된 LoRA 어댑터들을 사용할 수 있게 합니다. 각 층과 토큰마다 가장 관련성 높은 어댑터를 선택해 적용하고, 지식 집약적인 작업에서 특히 뛰어난 성능을 보입니다.

  3. ARD-LoRA (Adaptive Rank Dynamic LoRA)
    트랜스포머의 각 계층과 헤드에서 LoRA 어댑터의 랭크(Rank)를 다이나믹하게 조절합니다. 이를 위해서 '헤드별 스케일링 계수'를 학습하고, 그 학습은 메타 목표(Meta-objective)를 통해서 이루어집니다. 그 결과로, 성능과 효율성 간의 균형을 유지하면서 파라미터 수와 메모리 사용량을 줄일 수 있습니다.

  4. WaRA
    이미지 관련 작업에 맞춰 설계된 LoRA의 변형 기법입니다. 웨이블릿 변환(Wavelet Transform)을 사용해서 가중치 업데이트를 여러 해상도로 분해합니다. 이 기법으로 거친 패턴(Coarse)과 세밀한 패턴(Detail)을 모두 포착할 수 있습니다.

  5. BayesLoRA
    LoRA 어댑터에 불확실성의 추정 기능을 추가합니다. 몬테카를로 드롭아웃(MC-Dropout)을 활용해서 모델이 낯선 상황에서 스스로의 확신 정도를 판단할 수 있게 합니다. 파인튜닝된 분포 밖의 변화(Variance)를 감지해서, 모델이 보다 조심스럽고 적응력 있게 행동하게끔 해 줍니다.

  6. Dual LoRA Learning (DLoRAL)
    두 개의 LoRA 분기(Branch)를 함께 훈련시킵니다: C-LoRA는 저화질의 입력으로부터 시간적 일관성(Temporal Coherence)을 학습하고, D-LoRA는 시각적 디테일 향상에 집중합니다. 이 조합은 초해상도로 영상 품질을 향상하는 작업에 활용되고, 공간 디테일과 시간적 일관성을 동시에 강화합니다.

  7. Safe Pruning LoRA (SPLoRA)
    LoRA로 파인튜닝된 언어모델에서, 정렬(Alignment)을 저해하는 LoRA 계층만 선별적으로 제거합니다. 이를 위해서 새로운 E-DIEM이라는 지표(Metric)를 도입해서, 별도의 데이터 레이블 없이도 안전성과 관련된 변화를 감지합니다.

  8. PLoP (Precise LoRA Placement)
    모델 구조와 작업에 따라서 가장 적합한 위치에 LoRA 어댑터를 자동으로 배치해주는 경량화된 방식입니다. LoRA를 어디에 넣을지를 사람이 일일이 정할 필요 없이 자동으로 선택해서 파인튜닝 효율을 높입니다.

*읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요.

Reply

or to participate.