강화학습을 쓰는 이유는 사실, 꽤 현실적인 이유입니다. 수많은 추론 모델의 성공이 강화학습에 일정 부분 기대고 있기도 하구요. 강화학습을 쓰면 목적 함수를 표준 학습 손실처럼 정의하고, 모델이 보상 신호를 최대화하는 방향으로 훈련할 수 있습니다.

하지만 최근에 연구자들 사이에서 "강화학습이 정말 사후 학습에 사용하는 지배적인 기법으로 남는 게 맞나?" 라는 의문이 점점 커지고 있다고 해요. 왜 그럴까요?

강화학습 파이프라인은 비싸고 불안정합니다. 보상 모델과 정책 업데이트를 세심하게 조율해야 하고, 특히 ‘긴 추론’ 태스크에서는 피드백의 주기가 너무 드문드문해요. 보상 해킹(Reward Hacking) 문제도 끝이라는 게 없는 골칫거리고요.

안드레 카파시(Andrej Karpathy)가 한때 "강화학습은 끔찍하다"고 했던 적이 있다는 거, 기억하시나요? 이유가 바로 이겁니다. 강화학습의 보상이 단 하나의 최종 결과에만 집중되니, 복잡한 추론 과정 중에 어느 단계가 진짜 결정적이었는지 구분하지 못하고, 무관한 단계들에까지 노이즈 섞인 공로를 잘못 배분하는 '신용 할당(Credit Assignment)'의 한계가 발생한다는 거요.

그렇다면 모델의 어떤 부분을 정확히 수정해야 할까요? 어떻게 하면 사후 학습을 더 효율적으로 만들 수 있을까요?

더 나은 학습 방법을 찾는 탐색은 아직 끝나지 않았습니다 - 어쩌면, 이제 시작인지도 모르죠. 강화학습의 한계가 드러나면서, 최적화와 파라미터화 두 영역 모두에서 새로운 사후 학습 전략들이 주목받고 있습니다. LoRA(Low-Rank Adaptation) 같은 파라미터 효율적인 방법과, 진화 전략(Evolution Strategies, ES) 같은 기울기 없는(Gradient-free) 접근법이 대표적인 접근법들입니다.

오늘은, 사후 학습을 더 낮은 비용으로, 더 안정적으로, 강화학습 기반 파이프라인보다 더 유연하게 만들 수 있는 방법들을 살펴보겠습니다. 새로운 LoRA의 변형이라고 할 수 있는 Doc-to-LoRA, Text-to-LoRA, LoRA-Squeeze, Kron-LoRA, MoA(Mixture of Adapters)와, 아주 흥미로운 방향인 진화 전략(ES)이 어떻게 결합될 수 있는지까지요. 강화학습 그 너머에 과연 뭐가 기다리고 있는지, 함께 살펴볼까요?

오늘 다뤄볼 내용은 다음과 같습니다:

새로운 파인튜닝 아이디어들을 살펴보기 전에, 현재 우리가 실제로 쓰는 학습 파이프라인이 어떻게 생겼는지, 그리고 새로운 대안들이 그 안의 어느 자리에 들어올 수 있는지를 먼저 짚어보는게 좋겠습니다.

LLM 학습을 이야기할 때, 크게 사전 학습(Pre-training) 과 사후 학습(Post-training)이라는 두 단계로 나뉜 라이프사이클을 다루게 됩니다. 이 두 가지가 시간적 순서인 것 같이 보이지만, 사실 이런 구분은 시간적 순서의 의미보다는, 어떤 목표를 최적화하고 어떤 능력을 추가하느냐의 차이로 구분하는게 더 좋다고 생각합니다.

사전 학습은 모델의 범용 지능 기반을 만드는 단계입니다. 여기서의 목표는 모델이 시퀀스의 다음 토큰을 정확히 예측하게금 하는 것이고, 그 결과로 방대한 데이터셋에서 언어의 일반적인 구조와 지식을 배운 베이스 모델이 탄생합니다. 전체 학습 비용의 대부분이 바로 이 단계에서 쓰이죠.

사후 학습은 그 기반을 실제로 쓸 수 있는 시스템으로 다듬는 작업입니다. 모델이 어떻게 행동해야 하는지를 가르치고, 다양한 단계들로 유연하게 구성됩니다. 사전 학습에 비하면 비용 비중은 훨씬 작습니다.

일반적으로 현대적인 LLM 파이프라인은 이렇게 이해할 수 있습니다: 사전 학습 → 지도 미세조정(SFT) → 정렬 학습 → 사후 학습 최적화.

요즘은 인간의 피드백 대신 수학 풀이 검증, 코드 실행 결과, 데이터베이스 쿼리, 프로그래밍 테스트 같은 자동화된 평가 신호를 활용하는 시스템이 점점 늘고 있는데, 이것들을 RLVR(검증 가능한 보상 기반 강화학습) 이라고 부르기도 합니다.

이 외에도 AI 모델에는 RAG(검색 증강 생성), 다단계 추론 학습, 도구 사용 및 에이전트 행동 학습, 긴 컨텍스트 최적화, 안전성 및 캘리브레이션 학습 같은 추가적인 개선 기법들을 흔히 덧붙여서 진행하게 됩니다.

그런데 요즘, 저랭크 적응(LoRA) 기법들이 새로운 차원으로 진화하고 있습니다. Doc-to-LoRA, Text-to-LoRA, LoRA-Squeeze 같은 최신의 기법들은, 사후 학습이 더 이상 베이스 모델 위에 강화학습을 돌리는 것이 다가 아니라는 걸 보여주죠. 일부 행동은 보상을 통해서 최적화하고, 다른 행동은 생성된 어댑터를 통해서 즉각 주입하는 모듈형 스택으로 진화하는 중입니다. 파인튜닝이 거대한 ‘하나’의 학습 단계가 아니라, 다양한 능력을 동적으로 조합하는 시스템처럼 보이기 시작했다고나 할까요?

기본적으로 LoRA는 사후 학습 중에 모델 파라미터를 업데이트하는 방식 자체를 바꿔 줍니다. 초기 LoRA 접근법들은 어댑터를 순수한 파인튜닝 메커니즘으로 취급했습니다. 태스크에 특화하기 위해서 데이터셋으로 학습시키는 것이었죠.

표준적인 LoRA 파인튜닝에서는 베이스 모델을 고정시켜 놓고 소형의 저랭크 행렬만 학습합니다: W' = W + BA. 여기서 W는 원래 가중치 행렬이고, BA는 보통 랭크 4~64 사이의 저랭크 업데이트입니다. 수십억 개의 파라미터 대신 수백만 개만 수정하는 셈이죠.

실제로 LoRA는 도메인 특화, 지시어 튜닝, 추론 태스크, 정렬 실험 등에 폭넓게 쓰입니다. 일반적인 파이프라인은 이렇습니다: 사전 학습 → 명령 미세조정 → 정렬/능력 학습 → 파라미터 효율적인 미세조정(LoRA).

자, 그럼 이제 최신의 LoRA 기법들이 어떻게 작동하고, 사후 학습의 어떤 새로운 가능성을 열어주는지 살펴보겠습니다.

일본의 대표적 AI 스타트업인 Sakana AI에서 이 연구가 많이 이뤄졌는데요.

Sakana AI에서 진행된 Doc-to-LoRA와 Text-to-LoRA에 관한 최근 연구들은 ‘어댑터를 만들어서, 그 어댑터를 붙여서 사용한다’는 아이디어를 크게 확장합니다. 두 기법은 비슷한 방향으로 작동하지만 그 역할은 서로 다릅니다.

Doc-to-LoRA는 기억(Memory)에, Text-to-LoRA는 새로운 태스크 적응에 초점을 맞추는데요. 기울기 업데이트로 어댑터를 학습시키는 대신에, 텍스트 입력으로부터 어댑터를 직접 생성합니다. 태스크 설명이나 문서가, 베이스 모델을 수정하는 LoRA 가중치로 바로 바뀌는 것이죠. 덕분에 LoRA의 역할 자체가 달라집니다. 필요할 때마다 새로운 지식, 기술, 행동을 즉각적으로 얹을 수 있는, 더 모듈적이고 동적인 파인튜닝 스택으로 진화하는 겁니다.

Doc-to-LoRA(D2L)는, 문서를 단 한 번의 순전파(Forward Pass)로 LoRA 어댑터로 변환합니다. 컨텍스트 증류(Context Distillation)를 근사(Approximation)하게끔 메타 학습시킨 하이퍼네트워크(Hypernetwork) 를 활용합니다.

새 컨텍스트를 하이퍼네트워크에 넣으면, 고정된 베이스 LLM을 위한 ‘컨텍스트 전용 LoRA 어댑터’가 만들어지고, 이제 베이스 모델은 원본 문서를 다시 읽지 않고도 후속 질문에 답할 수 있습니다.

학습이 거듭될수록, 하이퍼네트워크는 텍스트 맥락(Context)을 LoRA 어댑터로 변환하는 일반적인 매핑 규칙을 익히게 되고, 결과적으로 ‘개별 문서’가 언제든 저장도 공유도 하고, 필요할 때마다 다양한 모델에 갈아 끼울 수 있는 '재사용 가능한 파라미터 모듈'로 진화하게 되는 겁니다.

구조적으로 D2L은 Perceiver 방식의 하이퍼네트워크를 채택하고 있는데요, 이건 고정된 LLM의 히든 활성화(Hidden Activations) 값을 입력받아서, 문서의 길이가 아무리 제각각이더라도 상관없이 일정한 규격의 어댑터를 생성해 냅니다. 특히 문서가 아무리 길어도 청킹(Chunking) 방식을 통해서 유연하게 대응할 수 있다는 점이 큰 특징입니다.

이런 이유 때문에, D2L은 아래와 같은 장점을 갖게 됩니다.

물론 D2L이 긴 컨텍스트 모델링을 완전히 대체할 수 있는 건 아닙니다. 품질은 하이퍼네트워크가 컨텍스트-어댑터 매핑을 얼마나 잘 학습했느냐에 달려 있고, 전체 문서에 직접 접근하는 것보다 정보 손실이 생길 수도 있죠. 그렇지만, 컨텍스트를 빠르게 내재화할 수 있게 해 주는 실용적인 메커니즘으로서 D2L은 아주 흥미로운 방향을 탐색하게 해 줍니다: 지식이 프롬프트로 주입되는 게 아니라, 모델에 마운트되는 모듈이 되는 모습이니까 말이예요.

Text-to-LoRA(T2L) 는 Doc-to-LoRA와 같은 방향을 보고 있는 기법이지만, ‘태스크에 적용’됩니다. 각 태스크마다 어댑터를 별도로 학습시킬 필요 없이, 텍스트로 된 설명에서 직접 어댑터를 생성할 수 있습니다.

T2L에서는 ‘자연어로 된 태스크 설명’이 고정된 베이스 모델을 업데이트하는 LoRA 가중치로 변환됩니다. 여기서도 하이퍼네트워크가 쓰이구요. 태스크에 대한 설명을 읽어들여서 임베딩으로 인코딩하고, 트랜스포머의 여러 레이어를 위한 저랭크 LoRA 행렬을 만들어냅니다. D2L처럼 어댑터는 단 한 번의 순전파로 생성되어서 베이스 모델에 부착됩니다.

T2L의 학습 과정은 수만 가지의 서로 다른 작업(태스크)을 경험하면서 진행됩니다. 처음에는 기존에 잘 만들어진 '작업별 전용 도구(LoRA)'들을 똑같이 흉내내면서 복원해 보기도 하고, 때로는 아무 가이드 없이 다양한 작업들을 처음부터 끝까지 직접 수행하면서 스스로 실력을 쌓습니다.

이 과정을 반복하면서 하이퍼네트워크는 개별 작업의 정답을 외우는 대신, 어떤 작업 설명(Text)이 들어오더라도 그에 딱 맞는 해결 도구(LoRA)를 즉석에서 찍어낼 수 있는 '공통의 변신 공식(공유 적응 메커니즘)'을 터득하게 됩니다

이 기법에서 눈에 띄는 실용적인 포인트가 몇 가지 있습니다.

실험 결과를 보면, 이 방식으로 생성된 어댑터가 추론, QA, 코딩, 지식 벤치마크 전반에 걸쳐서 성능을 높여 주었고, 완전한 학습으로 만들어진, 특정한 태스크에 특화된 LoRA에 근접하는 성능을 보여주는 경우도 많았습니다. 다만 품질은 태스크 설명의 품질에 크게 좌우된다는 점은 참고해야 합니다.

서로를 보완하는 ‘업데이트 생성기’인 D2L과 T2L은, 전체 모델을 반복적으로 재학습하지 않고서도 ‘지속적인 학습’, ‘빠른 개인화’, ‘재사용 가능한 파라미터 모듈’이라는 비전을 실현해 줍니다. 모델이 더 다이나믹한 학습자로 거듭나게 되는 겁니다.

LoRA 어댑터를 더 작게 만들 수 있다면 어떨까요? 게다가 처음부터 랭크를 정해두지 않아도 된다면요?

바로 이걸 목적으로 Google DeepMind가 만든 것이 LoRA-Squeeze입니다. 파라미터 모듈을 더 작게 압축하고, 쉽게 재사용할 수 있게 하고, 배포까지 간소화합니다. 처음에 랭크를 결정할 필요도 없습니다. 높은 랭크로 LoRA 어댑터를 먼저 학습한 뒤에, 나중에 더 낮은 랭크로 압축하면 됩니다.

파인튜닝이 끝나면 LoRA-Squeeze는 전체 가중치 업데이트 행렬을 재구성하고, 무작위 특이값 분해(RSVD) 기법을 적용해서 업데이트의 가장 중요한 성분을 보존하는 더 낮은 랭크의 LoRA 모듈을 만들어냅니다.

세 가지 방식으로 ‘압축’을 할 수 있습니다. 학습 후에 적용하는 Post-Squeeze, 어닐링 스케줄에 따라 학습 중 랭크를 점진적으로 줄이는 In-Squeeze, 학습 중 주기적으로 적용하는 Cont-Squeeze가 그 세 가지입니다.

LoRA-Squeeze를 적용하면 다음과 같은 효과를 볼 수 있습니다.

사후 학습에서 파라미터를 경량화하는, 다른 차원의 기법인 셈이죠. 다만 한 가지는 꼭 주의해야 하는데, 너무 공격적으로 압축하면 성능이 크게 떨어질 수 있다는 겁니다.

Kron-LoRA는 Cornell University에서 나온 또 다른 ‘압축 기법입니다. 압축 과정에서 나타날 수 있는 성능 저하를 막는 데 특히 집중하는데요, LoRA 파라미터의 약 25~30%만 사용하면서도(최대 4배 적게), 추론 벤치마크에서 LoRA와 동등하거나 약간 더 나은 성능을 보여줍니다.

이 기법의 핵심에 크로네커 구조(Kronecker Structure)라는 것이 있습니다. 큰 행렬을 두 개의 작은 행렬의 크로네커 곱(Kronecker Product) 으로 나타내는 방식입니다.

이 방식을 적용하면, 거대한 행렬 내부에 규칙적인 반복 패턴이 형성되어서, 저장 공간과 연산 효율을 획기적으로 높일 수 있습니다. Kron-LoRA는 여기서 한 걸음 더 나아가서, 분해된 행렬 중 한쪽 인수에 LoRA 특유의 저랭크(Low-Rank) 분해를 추가로 결합합니다.

결과적으로 어댑터는 가중치를 업데이트할 때 정교하게 짜인 구조적 패턴을 유지하면서도, 극강의 압축 효율을 동시에 달성하게 됩니다. 이런 방식이 가져다주는 구체적인 효과는 아래와 같습니다.

오늘 살펴볼 마지막 LoRA 기법은, LoRA 기반 파인튜닝 아이디어를 전혀 다른 관점으로 넓겨 줍니다. 더 ‘많은’ 어댑터가 아니라, 더 ‘다양한 종류’의 어댑터를 함께 쓰는 게 바로 그 아이디어예요.

저장대학교와 텐센트가 함께 개발한 Mixture of Adapters(MoA)는, 동일한 LoRA 전문가를 여럿 쌓는 대신, 상호 보완적인 역할을 하는 이질적인 PEFT(파라미터 효율적 미세조정) 어댑터들의 혼합을 구성합니다. 전문가를 더 늘리는 게 아니라, 서로 다른 종류의 전문가를 더하는 것이 핵심이죠.

작동 방식을 구체적으로 살펴보면,

단일한 유형의 어댑터를 일률적으로 쌓아 올리는 대신, 서로 다른 특성을 가진 다양한 어댑터들이 동적으로 협력하는 구조를 지향합니다. 이런 방식은 모델의 실질적인 전문화(Specialization)를 이끌어낼 뿐만 아니라, 이미 고정된 베이스 모델이 보유한 방대한 사전 학습 지식을 훨씬 효과적으로 추출해서 활용할 수 있게 해줍니다.

그 효과를 정리하면 아래와 같습니다.

실험 결과, Soft MoA는 수학적 추론 정확도에서 전반적으로 가장 우수한 성능을 입증했습니다. 반면에, Sparse MoA는 활성화되는 전문가(Expert) 수를 줄이고 메모리 사용량을 낮추면서도, Soft MoA와 대등한 수준의 성능을 유지하는 효율성을 보여주었습니다.

MoA의 가치는 단순히 LoRA의 또 다른 변형 모델이라는 점에 그치지 않습니다. 파인튜닝의 미래는 더 강력한 강화학습 기반의 최적화 알고리즘뿐만 아니라, 적응 모듈(Adaptation Module) 그 자체의 설계에 달려 있다는 사실을 시사합니다. MoA는 필요한 상황에 맞춰 다양한 어댑터를 유연하게 조합하고 특정 능력을 선택적으로 처리하는, '모듈형·조합형·선택적 사후 학습 스택'의 새로운 가능성을 제시하고 있습니다.

대안적인 최적화 아이디어들도 LLM 파인튜닝과 관련된 더 넓은 지형을 구성하는데요. 오늘은 기울기 기반 최적화를 벗어나는, Cognizant AI Lab이 제안한 아주 유망한 개념을 하나 살펴보겠습니다.

진화 전략(ES)은 자연 선택에서 영감을 받은 진화적 최적화에서 출발합니다. 핵심 아이디어는, 역전파로 기울기를 계산하는 게 아니라, 무작위 파라미터 교란으로부터 최적화의 방향을 추정하는 겁니다. 파라미터 공간에서 어느 방향으로 가야 보상이 가장 크게 올라가는지를 파악하는 거죠.

ES는 이렇게 진행됩니다.

ES는 기울기 평가가 아닌 보상 평가에만 의존하기 때문에, 영차 최적화(Zeroth-Order Optimization) 기법의 범주에 속합니다.

강화학습 기반 파인튜닝과 비교했을 때 ES의 장점을 정리하면 이렇습니다.

성능 수치를 보면, Countdown 벤치마크에서 ES는 강화학습의 베이스라인을 넘어섰습니다. Qwen-2.5-3B는 ES로 10.0% → 60.5%까지 올랐는데, GRPO의 32.5%와 비교되는 수치죠. Llama-3.1-8B는 8.1% → 61.2%로 개선됐고, 강화학습의 ~51%와 대조됩니다.

수학 벤치마크(AIME 2024, MATH500, AMC, OlympiadBench)에서도 강력한 결과를 보여줬고, ARC-AGI(0.2% → 29.5%)와 스도쿠(2.5% → 69.5%) 같은 퍼즐 태스크에서는 특히 눈에 띄는 성능 향상을 기록했습니다.

다만, 아직 풀어야 할 과제도 분명히 있는데, 바로 수많은 순전파 평가가 필요해서 연산 비용이 상당하고, 보상 신호의 품질에 크게 의존한다는 점입니다.

학습 사이클 관점에서 보면, 기울기 없는 ES는 사후 학습의 최적화 단계에 자리합니다. 사전 학습 → 사후 학습 목표 정의 → 최적화 방법이라는 흐름에서, 기울기 하강 대신 ES가 그 자리를 차지하는 방식입니다.

그리고 바로 여기서 흥미로운 질문이 나옵니다. 과연 LoRA와 ES를 결합하면 어떻게 될까요?

LoRA와 ES는 모두 사후 학습에 속하지만, 두 가지는 학습 프로세스의 서로 다른 레이어에서 작동합니다.

두 방법이 서로를 자연스럽게 강화한다는 점이 흥미로운데요. 최적화 대상을 바꿔서 ES를 LoRA 파라미터에만 적용하면, 나머지 모델은 손댈 필요가 없습니다.

이렇게 구성되는 새로운 워크플로우 파이프라인은 이렇습니다.

ES의 성능은 파라미터 공간의 차원 수에 크게 좌우되는데, LoRA는 이 공간을 전체 LLM의 약 70억~700억 파라미터에서 약 100만~2000만 파라미터로 확 줄여줍니다. ES나 LoRA만 따로 쓸 때보다 파인튜닝의 확장 가능성이 훨씬 현실적이고 매력적으로 바뀌는 거죠.

LoRA는 모델의 진화가 일어날 수 있는 새로운 차원의 레이어를 제공합니다 - 거대한 모델 전체를 건드리는 대신, 추론 전략이나 도메인 지식, 정렬 정책(Alignment Policy) 등을 담은 소형 어댑터 모듈만을 진화시키는 방식으로요. 이 모듈들은 아주 가볍기 때문에 수많은 변형 버전을 순식간에 테스트할 수 있고, 최적의 상태를 찾아가는 탐색 프로세스 또한 비약적으로 효율화됩니다.

특히 모델의 유의미한 업데이트는 대개 저차원 부분 공간(Low-dimensional Subspace)에 집중되어 있는데, LoRA가 바로 이 공간을 명확하게 정의해 주는 역할을 합니다. 덕분에 미분 계산이 필요 없는 영차 최적화(Zeroth-order Optimization) 방식인 진화 전략이 그 잠재력을 십분 발휘할 수 있는 완벽한 환경이 조성되는 것입니다.

정리하자면, 사후 학습 단계에서 모델이 제대로 작동하도록 리드하는 방법들의 전체 스택은 이렇습니다.

그리고 마지막으로, 이 모든 것을 하이브리드 형태로 혼합하는 방식이 있습니다. 실제로 가장 자주 쓰이는 형태이기도 하죠. SFT → DPO → RAG를 얹은 에이전틱 자기 개선, 혹은 새롭게 제안되는 LoRA + ES 조합처럼요. LoRA가 컴팩트한 파라미터 부분 공간을 정의하고, 진화 전략이 기울기 없이 그 공간을 탐색하며 최적의 어댑터 파라미터를 찾아나가는 방식입니다.

한 발짝 물러서서 이 모든 것을 함께 바라보면, LoRA와 ES 같은 최적화 전략을 둘러싼 새로운 아이디어들은 언어 모델을 개발하는 방식 자체가 바뀌고 있다는 것을 시사합니다. 이전에는 모델 자체가 완성품이었고, 학습이 완성된 시스템을 만들어냈습니다. 그런데, 이제 베이스 모델은 점점 더 플랫폼으로 기능하고 있습니다. 능력은 어댑터, 검색 시스템, 도구 통합, 최적화 루프 같은 모듈 컴포넌트를 통해서 더해지는 것이구요. 모든 것이 모델 주변의 에코시스템을 설계하는 프로세스로 바뀌어가고 있는 거죠.

그 에코시스템에서 LoRA는 파라미터 부분 공간을 제공하고, 진화 전략은 최적화 메커니즘으로 작동하고, 오늘 살펴본 어댑터 생성 기법들은 지식을 모듈로 변환하고, 함께 쌓고, 효과적인 랭크로 압축하는 새로운 길을 열어줍니다. 전체 모델을 재학습하지 않고도 능력이 진화하고 재결합되는 시스템. 이것이 바로 AI 모델을 위한 새로운 유형의 파인튜닝 스택입니다.

잊지 말아야 할 가장 중요한 교훈은 바로 이겁니다. 모델을 더 효과적으로 사후 학습하는 방법은 여러 가지이고, 우리는 그 가능성들을 간과할 여유가 없다는 것.

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!