Topic #30: '지식 증류 (Knowledge Distillation)'의 모든 것

1. 응답 (Response) 기반의 증류 (‘출력값’이 지식)
   이 방식의 기법이 바로 앞서 말씀드린 증류 기법들입니다. 아마 ‘고전적’인 증류 기법이라고 해도 될 텐데요, 교사 모델의 최종적인 출력값/확률을 학생 모델을 훈련하는 목표 대상으로 훈련합니다. 이미지 분류, 객체 탐지, 자세 예측 같은 다양한 작업을 대상으로 사용합니다.

2. 피처 (Feature) 기반의 증류 (‘중간 계층’이 지식)
   결과값, 즉 ‘최종 예측’을 복사하는게 아니라, 학생 모델이 교사 모델의 중간 계층, 피처 맵 등을 통해서도 학습을 합니다. 이 아이디어는 ‘FitNets: Hints for Thin Deep Nets’ 논문에서 제안한 건데, 비유를 하자면 ‘학생’이 ‘교사’가 문제를 단계별로 해결하는 과정으로부터 배운다고 생각하면 될 것 같습니다. 학생 모델이 자기의 중간 단계 표현 (Representation)을 교사 모델의 것과 일치시켜서, 정답 및 그 뒤에 있는 추론까지를 배우는 개념입니다. 어텐션 맵, 확률 분포, 계층 연결 같은 다양한 방법들을 통해서 교사 모델과 학생 모델의 피처 (Feature)를 일치시키는데 도움을 줄 수 있고, 특히 이미지 인식, 객체 탐지 같은 작업의 성능을 향상시켜 준다고 합니다.

3. 관계 (Relationships) 기반의 증류 (‘관계’가 지식)
   학생 모델이, 교사 모델 내부의 여러 부분들 사이의 관계를 모방하는 법을 배우는 겁니다 - 계층 간, 또는 다른 데이터 샘플 간의 관계로부터요. 예를 들어, 학생 모델이 여러 개의 샘플을 비교하면서 그들 간의 유사성을 배웁니다. 이 기법은 다른 기법들 대비 더 복잡하지만, 여러 개의 교사 모델을 대상으로 해서 여러 모델들의 지식을 통합해서 흡수하도록 할 수 있습니다.

이렇게 해서, ‘증류할 대상 지식이 무엇이냐’를 기준으로 증류 기법을 봤을 때 세 가지 종류를 알아봤는데요. 그렇다면 훈련 중에 지식을 정확히 전달하려면 어떻게 해야 될까요? 이걸 위한 주요한 방법은 세 가지가 있는데요:

• 오프라인 증류 (Offline Distillation)
  교사 모델을 먼저 훈련시킨 다음, 학생 모델을 가르칩니다.

• 온라인 증류 (Online Distillation)
  교사 모델, 학생 모델을 함께 훈련합니다.

• 자기 증류 (Self-Distillation)
  학생 모델이 자기 자신으로부터 스스로 배웁니다.

이 세 가지 훈련 방식에 대해 아래 표에 조금 더 자세한 내용을 표시했습니다:

그렇지만, 이게 전부는 아닙니다. 지식 증류라는 개념이 등장한 이후에, 지식을 더 잘 전달하기 위해서 고안된 많은 추가적인 기법들이 있습니다.

알고리즘의 개선

지식 증류를 더 효과적으로 할 수 있는 기법, 알고리즘들이 개발되었는데요. 아래 목록은 그 일부입니다:

• 다중 교사 증류 (Multi-teacher Distillation)
  여러 개 교사 모델의 지식을 결합해서 더 균형 잡힌 성능을 보이는 학생 모델을 만듭니다. 이 기법은, 서로 다른 특징을 가르칠 서로 다른 교사 모델을 사용하거나, 모든 교사 모델의 예측값을 평균해서 가르치거나, 각각 훈련 단계에서 교사 모델을 무작위로 선택하거나 하는 다양한 방식으로 진행됩니다. 다양한 모델의 강점을 결합하고 ,지식의 다양성을 향상시키는데 도움이 됩니다.

• 크로스 모달 증류 (Cross-modal Distillation)
  서로 다른 유형의 데이터들 간에 지식을 전달하도록 해 주는 기법입니다. 예를 들어서, 이미지에서 텍스트로, 또는 오디오에서 비디오로 지식을 전달하도록 해 줍니다.

• 그래프 기반 증류 (Graph-based Distillation)
  서로 다른 데이터 포인트 간의 관계에 초점을 맞춰서, 숨겨진 관계를 포착하고 데이터 구조를 더 잘 이해하는 모델을 만들 수 있게끔 해 주는 기법니다.

• 어텐션 기반 증류 (Attention-based Distillation)
  교사 모델이 데이터에서 중요한 영역을 강조하는 어텐션 맵을 만들고, 학생 모델이 어텐션 맵을 복사해서 집중해야 할 곳이 어딘지 학습합니다.

• 非 타겟 클래스 강화 지식 증류 (Non-Target Class-Enhanced KD)
  교사 모델의 출력에서 대개 무시하게 되는 ‘非 타겟 클래스’의 확률에 초점을 맞춰서 진행하는 증류 기법으로, 학생 모델이 ‘잘못된 레이블’로부터도 배웁니다.

• 적대적 증류 (Adversarial Distilation)
  생성적 적대적 신경망(GANs)을 사용해서 학생 모델이 교사 모델을 모방, 그 성능을 개선하게끔 합니다. GAN은 학생 모델을 더 잘 훈련하기 위한 추가적인 합성 데이터를 만들거나, 데이터가 진짜인지 가짜인지 확인하는 판별자 (Discriminator)를 사용해서 교사 모델과 학생 모델의 출력값을 비교하거나 할 수 있습니다.

• 데이터 없는 증류 (Data-free Distillation)
  원본 데이터셋이 없어도 실행할 수 있는 증류 기법으로, 여기서도 GAN을 사용해서 교사 모델을 기반으로 합성 훈련 데이터를 생성합니다.

• 양자화 증류 (Quantized Distillation)
  대형 모델에서 사용하는 계산용 고정밀 숫자 (32비트 같은)를 저정밀 값 (8비트 또는 2비트)으로 줄여서 AI 모델 자체를 더 가볍고 빠르게 만드는 기법입니다.

• 추측적 지식 증류 (Speculative Knowledge Distillation)
  텍스트를 생성하는 훈련 중에 학생 모델과 교사 모델이 협력하는데, 학생 모델이 초안 토큰을 생성하고 교사 모델은 저품질 토큰에 대해서 선택적으로 대안을 제시해서, 학생 모델 자신의 분포에 맞는 즉각적인 고품질 훈련 데이터를 생성하게끔 해 줍니다.

• 평생 증류 (Lifelong Distillation)

  모델이 시간이 지나면서 계속 배우면서 오래된 기술을 기억하고 새로운 기술을 배운다는 개념입니다. 몇 가지 변형된 기법이 있는데요: 1) 모델이 ‘배우는 방법’을 학습, 새로운 작업에 빠르게 적응할 수 있습니다 (메타 러닝); 2) 과거 작업의 지식을 사용해서 예시가 아주 작더라도 배울 수 있게 합니다 (Few-shot 러닝); 3) 새로운 작업에 대해서 훈련하는 동안 기존 지식을 압축해서 그 버전은 유지합니다 (Global Distillation).

• 생성 모델의 증류 (Distillation in Generative Models)
  이건 복잡한 생성 과정을 더 간단한 과정으로 증류하는 걸 말하는데요. 예를 들어서, 다단계 확산 모델을 단일 단계의 생성 모델 (GAN과 같은)로 증류해서 추론 속도를 엄청나게 가속화할 수 있습니다. 또, TTS 변환 모델에서는 자기회귀적 모델을 非자기회귀적 모델로 압축해서 음성의 생성 속도를 높이기 위해 증류 기법을 사용할 수 있습니다.

• 신경망 구조 검색 (Neural Architecture Search)
  교사 모델과 일치하는 최적의 학생 모델을 자동으로 찾는 걸 도와줍니다.

상당히 종류가 많죠? 이렇게 다양한 유형의 기법이 계속해서 나온다는 것 자체가, ‘증류 기법’이 중요한 훈련의 개념이라는 걸 반증하는 것이겠죠. 앞으로도 계속 발전할 거고, 소형 모델을 훈련하는데 없어서는 안 될 부분입니다.

증류의 스케일링 법칙

자, 이렇게 ‘더 큰 모델에서 더 작은 모델로 지식을 전달하는 여러가지 방법’을 살펴봤습니다. 그런데 이 지식 증류라는게 얼마나 효과적인지 예측할 수 있을까요? 증류된 모델은 어느 정도의 성능을 보여줄까요, 그리고 어떤 요소들에 의존할까요? 이 부분에서, 애플과 옥스포드 대학교가 중요한 기여를 했습니다. 증류의 ‘스케일링 법칙’, 그리고 증류 이후 모델이 보여주는 동작의 주요한 경향을 확인했습니다.

다음은, 애플과 옥스포드 대학교 연구진이 정리한, ‘더 증류를 효과적으로 하기 위해 고려해야 할 ’중요 발견 사항’입니다:

• 증류의 스케일링 법칙은, 세 가지 핵심 요소를 기반으로 해서 학생 모델이 얼마나 높은 성능을 보일지 예측합니다:

  • 학생 모델의 크기

  • 훈련 토큰의 수

  • 교사 모델의 크기와 품질

이 법칙은 ‘멱법칙 (Power Law)’ 관계를 따릅니다 - 성능이 예측 가능한 방식으로 증가하지만, 특정한 지점까지만 그렇게 됩니다. 이 지점 이후에는, 더 많은 자원을 추가해도 모델의 성능이 개선되지 않구요.

따라서, 이런 생각을 해 볼 수 있는 거죠: 학생 모델이 작다면, 계산 리소스를 절약하기 위해서 더 작은 교사 모델을 사용할 수 있고, 학생 모델이 크다면 최적의 성능을 만들기 위해 더 좋고 큰 교사 모델이 필요하다는 겁니다. 계산 리소스를 증가시키면 최적의 교사 모델 크기가 처음에는 증가하지만, 아주 큰 교사 모델을 사용하는 건 점점 비싸질 테니, 결국 정체하는 지점에 도달하게 됩니다.

• 그렇지만, 좋은 교사 모델을 사용한다고 해서 항상 학생 모델이 좋은 건 아닙니다. 비유적으로 이야기하자면, 교사가 너무 강하면 학생이 배우는 데 어려움을 겪을 수 있고, 이게 학생 모델의 성능 저하로 이어지기도 하는데, 이걸 Capacity Gap이라고 합니다 — 학생이 교사를 제대로 모방하기에 충분히 똑똑하지 않다고나 할까요?

• 아래와 같은 조건이 만족하는 경우라면, 증류 기법을 사용하는게 아주 효율적인 방법입니다:

  • 학생 모델이 충분히 작아서, 지도 학습 비용 자체가 너무 많이 드는 걸로 판단될 때

  • 교사 모델이 이미 있어서 훈련 비용이 필요하지 않거나, 하나 이상의 학생 모델 훈련에 사용할 수 있을 때

• 다음과 같은 경우라면, 증류 기법 대신 지도 학습이 유리하다고 권장합니다:

  • 교사 모델과 학생 모델을 모두 훈련해야 하는 경우 - 증류의 이점 대비 교사 모델 훈련 비용을 쓰는게 낫기 때문입니다.

  • 충분한 컴퓨팅 파워와 데이터가 확보되어 있는 경우 - 지도 학습이 컴퓨팅 파워나 데이터 예산이 충분한 경우는 대부분 증류보다 성능이 낫습니다.

• 때로는 학생 모델이 교사 모델의 성능을 능가할 수도 있는데, 이런 현상을 ‘Weak-to-Strong Generalization’이라고 합니다.

이런 여러 가지 ‘지식 증류’ 기법의 특성과 경향을 잘 이해하면, 소형 모델을 훈련하는데 증류 기법을 적용할 때 나타날 수 있는 문제나 실수를 피할 수 있습니다.

자 그럼, 전반적으로 지식 증류를 사용할 때의 이점을 한 번 정리해 보겠습니다.

지식 증류 기법의 이점

• 메모리나 컴퓨팅 파워 요구사항이 낮습니다
  지식 증류는 계산 능력의 요구사항을 크게 낮추면서도 높은 성능 수치를 유지하는 데 도움을 주는 기법입니다. 그리고 만들어진 소형 모델은 메모리와 계산 능력을 아무래도 덜 쓰니까, 엣지 디바이스, 모바일 애플리케이션, 임베디드 시스템에 배포하기에 적합합니다.

• 추론이 더 빠릅니다
  증류된 학생 모델은 일반적으로 더 작고 계산 요구랑도 적어서, 추론 지연 시간이 짧고 예측은 빨라집니다 - 바로 실시간 성능이 중요한 어플리케이션에 필요한 특성들이죠.

• 일반화 (Generalization) 성능이 향상될 수 있습니다
  학생 모델은 때때로 더 일반화되고 증류된 버전의 지식을 학습해서, 과적합 (Overfitting)을 줄이고 아직 경험하지 못한 데이터 (Unseen Data)에 노출되었을 때의 성능을 향상시킬 가능성이 있습니다.

• 안정적인 훈련이 가능합니다
  학생 모델은 교사 모델의 구조화된 지식의 이점을 계승해서, 특히 데이터가 제한적이거나 노이즈가 있는 경우에, 훈련을 더 스무스하고 안정적으로 할 수 있습니다.

• 전문적이고 다양한 영역의 지식을 통합해서 훈련할 수 있습니다.
  학생 모델은 여러 교사 모델이 가지고 있는 지식, 그리고 인사이트를 기반으로 훈련할 수 있어서, 다양한 아키텍처나 도메인에서 지식을 상속받고 다른 작업도 잘 수행하게 될 가능성이 있습니다.

• 개인정보 보호에 유리합니다
  지식 증류 기법을 통하면 원시 데이터를 노출하지 않고도 모델을 훈련할 수 있어서, 데이터나 개인정보 보호 규정이 강력한 시나리오에서 유리할 수 있습니다.

• 에너지 효율성이 높습니다
  지식 증류 기법으로 훈련한 모델은 에너지를 덜 소비해서, 대규모 AI 배포에 환경적으로나 경제적으로 고려해 볼 만한 선택지입니다. 그리고, 더 컴팩트하고 효율적인 모델을 사용하게 되니, 실제 환경에서 최첨단 모델의 능력을 활용할 수 있는 강력한 방법이기도 합니다.

튜링 포스트 코리아의 AI 101을 많이 보신 분이라면, 지금쯤 어떤 이야기를 할지 예상하시죠? 네, 어떤 기법이나 기술이든, 한계와 이슈가 있죠.

지식 증류 기법의 한계점

다른 기법들과 마찬가지로, 많은 이점을 가지고 있는 지식 증류 기법도 몇 가지 한계와 과제가 있습니다:

• 훈련의 복잡성이 높습니다
  증류 기법을 사용하려면, 당연히 교사 모델과 학생 모델, 두 개를 훈련해야겠죠. 작은 모델을 처음부터 직접 훈련하는 것에 직접적으로 비교하면, 추가적 단계가 아무래도 필요하죠.

• 정보의 손실이라는 리스크를 감수해야 합니다
  학생 모델은 더 큰 교사 모델의 모든 뉘앙스, 세밀한 지식, 복잡한 추론 능력을 포착하지 못할 수도 있습니다.

• 성능의 트레이드오프가 있을 수 있습니다
  학생 모델이 교사 모델이 가진 성능의 대부분을 유지하도록 노력하겠지만, 크기와 정확도 간에 종종 트레이드오프가 있을 수 있습니다.

• 학생 모델의 용량 때문에 효과적인 학습이 안 될 수도 있습니다.

  학생 모델이 너무 작으면, 교사 모델로부터 효과적으로 학습하기 어려울 수도 있습니다. 이런 현상은 특히 교사 모델이 학생 모델 대비 너무 크고 훌륭한 모델일 때 발생하기 쉽습니다.

• 교사 모델의 품질에 대한 의존성이 생깁니다
  교사 모델 자체가 많이 편향되어 있거나 오류를 포함하고 있다면, 이런 문제들이 학생 모델에 전달될 가능성이 높습니다.

• 온도와 하이퍼파라미터에 대해 민감합니다
  지식 증류의 효과는 온도 파라미터와 손실 함수의 선택에 크게 의존하게 됩니다. 따라서, 튜닝을 잘 하지 못하면 지식이 잘 전달되지 않는다거나 학생 모델의 성능이 나빠질 수 있습니다.

• 에너지와 계산 비용이 많이 들 수 있습니다
  학생 모델은 기본적으로는 효율적이지만, 증류 과정 그 자체는, 특히 거대 모델의 경우에는 계산 비용이 많이 들 수 있습니다.

이런 한계점들에도 불구하고, 지식 증류 기법은 심지어 최상위 수준의 모델에서도 많이 사용되는, 광범위한 적용 범위를 가진 기법입니다.

실제 사례: DeepSeek-R1, DistilBERT 등의 성공 사례

아무래도 효과적인 지식 증류 기법으로서 가장 최신 사례 중 하나가, DeepSeek 사례겠죠.

DeepSeek은 DeepSeek-R1의 추론 능력을 더 작은 모델로 전달해서, 더 많은 기업과 사람들이 강력한 추론 모델을 더 편하고 쉽게 사용할 수 있게 했습니다.

DeepSeek-R1에서 얻은 80만 개의 고품질 훈련 예제를 사용해서 Qwen이나 Llama 같은 오픈소스 모델을 파인튜닝했는데, 이렇게 증류한 모델들이 소형 모델에 직접 강화 학습을 적용하는 것보다 훨씬 더 나은 성능을 보여준 것이죠.

그렇지만, 이 사례는 논란을 불러일으키기도 했는데요. 바로 오픈AI에서 ‘증류 과정에 사용된 방법’에 대해 우려를 제기했기 때문입니다. 오픈AI는 “DeepSeek이 훈련 데이터를 보완, 개선하려고 ChatGPT 같은 독점적인 모델의 출력 데이터를 활용했을 수 있다”고 주장했습니다. 관련된 보고서에 따르면, DeepSeek 모델이 출력하는 응답 중 일부가 오픈AI 시스템의 응답과 아주 비슷해서, 무단으로 지식을 추출한 것이 아닌가 하는 의혹이 제기되었습니다.

이런 주장이 더 그럴듯하게 들리는게, DeepSeek의 AI 모델이 가끔 스스로를 ChatGPT라고 생각하는 것처럼 보일 때가 있거든요.

그리고 또, 오픈AI와 마이크로소프트가 DeepSeek 관련자들이 데이터를 추출하려는 비정상적인 활동을 하는 것을 탐지했다고 몇 차례 이야기하기도 했는데, 이런 소식들 때문에 ‘지식 증류’라는 기법에 따라오는 윤리적인 경계, 그리고 독점적인 AI 기술의 보호 방법과 범위에 대한 논의가 촉발되고 있습니다.

이런 논란들에도 불구하고, DeepSeek의 ‘지식 증류’ 결과는 아주 인상적이고도 중요한 측면이 있습니다.

• 증류된 DeepSeek-R1-Distill-Qwen-7B 모델은 추론 벤치마크에서 QwQ-32B 같은 훨씬 더 큰 모델보다 성능이 좋았습니다.

• 증류된 32B와 70B 버전은 오픈소스 AI 추론 작업에서 새로운 기록을 세워서, ‘모델의 효율성과 접근성을 향상시킨다’는 증류 기법의 효과를 대표적으로 보여줬습니다.

증류 기법의 또 다른 좋은 사례는, 자연어 처리(NLP)의 고전적인 사례인 허깅페이스의 DistilBERT입니다. 이 모델은 BERT 모델의 증류 버전인데, 런타임의 약 60%만으로도 BERT가 가진 언어 이해 능력의 약 97%를 유지하고, 동시에 모델 크기는 40%나 줄였습니다.

2024년 10월, 마이크로소프트 연구자들은 고품질의 합성 데이터를 사용해서 4,050억개 파라미터를 가진 Llama 3.1 모델을 70B와 8B 변형 모델로 증류했습니다. 증류된 모델들은 405B 사이즈의 교사 모델과 비슷한 정확도를 유지했고 일부 벤치마크에서는 교사 모델의 Zero-shot 성능과 비슷하거나 더 뛰어났습니다.

시각 데이터 영역에서는, 메타 AI의 Segment Anything Model(SAM)이 좋은 예시입니다. 이 모델은 아주 강력한 성능을 보여주기는 하지만 자원이 많이 필요한 세그먼테이션 모델이거든요. 그래서 최근에 연구자들이, 의료 이미지의 세그먼테이션을 위해서 SAM의 증류 버전, KD-SAM을 제안했습니다. v피처 맵 손실 (Feature Map Loss)의 조합을 통해서, SAM의 거대한 Vision Transformer가 갖고 있는 구조적인 지식과 의미적인 지식을 모두 훨씬 작은 모델로 전이했고, 결과적으로, KD-SAM은 원래 SAM과 비슷하거나 더 뛰어난 세그먼테이션 정확도를 보여주는 모델이 되었습니다.

음성 인식을 볼까요? 여기서는 Amazon Alexa를 주요 사례로 이야기할 수 있습니다. 연구자들은 엄청난 양의 레이블이 없는 음성 데이터에 지식 증류 기법을 사용했는데요: 교사 모델이 100만 시간 이상의 음성을 처리해서 소프트 타겟 (확률 분포)을 만들어 냈고, 이후에 더 작은 음향 모델 (학생 모델)을 훈련시켰습니다. 증류된 학생 모델은 Alexa의 디바이스에서 효율적으로 실행할 만큼 작으면서도, 제한된 메모리와 CPU 조건에서 정확한 음성 인식 성능을 보여줬습니다.

‘지식 증류’는 배터리 전원이나 저전력으로 작동하는 마이크로컨트롤러, 센서, 분산 기기 등의 엣지 장치에 AI 모델을 배포하는데도 도움을 줄 수 있습니다.

맺으며

오늘 에피소드에서는, ‘지식 증류’라는 훈련 기법에 대해서 알아봤습니다. 이 기법은, 더 큰 모델의 능력과 지식을 활용해서 작은 모델을 효과적으로 훈련하는 기법으로 입증이 되었습니다.

훌륭한 소형 모델은 AI를 더 많은 곳에서 더 많은 사용자가 경험할 수 있게 해 주는 핵심적인 요소입니다. 위에서 살펴본 내용처럼, 지식 증류 기법이 계속 발전하면서 현재의 한계를 극복하고 더 효과적으로 소형 모델을 훈련해서, 누구나 AI에 쉽게 접근할 수 있는 세상을 당기게 될 거라고 확신합니다.

보너스: 참고자료

1. Distilling the Knowledge in a Neural Network by Geoffrey Hinton, Oriol Vinyals, Jeff Dean

2. Knowledge Distillation: A Survey

3. Distillation Scaling Laws by Dan Busbridge, Amitis Shidani et al.

4. FitNets: Hints for Thin Deep Nets

5. Understanding and Improving Knowledge Distillation

6. Compact Language Models via Pruning and Knowledge Distillation by Saurav Muralidharan, Sharath Turuvekere Sreenivas, Pavlo Molchanov et al.

7. Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application by Yidong Wang et al.

8. A Survey on Knowledge Distillation of Large Language Models by Tianyi Zhou

9. Distilling Diffusion Models into Conditional GANs

10. Explaining Knowledge Distillation by Quantifying the Knowledge

11. Unleash Data Generation for Efficient and Effective Data-free Knowledge Distillation

12. Knowledge Distillation from Language Model to Acoustic Model: A Hierarchical Multi-Task Learning Approach

13. Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling by Zifeng Wang, Rishabh Agarwal, Chen-Yu Lee et al.

14. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning by Qihao Zhu et al.

15. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter by Victor Sanh, Lysandre Debut, Julien Chaumond, https://huggingface.co/thomwolf

16. Knowledge Distillation Using Frontier Open-Source LLMs: Generalizability and the Role of Synthetic Data

17. Efficient Knowledge Distillation of SAM for Medical Image Segmentation

18. MonoTAKD: Teaching Assistant Knowledge Distillation for Monocular 3D Object Detection