Topic #29: 허깅페이스의 SmolLM2 모델이 알려주는 '소형모델' 성능의 비밀

그럼, 위의 내용을 순서대로 한 번 살펴보겠습니다.

새로운 데이터셋으로 훈련하기 위한 최적의 조합

1. 영문 데이터

연구자들은 먼저 일반적인 웹 데이터로 SmolLM2를 훈련시킨 다음, 수학과 코딩 데이터셋을 사용해서 파인튜닝을 했습니다. 이 과정에서 두 가지의 인기 있는 고품질 웹 데이터셋을 중점적으로 활용했다고 합니다:

• FineWeb-Edu
  교육 콘텐츠에 중점을 둔 데이터셋입니다. MMLU, ARC, OpenBookQA 같은 교육 기반의 테스트에서 더 나은 성능을 보여줬습니다.

• DCLM
  온라인 토론 데이터와 관련한 인사이트 등을 포함해서, 더 다양하면서도 대화형의 텍스트가 들어있는 데이터셋입니다. 결과로 보자면, 이 데이터셋이 추론 및 상식 테스트 (HellaSwag, CommonSenseQA)에서 더 우수한 결과를 보여주고 다양한 대화가 가능하게 해 준다는 걸 보여줬습니다.

두 가지 데이터셋 모두 서로 강점이 달라서, 다양한 비율로 혼합하는 게 좋은 전략일 겁니다. 연구자들은 60% FineWeb-Edu + 40% DCLM 조합이 전반적으로 가장 좋은 결과를 만들어준다는 걸 발견했구요. 한다는 것을 발견했습니다. 이렇게 해서 SmolLM2 훈련에 사용할 총 5.1조 개의 고품질 영어 텍스트 토큰을 만들었습니다.

2. 수학 데이터: 새로운 FineMath 데이터셋 만들기

OpenWebMath(OWM)라든가 InfiMM-WebMath 같은 수학 데이터셋들이 있지만, SmolLM2 개발진들이 보기에는 썩 맘에 들지 않았나 봅니다. 그래서 아래의 포인트에 초점을 두고, 540억 토큰 규모의 FineMath라는 새로운 데이터셋을 구축했다고 합니다:

• 단순한 공식이 아닌 단계별 수학 문제 해결을 가이드한다.

• 중학교에서 고등학교까지 수준의 수학으로, 더 균형 잡힌 내용을 포함한다.

• AI를 사용해서, 가장 좋은 수학 콘텐츠를 평가하고 선택하는 필터링을 적용한다.

FineMath는 기본적인 수학 문제에서 답변의 정확도를 두 배로 높이고, 고급의 수학 성능을 6배 향상시키는 모습을 보이는 등, 이전의 데이터셋보다 훨씬 더 나은 성능을 보여줬습니다. 결국, SmolLM2 개발진이 생각한 대로, 명확한 목표를 가지고 더 잘 구조화된 수학 데이터를 사용한다면, AI의 추론 능력도 더 나아진다는 걸 보여줬다고 할까요?

3. 코드 데이터: Stack-Edu

프로그래밍 코드로 모델을 훈련시키면 전반적인 추론 능력이 향상됩니다. SmolLM2의 코딩 능력을 업그레이드하기 위해서, 허깅 페이스에서는 StarCoder2Data의 필터링된 버전, Stack-Edu를 만들었는데요. 그 특징은 다음과 같습니다:

• 교육용 코드 샘플

• 잘 문서화된 프로그램들

• 15가지의 주요 프로그래밍 언어를 커버

이 데이터셋을 구성하는 과정에서도, 연구자들은 AI를 사용해서 코드의 ‘교육적 품질’을 평가하고 가장 좋은 부분만 남겨서 아주 잘 정제된 1,250억 토큰의 데이터셋을 만들었습니다. Stack-Edu는 그 크기는 작은 데이터셋이지만 효율적이고, 대부분의 프로그래밍 언어에서 AI의 코딩 능력을 향상시켜 줍니다. Java 언어의 경우에는 약간 낮은 필터 - 즉 약간 저품질의 데이터가 포함되어 있는 상태 - 로 가장 좋은 성능을 보여주었는데, 이는 각각의 언어마다 조금씩 다른 훈련 전략이 필요할 수도 있다는 점을 시사합니다.

SmolLM2 모델의 훈련을 가장 잘 하기 위해서 이 모든 데이터셋을 어떻게 조합해야 할까요?

위에서, 데이터를 스마트하게 조합하는 것이 뛰어난 성능의 핵심이라고 말씀드렸었죠? 또 다른 중요한 점은, 더 오래 훈련을 하면 소형 모델이 비용을 낮추면서도 성능은 더 나아진다는 점입니다. 그래서, 허깅 페이스 팀은 다단계의 훈련 전략을 고안했습니다.

다단계 훈련 전략

SmolLM2-1.7B는 11조 규모의 토큰으로 훈련했는데, 여기서 ‘다단계의 훈련 방식’을 사용했습니다. 최상의 성능치를 얻기 위해서, 훈련을 진행해 가면서 데이터의 조합, 즉 ‘데이터 믹스’를 조정했구요. 이 과정에서, 연구자들은 네 가지의 핵심적인 원칙을 따랐다고 해요:

1. 모델 성능이 어떻게 나타나는가 모니터링하면서, 약점을 수정한다는 관점에서 데이터셋의 믹스를 조정했습니다.

2. 최고의 수학 학습 데이터 (FineMath) 그리고 코드 데이터 (Stack-Edu)는 최종 단계에서 사용하기 위해서 보존해서, 이 데이터셋의 모델 성능에 대한 영향력을 극대화했습니다.

3. 데이터셋 전체를 한꺼번에 추가하는게 아니라, 특히 수학과 코딩 데이터를 중간 정도 크기로 나눠서 점진적으로 혼합해 가면서 훈련했습니다.

4. 지나치게 많이 반복하지 않고, 4-5회의 훈련 라운드 정도로 한계치를 정했습니다.

자, 그럼 SmolLM2의 훈련에 적용된 4단계의 훈련 과정을 살펴보시죠:

1단계: 일반적인 지식 중심 (~ 6조 규모 토큰)

• 이 단계에서는 ‘영어로 된 웹 데이터’ - 훈련 데이터의 90% 정도를 차지 - 에 중점을 두게 되는데, 이 중에 FineWeb-Edu의 교육 콘텐츠 60%와 DCLM의 일반 Q&A 및 추론 데이터 40% 정도를 포함시켰다고 합니다.

• 이 단계에서 코딩 데이터는 훈련 데이터의 10% 정도 뿐이었습니다. 수학 데이터는 아직 포함하지 않았구요.

당연하게도, 이 단계에서 모델의 일반 지식에 대한 성능은 괜찮았지만, 수학과 코딩 능력은 그리 좋지 않았죠.

2단계: 코딩 및 수학 데이터 추가 (6조 ~ 8조 규모 토큰)

• OpenWebMath(OWM)를 사용해서 수학 데이터 (5% 정도)를 집어넣었습니다. 코딩 데이터는 20% 수준으로 증가시켰구요.

• 영어로 된 웹 데이터는, FineWeb-Edu 데이터셋과 DCLM 데이터셋의 비중은 비슷하게 유지하면서 전체적으로는 75% 정도로 유지했습니다.

2단계에서 SmolLM2의 코딩 능력은 향상되었지만, 수학 성능은 여전히 그리 만족스럽지 않았습니다.

3단계: 수학과 코딩 영역 성능의 추가 개선 (8조 ~ 10조 규모 토큰)

• InfiMM-WebMath 데이터셋을 추가해서 수학 데이터셋의 양을 10% 증가시켰습니다.

• 코드를 더 잘 학습하도록, StarCoderData를 드디어 Stack-Edu로 대체했습니다.

• 모델이 코드에 대한 설명을 더 잘 이해하게끔 Jupyter Notebooks 데이터셋을 추가했습니다.

• 영어 웹 데이터 믹스를 FineWeb-Edu 40%, DCLM 60%로 조정했습니다

이 단계를 거치고 나서 성능은 향상되었지만, 정화도가 일시적으로 하락하는 ‘Loss Spike (손실 스파이크)’가 있었습니다 - 이건 훈련 중에 Loss 값이 갑작스럽게, 그리고 일시적으로 증가하는 걸 의미합니다. 결국에는 모델이 성능을 회복하고 계속해서 개선되었다고 합니다.

4단계: 최종적인 파인튜닝과 마무리 (10조 ~ 11조 규모 토큰)

• 이 단계에서, 연구자들은 학습률 (Learning Rate)을 점차 낮췄습니다 (이 과정을 ‘Decay’라고 합니다).

• 가장 고품질의 수학 데이터인 FineMath4+, 그리고 InfiWebMath-3+를 추가했습니다. 이렇게 해서, 수학 데이터가 훈련 데이터의 14% 정도가 되었습니다.

• 더 많은 프로그래밍 언어를 포함하도록 Stack-Edu를 확장했습니다.

• DCLM 데이터셋의 비율을 더 높이면서 영어 웹 데이터의 총 비중은 58%를 유지했습니다.

이 단계에서, 일반적인 지식을 업그레이드하면서 동시에 수학과 코딩 성능이 가장 많이 개선되었습니다.

위에서 설명드린, 4단계의 ‘다단계 훈련’은 SmolLM2 모델들 중에서도 ‘가장 큰’, 1.7B 모델의 훈련에서 사용한 접근 방법입니다. 360M, 그리고 135M 버전은 컴퓨팅 파워 요구사항도 적고 용량도 적어서, 훈련 과정을 더 단순화했다고 합니다 - 다단계 훈련이 아니라 한 번의 훈련을 했지만, 대신 전체적으로 품질의 일관성이 높은, 고품질 데이터를 사용해서 훈련했습니다. 이 때 사용한 훈련 데이터 믹스는 아래와 같이 정제했구요:

• 품질이 낮은 샘플을 제거하기 위해서 FineWeb-Edu의 분류기로 DCLM을 필터링했습니다.

• 코딩을 위한 Stack-Edu, 수학적 추론을 위한 InfiMM-WebMath 그리고 FineMath, 그리고 구조화된 지식을 위한 Cosmopedia를 처음부터 포함시켰습니다.

SmolLM2-360M은 4조 개의 토큰으로, SmolLM2-135M은 2조 개의 토큰으로 훈련했습니다.

SmolLM2가 ‘더 긴 텍스트’를 잘 다루게 하자

위에서 이야기한 ‘4단계 훈련’이 뛰어난 성능의 비밀 전부는 물론 아닙니다. 다양한 복잡한 작업들을 처리하려면, 더 긴 컨텍스트를 효과적으로 처리해야 했죠. 이걸 위해서, 연구자들은 SmolLM2의 컨텍스트 길이를 2K에서 8K 단어로 증가시켰습니다 - Dolma 데이터셋의 일부 (20%), DCLM과 FineWeb-Edu 데이터셋의 교육 및 일반 웹 텍스트 일부 (각각 10%), 그리고 앞에서 설명한 4번째 단계의 데이터셋 믹스 (60%)를 조합한 데이터 믹스를 사용했다고 해요.

이렇게, 모든 훈련의 측면을 다 결합하고 나서야, SmolLM2-1.7B는 최첨단의, SOTA 성능을 달성할 수 있었습니다. 그런데, 이게 훈련의 마지막 단계는 아닙니다!

Instruction-Tuning과 Preference Learning

사후 훈련 (Post-Training), 그 의미는 이제 다들 아시죠? 사후 훈련은 모델이 더 추론을 잘 하게, 응답을 정확하게 할 뿐 아니라 ‘사용자의 지시’에 적절하게 잘 따르게끔 하는 훈련을 할 수 있는, 아주 중요한 단계죠.

SmolLM2 모델 개발 과정에서는 어떤 사후 훈련이 적용되었는지 볼까요?

SmolTalk 데이터셋으로 Instruction Tuning

SmolLM2-1.7B의 SFT (Supervised Fine-Tuning; 지도 파인튜닝)을 하기 위해서, 연구자들은 SmolLM2가 지시를 이해하고 따르는 능력을 향상시키기 위한 데이터셋, SmolTalk 데이터셋을 만들었습니다. 이 데이터셋은 MagPie-Ultra 데이터셋을 필터링해서 만들었다고 하는데, 아래와 같은 내용을 포함합니다:

• 대화 데이터(MagPie-Ultra에서 추출)
  SmolLM2가 자연스러운 대화를 처리할 수 있도록 가르칩니다.

• 작업별 특화 데이터
  복잡한 지시에 따르기(Smol-Constraint), 요약(Smol-Summarization), 텍스트 다시 쓰기(Smol-Rewrite) 같은 영역에서 SmolLM2가 더 좋은 성능을 보이게끔 도와줍니다.

• 수학 데이터
  SmolLM2의 수학적 추론 능력을 향상시켜 줍니다.

• 코드 데이터, 그리고 긴 컨텍스트 데이터 (LongAlign에서 추출)
  코딩 작업을 잘 하게끔, 그리고 긴 텍스트가 입력되었을 때 더 잘 처리하게 만들어줍니다.

• PersonaHub, 이메일, 트윗 등 데이터셋에서 추출한 페르소나 기반 데이터
  SmolLM2이 다양한 어조라든가 스타일로 글을 쓸 수 있도록 가르쳐 줍니다.

SmolTalk는, 여러 개의 벤치마크에서 SmolLM2 모델이 전반적으로 성능이 뛰어날 뿐 아니라 더 명확하게, 더 구조화된, 더 유용한 응답을 만들어낼 수 있도록 해 줬다고 평가할 수 있습니다.

나머지 두 개의 모델인 SmolLM2-360M, SmolLM2-135M에 대해서 SFT를 할 때는, 함수 호출이라든가 하는 복잡한 작업은 제거하고 소형 모델의 상황에 맞는, 더 쉽게 처리할 수 있는 지시에 집중하는 SmolTalk의 단순화된 버전을 사용했습니다.

Preference Learning

SmolLM2 모델 훈련의 마지막 단계입니다.

여기서는 DPO (Direct Preference Optimization) 기법으로 SmolLM2-1.7B 모델이 더 좋은 품질의 응답을 선택할 수 있도록 가르치죠. 연구자들은 추론 능력, 그리고 지식을 향상시켜주는데 가장 효과적인 UltraFeedback 데이터셋을 사용했는데, 학습률 (Learning Rate)을 조정하면서 두 번의 라운드에 걸쳐서 SmolLM2를 훈련시켰습니다.

이렇게 모든 튜닝과 선호도 학습까지 마친 후에 우리 손에 주어진 모델이 바로, SmolLM2-1.7B의 최종 ‘Instruct’ 버전입니다.

360M 및 135M 버전에서는, 선호도 학습 역시 UltraFeedback을 사용해서 명확하고 유용한 응답을 유지하면서도 Instruction에 따르는 능력을 향상시켰습니다.

자, 지금까지 말씀드린 구체적인 훈련 전략, 그리고 아주 고민을 많이 하고 신중하게 만든 데이터셋을 사용해서, SmolLM2가 다양한 영역에서 작업을 잘 수행하는 다재다능한 AI 모델이 될 수 있었습니다.

그럼, 이 모델의 성능을 한 번 살펴볼까요?

SmolLM2의 성능

이 모델과 유사한 모델을 꼽자면, 아마 Qwen2.5-1.5B-Instruct라든가 Llama3.2-1B-Instruct 등이 있을 텐데요. 이런 모델들과 비교해서 SmolLM2-1.7B는 우수한 성능을 보여줍니다:

• Qwen2.5-1.5B보다 Instruction을 더 잘 따릅니다.

• 대화, 추론, 다시 쓰기 작업에서 아주 강력한 성능을 보여줍니다.

• 수학(GSM8K, MATH), 지식 기반 테스트에서 경쟁 모델과 비슷한 수준의 능력을 보여줍니다.

그럼, SmolLM2가 훌륭한 소형 모델인 이유를 한 번 정리해 볼께요.

장점

• 작은 크기에 강력한 성능
  위에서 봤듯이, SmolLM2-1.7B는 Qwen2.5-1.5B나 Llama3.2-1B 같은 다른 소형 모델들보다 성능이 뛰어난 부분도 있고, 수학, 코딩, 추론 및 ‘Instruction 따르기’에서는 비슷한 수준의 경쟁력을 보여줍니다.

• 저렴한 연산 비용
  SmolLM2 모델군은 제한된 자원을 가진 디바이스에서 효율적으로 실행되고, 그러면서도 추론, 코딩 등의 작업에서 높은 정확도를 유지하게끔 설계되었습니다.

• 신중하게 선별하고 만들어진 데이터셋
  주로 원시 (Raw) 웹 데이터에 의존해서 훈련한 모델들과 다르게, SmolLM2 모델은 고품질 소스를 잘 균형을 맞춰서 조합해서 훈련한 모델입니다.

• 과적합 (Overfitting)되지 않은 효율적인 다단계 훈련 전략
  훈련 과정을 4단계로 나누고 각 단계별로 서로 다른 종류의 데이터와 그 데이터의 믹스를 최적화해서, 과적합이 되지 않은, 다재다능한 모델을 만들 수 있었습니다.

• 컨텍스트 길이를 2K에서 8K 토큰까지 확장
  SmolLM2가 요약이라든가 심화된 읽기 등의 작업까지 처리할 수 있게 되었는데, 컨텍스트 길이를 확장했음에도 성능이 손실되지 않았습니다.

• 모델, 데이터셋 및 훈련 코드 모두가 오픈 소스
  오픈 소스, 요즘 그 중요성이 더 강조되고 있죠? 누구나 SmolLM2에 사용된 데이터셋과 훈련 기법을 활용해서 자기만의 모델을 만들 수 있습니다.

• SmolLM2-360M 및 SmolLM2-135M 버전의 유용성
  마찬가지로 강력한 성능을 유지하면서도 가용 자원이 적은 디바이스에서도 실행되는, 더 경량의 AI 애플리케이션을 만들 수 있는 모델들입니다.

한계점

크기를 생각한다면 아주 강력한 모델이지만, 역시 SmolLM2-1.7B에도 몇 가지 중요한 한계점이 있습니다:

• SmolLM2가 모든 부분에서 최고의 성능을 보여주는 건 아닙니다. 수학이나 코딩 작업에서 일부의 다른 소형 모델들보다 조금 뒤처지는 모습을 보여주는 부분도 있고, Instruction을 따르는 부분도 절대적인 최고 성능은 아닌 만큼, 여전히 개선의 여지가 있어 보입니다.

• 작은 모델이기 때문에 더 큰 모델만큼 많은 지식을 저장할 수 없어서, 종종 복잡한 추론에 어려움을 겪을 수 있습니다.

• 입력값이 길 때, 그 안에서 특정한 정보를 검색하는 데 Qwen2.5-1.5B 같은 다른 모델들만큼 좋은 성능을 보여주지는 못합니다.

• 비싼 훈련 비용: SmolLM2을 훈련하는데 여전히 상당한 자원이 필요합니다. 전체 훈련 과정을 1회 진행하는데 GPU 비용만 25만 달러 정도로 추산합니다.

• SmolLM2는 더 좋은 답변을 선호하게끔 훈련을 했지만, 합성된 피드백 데이터에 의존하는 것이니만큼 미묘한 사람의 선호도에 대한 이해는 아직 발전의 여지가 많습니다.

맺으며

소형 언어 모델, SLM은 더 많은 사람이 더 많은 환경에서 ‘AI’라는 기술에 접근하고 사용해 볼 수 있게 해 주죠. 초거대 모델들과 비교했을 때, 소형 모델만의 강력한 성능과 경쟁력을 확보하는, 독특한 전략과 방법을 많은 연구자들이 고민하고 있습니다.

이번 AI 101 에피소드에서는 허깅 페이스의 Smol 모델 제품군 전체 - SmolLM, SmolLM2, SmolVLM, SmolVLM2를 포함해서 - 를 살짝 살펴보고, 특히 아주 조심스럽게 선별한 데이터셋, 그리고 아주 스마트하게 설계된 훈련 전략으로 만들어진 SmolLM2 모델을 좀 더 자세히 살펴봤습니다.

여러분도 한 번 나만의 소형 모델을 만들어보고 싶다는 생각이 드시나요?

보너스: 참고자료

1. SmolLM2: When Smol Goes Big – Data-Centric Training of a Small Language Model by Hugging Face

2. SmolLM – blazingly fast and remarkably powerful by Loubna Ben Allal, Anton Lozhkov, Elie Bakouch

3. SmolVLM – small yet mighty Vision Language Model by Andres Marafioti, Merve Noyan, Miquel Farré, Elie Bakouch, Pedro Cuenca

4. SmolVLM2: Bringing Video Understanding to Every Device by Orr Zohar, Miquel Farré, Andres Marafioti, Merve Noyan, Pedro Cuenca, Cyril, Joshua

5. SmolLM series of models

6. SmolLM2 series of models

7. SmolVLM series of models

8. SmolVLM2 series of models

9. Smol Models on Hugging Face’s GitHub

10. Small Language Models: Survey, Measurements, and Insights