2025년 상반기 'AI 101' 되짚기: 주목해야 할 4개의 모델 패밀리

2025년의 상반기를 마무리하는 지금 이 시점에서, 말씀드린 바와 같이 튜링 포스트 코리아는 상반기에 있었던 여러 가지 새로운 기술, 모델 등을 여러분들과 함께 돌아보면서 Recap하는 시간을 가지고 있습니다. 이제 마무리 단계인데요.

개별적인 모델도 좋지만, ‘모델 패밀리’라는 걸 탐색하다보면 그 뒤에 있는 기업들의 아이디어, 그리고 전략을 살펴볼 수 있습니다.

2025년에는 주목할 만한 새로운 모델, 모델 패밀리들이 많이 등장했습니다. 오늘의 AI 101 Recap에서는, ‘AI 모델을 설계하는 접근 방식’이라는 관점에서 흥미로운 4가지 모델 패밀리에 초점을 좁혀서 간략히 살펴볼까 합니다.

허깅페이스의 SmolLMs, Qwen 모델들, Liquid Foundation 모델들, 그리고 고전적인 BERT를 포함한 4가지 모델 패밀리입니다 - 이제 이 모델들과 그 개발자들의 여정을 한 번 다시 살펴보죠!

1. 허깅페이스의 SmolLM2 모델이 알려주는 '소형모델' 성능의 비밀

허깅페이스의 Smol 모델 패밀리, 특히 SmolLM2에 대해서 심층적으로 탐구해 보고, 어떻게 해서 똑똑한 훈련 방식을 고민하고 영리하게 데이터를 선택한 결과로 소형 언어 모델(SLMs)이 거대 모델에 필적하는 추론 능력을 가지게 되었는지를 살펴봅니다.

2. Qwen-Agent 프레임웍은 무엇인가 - Qwen 모델 패밀리 들여다보기

Qwen 모델이 강력한 추론 능력을 갖추게 되기까지의 여정을 소개합니다. 이 모델은 오픈AI나 DeepSeek의 최첨단 모델들과 동등한, 때로는 그 이상의 성능을 보여주기도 하는 모델입니다.

그리고 어쩌면 많은 분들이 놓쳤을 수도 있을 Qwen-Agent 프레임웍에 대해서도 다룹니다. 이 프레임웍은 Qwen 모델이 처음부터 스스로 계획하고, 함수 호출을 하고, 복잡한 다단계의 작업을 자율적으로 수행할 수 있도록 해 주는, 완전한 에이전트 생태계입니다.

3. '액체 신경망 모델', 트랜스포머를 넘을 수 있을까? 최신의 LFM, Hyena Edge를 알아봅시다

이전과 다른 ‘새로운’ 접근 방식 - AI 분야 전체를 다시 한 번 혁신하고 앞으로 나아가게끔 하는데 반드시 필요한 요소입니다. 그런 관점에서라도, Liquid AI가 개발한 Liquid Foundation Models(LFMs)과 Hyena에 대해 알아두는 게 중요하다고 생각해요. 이 모델은 기존의 트랜스포머와 다른, 처음부터 다른 원칙과 생각에 바탕으로 만든 트랜스포머의 대안적 모델이라고 하겠습니다.

기존의 어텐션 기반 모델은, 대규모 입력을 처리할 때 속도나 메모리 면에서 한계를 보이지만, LFMs는 데이터를 연속적인 신호처럼 처리하는 다이나믹한 시스템을 적용해서, 더 안정적이고 빠르고, 텍스트, 오디오, 비디오 같은 장문의 - 또는 아주 긴 - 입력값에도 잘 적응합니다.

Hyena와 그 최신 버전인 Hyena Edge는 어텐션을 빠른 Convolution과 Gating으로 대체해서, 휴대폰 같은 일반 기기에서도 고품질의 추론을 할 수 있게끔 해 주고요.

4. BERT를 해부하다: 혁신의 원류에서 차세대 AI 백본의 길로 (ft. ConstBERT)

트랜스포머 기반의 BERT(Bidirectional Encoder Representations from Transformers)는, 이런 점에서 ‘최초’라는 의미를 가지는 모델이죠:

• 문맥을 더 깊이 이해하기 위해서, 토큰을 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로 동시에 처리하는 ‘진정한 양방향’ 방식의 딥 트랜스포머를 사전학습(Pre-train)했습니다.

• ‘사전학습 후 파인튜닝(Pre-train then Fine-tune)’이라는 패러다임을 대규모 트랜스포머 모델에 도입했습니다.

최근에는 BERT를 바탕으로 ModernBERT, NeoBERT, ConstBERT 같은 새로운 모델들이 등장하면서 또 다른 변화를 이끌고 있는데요. 여기에서는 BERT의 핵심 아이디어와 다양한 파생 모델들을 살펴보고, 특히 최신 모델인 ConstBERT - BERT 기반의 다중 벡터 검색(Multi-vector Retrieval) 솔루션 - 에 대해서 개괄합니다.

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!