Topic #1: MoE (Mixture of Experts) 아키텍처란 무엇인가?

글을 시작하며

Turing Post Korea는 AI 개발자 뿐 아니라 AI 제품이나 서비스 기획자, AI에 대한 이해를 해야 하는 기업의 리더, AI에 관심있는 일반 대중들에게 다양한 관점의 AI 기사, 인터뷰 등을 제공하고 있는데요. AI 기술 개발 동향에 대한 최신 정보를 제공하는 섹션으로 ‘AI 101’ 시리즈를 시작합니다.

AI 영역의 새로운 연구 주제라든가 기술이 명확한 설명 없이 유행어가 되고 많은 사람들에게 회자되는 경우가 많이 있죠. 이런 복잡한 기술적 토픽에 대해, 기술자가 아니라 하더라도 큰 무리없이 이해할 수 있도록 간단한 인사이트를 드리는 것이 이 시리즈의 목표입니다.

이번 편에서는, 확장 가능한 AI 시스템을 구축하고 이해하는 방식을 새롭게 재편하고 있는, 흥미로운 프레임웍인 MoE (Mixture of Experts) 모델을 소개해 보려고 합니다. Mistral, Databricks의 DBRX, AI21 Labs의 Jamba, xAI의 Grok-1, Snowflake의 Arctic 등 업계를 선도하는 여러 모델에서 MoE를 활용하고 있습니다.

‘MoE’ 에피소드에서 다뤄보고자 하는 내용은 아래와 같습니다:

• 역사 - MoE의 출발점과 초기 아키텍처

• MoE의 ‘모듈형 아키텍처’가 단일 신경망을 사용하는 것보다 나은 이유

• MoE와 딥 러닝(MoE + 조건부 계산/Conditional Computation) - 핵심적인 아이디어는 무엇인가?

• MoE + Transformer, 그리고 갑작스러운 폭발적 관심

• 맺으며

• 보너스: MoE 관련 추가 리소스