Topic #2: 트랜스포머의 대안으로 불리는, 'Mamba' 아키텍처는 무엇인가?

글을 시작하며

2023년 12월 소개된 Mamba 아키텍처는 ‘시퀀스 모델링’의 영역에서 매우 중요한 발전 사항 중 하나라고 할 수 있는데요.

튜링 포스트 코리아의 ‘AI 101’ 두 번째 글인 이번 글에서는, Mamba 아키텍처의 출발점, Mamba 아키텍처가 해결해 주는 문제점들을 알아보고, 왜 이 Mamba 아키텍처가 트랜스포머 모델을 대신할 훌륭한 대안이 될 수도 있다고 보는지 살펴보려고 합니다. Context Length를 효율적으로 확장할 수 있고 연산 비용이 선형적으로만 증가하기 때문에, Mamba는 AI가 맞닥뜨리는 대규모 데이터 처리의 난제를 다룰 수 있는 유망한 해결책의 하나로 평가받고 있습니다.

이번 에피소드에서 다뤄보고자 하는 내용은 아래와 같습니다:

• 시퀀스 모델링, 트랜스포머, 그리고 파운데이션 모델

• 트랜스포머, 무엇이 문제인가?

• SSM (State-Space Model; 상태공간모델)과 Mamba가 간다!

• 왜 Mamba에 주목하는가?

• 맺으며

• 보너스: 살펴볼 만한 Mamba 관련 논문