8가지 종류의 RoPE (회전 위치 임베딩) 기법

트랜스포머 기반의 알고리즘이 어떻게 작동하는지에 대해서 알려면, RoPE (Rotary Position Embedding; 회전 위치 임베딩)를 잘 이해하는게 도움이 됩니다 - 트랜스포머가 텍스트를 이해하는데 있어서 ‘토큰의 순서’가 큰 의미가 있으니까, RoPE는 ‘토큰의 위치’에 따라서 토큰 임베딩을 ‘회전’시켜서 이걸 인코딩하게 합니다. 이런 방식으로, 모델이 어떤 토큰이 첫 번째, 두 번째 등의 순서로 오는지 판단 할 수 있게 하는 거죠.

아래에 서로 다른 경우에 적용되는 8가지 종류의 RoPE 기법을 정리해 봤습니다:

1. 원래의 RoPE —> RoFormer: Enhanced Transformer with Rotary Position Embedding (2104.009864)
   위치 기반의 회전 행렬 (Rotation Matrix)을 이용해서 복소 평면 (Complex Plane)에서 토큰 임베딩을 회전시키는 방식으로 토큰 위치를 인코딩합니다. 이렇게 함으로써 Self-Attention 메커니즘이 단어들 사이의 상대적 위치 관계를 파악할 수 있게 됩니다.

2. LongRoPE —> LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens (2402.13753)
   위치 보간 (Positional Interpolation)의 불균일성을 효율적인 검색 알고리즘으로 이용, 사전 학습된 LLM의 컨텍스트 윈도우를 2048k 토큰까지 확장합니다. 모델이 훨씬 더 긴 텍스트를 한 번에 처리할 수 있습니다.

3. LongRoPE2 —> Near-Lossless LLM Context Window Scaling (2502.20082)
   ‘Needle-driven’ Perplexity (여기서 Perplexity는 문장 예측의 불확실성을 나타내는 지표)에 따라 RoPE를 재조정해서, 사전 학습된 LLM의 효과적인 컨텍스트 윈도우를 원하는 길이까지 확장합니다. 이는 모델이 더 긴 문맥을 이해하는 데 도움이 됩니다.

4. Multimodal RoPE (MRoPE) —> Qwen2.5-VL Technical Report (2502.13923)
   위치 임베딩을 시간, 높이, 너비의 3가지 구성요소로 나눠서 텍스트, 이미지, 비디오 등 다양한 형태의 데이터에서 위치의 특성을 일관적으로 정렬하는 멀티모달 학습을 할 수 있습니다.

5. Directional RoPE (DRoPE) —> DRoPE: Directional Rotary Position Embedding for Efficient Agent Interaction Modeling (2503.15029)
   항등 스칼라(Identity Scalar)를 추가해서 복잡성을 높이지 않으면서도 위치 임베딩의 각도를 처리하는 방식을 개선해 줍니다. 이 방법으로 정확도, 처리 속도, 메모리 사용량 사이의 균형을 찾을 수 있게 해 줍니다..

6. VideoRoPE —> VideoRoPE: What Makes for Good Video Rotary Position Embedding? (2502.05173)
   3D 구조, 저주파 시간 할당, 대각선 레이아웃, 조정 가능한 간격 등의 특징을 가지는 비디오를 위한 RoPE를 적용합니다 - 비디오의 시공간적 특성을 더 잘 포착할 수 있게 해 줍니다..

7. VRoPE —> VRoPE: Rotary Position Embedding for Video Large Language Models (2502.11664)
   또 다른 형태의 비디오용 RoPE 기법으로, 위치 인덱스를 재구성하고 공간적으로 균일한 어텐션을 주기 위해서 인코딩의 균형을 맞춥니다. 이 기법은 비디오의 모든 공간 영역을 균등하게 처리하는 데 초점을 둡니다.

8. XPos (Extrapolatable Position Embedding)
   회전 행렬에 지수 감쇠 요소를 도입해서 긴 시퀀스에서의 모델의 안정성을 향상시킵니다. 아주 긴 텍스트나 비디오를 처리할 때 나타날 수 있는 성능 저하를 방지합니다.

*읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요.