NeurIPS 2024의 주목할 만한 연구 논문 12選

AI와 관련된 컨퍼런스가 수없이 많습니다만, 그 중 NeurIPS가 전세계적으로 주목받는, 아주 중요한 컨퍼런스라는 데는 아마 대부분 이견이 없으실 거라고 생각합니다.

여느 해와 마찬가지로, 금년 12월 10일 ~ 15일까지 열린 NeurIPS 2024에서도 AI 발전의 미래, 현재의 최신 AI 연구, 그리고 AI와 관련된 윤리적 문제 등 중요한 주제들이 논의되었는데요. 항상 참석할 수는 없지만, NeurIPS에서 어떤 연구 주제가 각광받고 논의되는지는 주시하고 있습니다.

올해도 많은 연구 논문들이 NeurIPS에 채택되었는데요. 아래에, NeurIPS에서 수상을 한 6개의 논문, 그리고 그 외 흥미로운 논문 6개를 여러분께 소개합니다:

1. Sequence to Sequence Learning with Neural Networks 라는, ‘번역’을 포함하는 Sequence-to-Sequence 작업에 LSTM (Long Short-Term Memory) 네트워크를 사용하는 방법을 소개한 연구가 ‘Test of Time Award’를 수상했네요. 이 연구는, 입력 시퀀스를 고정 벡터로 인코딩한 다음 이를 출력으로 디코딩하는 방식으로, 영어-프랑스어 번역에서 34.8의 BLEU 점수를 달성하는 등의 강력한 성과를 보여줬습니다. —> [논문 보기]

2. Not All Tokens Are What You Need (Best Paper Runner-up Award)는 토큰 레벨의 Dynamics에 대한 분석과 거기서 나오는 인사이트를 활용해서, 가장 중요한, 선별된 토큰으로 훈련하는데 초점을 맞춘 Rho-1 언어모델을 제안합니다. 토큰에 점수를 매기고, 높은 가치가 있는 토큰에 더 집중을 함으로써, Rho-1은 정확도 (Few-shot, 수학 문제의 정확도 30% 향상 등) 및 전반적인 성능을 향상시켜 줍니다. —> [논문 보기]

3. Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction (Best Paper Award)은, 전통적인 ‘Next-Token’ 예측 대신 ‘Next-Resolution’을 예측하는 VAR (Visual AutoRegressive) 모델링 기법을 소개합니다. AR 트랜스포머가 더 빠르게 학습도 하고 더 좋은 일반화 (Generalization) 효과를 거둘 수 있도록 하는데, ImageNet 벤치마크에서 일반적인 확산 모델을 능가하는 성능을 보여줍니다.
   —> [논문 보기]

4. Guiding a Diffusion Model with a Bad Version of Itself (Best Paper Runner-up Award)는 더 작고, 덜 훈련된 버전의 확산 모델을 사용하면, Variation을 유지하면서도 더 높은 품질의 결과물을 얻을 수 있다는 걸 발견했습니다. ImageNet에서도 기록적인 결과를 달성했네요. —> [논문 보기]

5. Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators (Best Paper Award)는 도함수 텐서 (Derivative Tensors)를 축소해서 다변수 함수를 효율적으로 처리하는 접근 방법을 제안합니다. 더 빠르고 메모리 효율적인 훈련을 할 수 있고, 단일 GPU에서 단 몇 분 만에 백만 차원의 편미분 방정식을 풀어낼 수 있어서 약 1,000배 속도 향상을 기대할 수 있다고 하네요. —> [논문 보기]

6. The PRISM Alignment Dataset: What Participatory, Representative and Individualised Human Feedback Reveals About the Subjective and Multicultural Alignment of Large Language Models (Datasets and Benchmarks Best Paper) - PRISM은 75개국에 있는 1,500명의 참가자에게서 피드백을 수집, 그들의 선호도 (Preference)를 상세 프로필과 연결하는데요. 이렇게 해서 아주 개인화된 인사이트를 얻고, 다문화 관점의 논란이 있는 환경에서 피드백을 더 잘 이해할 수 있는 Alignment 프로세스를 구성할 수 있게 해 줍니다. —> [논문 보기]

7. Large Language Models Must Be Taught to Know What They Don't Know는 정답, 그리고 오답 데이터셋으로 파인튜닝을 해서 LLM의 불확실성을 정확하게 추정할 수 있다는 걸 보여줍니다. 단 1,000개의 예시만 가지고도 이 접근 방법이 모델에 대한 신뢰성을 향상시킬 수 있다고 하고, 사람과 AI 간의 협력을 어떻게 할 수 있는지에 대한 일종의 가이드를 제공하는 역할을 합니다. —> [논문 보기]

8. You Don't Need Domain-Specific Data Augmentations When Scaling Self-Supervised Learning은 JEAs (Joint-Embedding Architectures)가 충분한 훈련 데이터만 있다고 하면 Cropping 만으로도 SOTA의 결과를 달성하 수 있다는 걸 보여줍니다. 강력한 성능이 꼭 광범위한 조정 (Augmentation)을 해야만 가능한 건 아니라는 걸 보여주면서, 컴퓨팅 자원의 제약이 연구 결과에 미치는 영향을 정확히 규명해 줍니다. —> [논문 보기]

9. Why Do We Need Weight Decay in Modern Deep Learning?은 Weight Decay가 다양한 딥러닝 관련 작업에서 트레이닝 역학 (Training Dynamics)을 어떻게 최적화해 주는지 설명해 줍니다. 비전 관련 작업에서는 최적화 역학을 향상시키고, SGD 훈련에서는 손실을 안정화하고, LLM의 경우에는 Bias-Variance 트레이드오프의 균형을 맞춰 안정성을 개선하고 훈련 손실을 낮춰주는 역할을 한다고 합니다. —> [논문 보기]

10. The Mamba in the Llama: Distilling and Accelerating Hybrid Models는 제한된 GPU 자원으로도 Attention Weights를 재사용해서 대형 트랜스포머를 효율적인 하이브리드 모델로 Distillation할 수 있다는 것을 보여줍니다. 또 추론 속도를 높이는 디코딩 알고리즘도 소개하고 있습니다. —> [논문 보기]

11. Convolutional Differentiable Logic Gate Networks는 전통적인 신경망 연산을 NAND, OR, XOR과 같은 논리 게이트로 대체하는 모델을 소개합니다. Deep Tree Convolution, OR Pooling, Residual Initialization 등으로 강화함으로써 신경망 연산을 효과적으로 스케일링할 수 있고, 기존 네트워크보다 더 빠르고 작은 대안을 제공할 수 있다고 합니다. —> [논문 보기]

12. Unveiling the Hidden Structure of Self-Attention via Kernel Principal Component Analysis는 Self-Attention이 쿼리 벡터를 키 행렬의 주요 구성 요소와 정렬해서 커널 PCA와 연결시키는 것을 보여주고, 노이즈가 있는 데이터에 강한 RPC-Attention이라는 견고한 어텐션 메커니즘을 소개하면서 전반적인 성능을 향상시키는 방법을 제안합니다.
    —> [논문 보기]

*읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요.