'강화학습'에 대해 공부할 수 있는 8가지 무료 소스

딥마인드와 오픈AI의 강화학습, NLRL (Natural Language Reinforcement Learning; 자연어 강화학습), DeepSeek의 GRPO까지, 바야흐로 ‘강화학습의 귀환’인가요? 사실 항상 우리 곁에 있었습니다만 ^.^;

튜링 포스트 코리아에서도 ‘올해 주목해야 할 핵심적인 AI 개념’의 하나로 ‘실험실을 벗어나 현실로 들어오는 강화학습’을 이야기했구요:

가장 최근에 우리 모두가 목도한, 강화학습의 힘을 보여준 사건으로는, DeepSeek-R1의 추론 능력을 만들어낸 강화학습 기법, GRPO (Group Relative Policy Optimization)가 있을 겁니다. 핵심만 이야기하자면, 강화학습은 ‘모델이나 에이전트가 환경과 상호작용하면서, 보상을 최대화하는 방향으로 의사결정을 학습하는 기계학습의 한 종류’라고 할 수 있죠. 시행 착오를 통해서 배우고, 보상이나 벌점 형태의 피드백을 받습니다.

앞으로 사람을 많이 도와줄 AI, 나아가 사람 중심의 AI를 만드는 핵심 기술로 자리잡을 강화학습. 이 강화학습을 더 깊이 이해하고 활용하는데 도움이 될 무료 소스들 8개를 정리해 봤습니다:

1. Reinforcement Learning: An Introduction (by Richard S. Sutton and Andrew G. Barto)
   뭐, 클래식이죠?

2. Hugging Face Deep Reinforcement Learning Course
   최적의 라이브러리를 사용해서 독특한 환경에서 에이전트를 훈련시키는 방법을 배우고, 결과를 공유하고, 다양한 도전 과제에 참여해서 수료증을 받을 수 있습니다.

3. OpenAI Spinning Up in Deep RL
   다양한 유용한 자료들이 있고, 강화학습의 전반적인 개요를 알아볼 수 있습니다.

4. Reinforcement Learning and Optimal Control (books, video lectures and course material by Dimitri P. Bertsekas from ASU)
   근사 동적 프로그래밍(Approximate Dynamic Programming)과 강화학습을 탐구하고, 롤아웃, 트리 탐색, 강화학습을 위한 신경망 훈련 등 주요 개념과 방법들을 다룹니다.

5. RL Course (by David Silver from Google Deepmind)

6. RL Theory Seminars
   다양한 전문가들이 강화학습의 발전에 대해서 논의하는 온라인 세미나 컨텐츠를 제공합니다.

7. Reinforcement Learning Specialization (4-Course Series on Coursera)

8. Concepts: RLHF, RLAIF, RLEF, RLCF
   튜링 포스트에서 ‘플래시 카드’ 형태로 서로 다른 피드백 메커니즘을 사용하는 4가지 강화학습 기법을 쉽게 설명합니다.

*읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요.