- Turing Post Korea
- Posts
- 확산 (Diffusion) 모델 공부를 위한 공개 소스 6選
AI 영역에서 시각적 추론 (Visual Reasoning)의 중요성은 텍스트 추론 (Text Reasoning) 못지 않죠. 점점 시각적인 작업을 처리할 수 있는 모델들이 큰 관심을 받고 영향력을 발휘하고 있기도 하구요.
확산 모델 (Diffusion Model)은 이미지, 비디오, 그리고 오디오 데이터를 다루는 작업에 널리 사용되는 모델로, 노이즈가 있는 과정을 역으로 학습해서 고품질의 결과물을 만들어내고, 창의적, 실용적인 응용 분야에서 활발하게 쓰이고 있는 도구입니다. DALL-E, 스테이블 디퓨젼, 미드저니 등이 아무래도 가장 널리 알려진 디퓨젼 모델이라고 할 수 있겠죠.
멀티모달 모델이 앞으로 지속적으로 발전하고 더욱 많이 쓰이게 될 것으로 예상되는 가운데, AI 개발자 뿐 아니라 사용자들도 이런 확산 모델의 기본 원리를 이해하는 것이 도움이 될 거라고 생각합니다.
자, 그런 의미에서 아래에 ‘확산 모델’에 대해 공부할 수 있는 6개의 무료 소스를 한 번 모아 봤습니다:
“Efficient Diffusion Models: A Comprehensive Survey from Principles to Practices”는 확산 모델의 설계, 학습, 배포를 어떻게 효율적으로 할 수 있는지에 초점을 맞춘 내용을 제공해서, 개발자들이 이런 모델들을 더 쉽게 이해해서 새로운 분야에서 잘 적용할 수 있도록 도와줍니다. → [자료 보기]
“Tutorial on Diffusion Models for Imaging and Vision” (by Stanley Chan)은 확산 모델의 기초를 다루는데, 그 내용에 VAE (Variational Autoencoder), 노이즈 제거 확산 확률 모델 (DDPM; Denoising Diffusion Probabilistic Model) 등을 포함하고 있습니다. 이런 여러가지 도구를 연구하거나 다양한 문제를 해결하는데 관심있는 학생들에게 도움이 될 것 같습니다. → [자료 보기]
“Step-by-Step Diffusion: An Elementary Tutorial” (by 애플, MILA, 몬트리올대학교)은 확산 모델의 알고리즘을 정확하게, 그렇지만 단순한 수학적 내용으로 설명하고 있습니다. 확산의 기본 원리, 확률적/결정적 샘플러, 확산 모델의 ‘일반화 (Generalization)’으로서의 플로우 매칭, 그리고 몇 가지 실질적인 예시 등을 제공하고 있습니다. → [자료 보기]
Hugging Face Diffusion Models Course는 확산 모델의 이론적 배경을 포함해서 확산 모델을 훈련하고 파인튜닝하는 방법, Diffusers 라이브러리를 사용해서 이미지와 오디오를 생성하는 방법, 맞춤형 파이프라인을 구축하는 방법 등을 배울 수 있습니다. 단, 파이썬, 파이토치, 그리고 딥러닝 관련된 기초 지식이 필요합니다. → [자료 보기]
“How Diffusion Models Work”는 DeepLearning.AI에서 제공하는 1시간 짜리 강좌로, 확산 모델을 처음부터 직접 구축하는 방법을 배우게 됩니다. 확산 과정, 노이즈 예측, 개인화된 이미지 생성에 대해서 다루며, 주피터 노트북 기반의 실습을 통해서 확산 모델의 샘플링, 학습, 최적화 기법을 배울 수 있습니다. → [자료 보기]
A lecture on Diffusion Models from Machine Learning at Berkley는 동영상 컨텐츠를 기반으로 한 학습을 선호하는 사람들에게 좋은 소스입니다. 이미지 학습과 생성을 위한 이론과 실제를 설명하고, 모델의 2단계 노이즈 감소 과정, 최근의 개선된 사항들, 그리고 로봇 공학과 강화학습 분야에서의 실제 응용 사례를 다룹니다. → [자료 보기]
슬라이드, 과제 및 추가 정보를 포함한 전체 코스는 여기서 보실 수 있습니다: CS 198-126: Deep Learning for Visual Data
읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요.
Reply