지난 주의 헤드라인은 아무래도 CES 관련 소식들이 점령하지 않았나 - AI 관점에서는요 - 싶습니다. 아직까지도 CES 후속 기사라든가 CES의 의미, 앞으로의 (긍정적, 부정적인) 전망 등이 계속 이어지고 있으니까요.

오늘 튜링 포스트 코리아에서는, 잠시 바쁘게 돌아가는 세상에서 시선을 돌려서, 다소 고전적인 주제를 한 번 살펴볼까 합니다 - 바로 ‘GAN (Generative Adversarial Network; 생성형 적대적 신경망)’ 이야기인데요, 지난 1월 9일 발표된 ‘The GAN Is Dead; Long Live the GAN! A Modern GAN Baseline’이라는 논문을 보고 한 번 이야기해보고 싶다는 생각이 들었습니다. ‘현대적 AI’라는 관점에서 한 획을 그은 신경망 아키텍처 중 하나임에 분명하지만, 실제 적용의 난점들 때문에 지금은 디퓨전 (Diffusion) 모델 계열에게 그 자리를 내주었다고 할 수도 있는 GAN. GAN은 과연 ML에서 가장 매력적인 아이디어 중 하나라는 타이틀을 앞으로도 유지할 수 있을까요?

‘GAN (Generative Adversarial Networks; 생성형 적대적 신겨경망)’ 논문은 2014년 이안 굿펠로우 (Ian Goodfellow)와 그가 이끈 팀이 소개했죠.

GAN의 개념은 단순하면서도 혁신적이었어요: 생성자 (Generator)와 판별자 (Discriminator), 두 개의 신경망이 제로섬 게임 조건 아래서 경쟁하는 겁니다.

(*편집자 주: 몬트리올 대학교의 아론 쿠르빌 교수에게 들은 바로는, 이안 굿펠로우가 동료들과 몬트리올의 한 바에서 술을 마시면서 이야기를 나누다가 갑자기 아이디어가 떠올라서, 술이 살짝 취한 상태에서 연구실로 돌아가서 코딩을 하면서 GAN을 만들게 되었다고 해요 ^.^;)

이런 구조로 적대적 트레이닝 (Adversarial Training)을 반복하면서 두 네트워크가 모두 발전하게끔 만들어서, 결국 ‘실제와 구분할 수 없는’ 합성 데이터를 만들어내게 됩니다.

‘GAN’의 개념은 흥미로울 뿐 아니라 그 영향도 커서, 2016년 얀 르쿤은 “(GAN은) 우리가 한동안 생각해 낸 것들 중 최고의 아이디어”라고 말한 적도 있을 정도였습니다.

VAE (Variational Autoencoders)라든가 RBM (Restricted Boltzmann Machines) 같은 이전의 생성형 모델들과 비교했을 때, GAN은 더 선명한 이미지를 생성하고 더 복잡한 패턴을 학습할 수 있었기 때문에, AI 기술의 새로운 가능성을 열었다고 평가되었습니다.

물론, 무슨 기술이든 한계가 있죠 - GAN이 맞닥뜨린 현실적인 문제는 바로 모델의 불안정성, 모드 붕괴 (Mode Collapse) 같은 것들이었죠.

큰 관심을 받은 GAN이었지만, 시간이 흘러가면서 이런 불안정성 문제, 그리고 모드 붕괴의 문제 등 학습 상의 어려움이 더 이상 무시할 수 없는 문제가 되었죠. 그러던 와중에, 2022년 즈음해서 새로운 도전자인 디퓨전 모델 (확산 모델; Diffusion Model)이 등장했습니다. 이 모델은 데이터를 생성하는 걸 점진적인 개선 과정이라는 관점에서 접근했고, 그 때문에 더 안정적이었고 학습하기도 쉬웠습니다.

디퓨전 모델은 다양한 출력물을 고품질로 만들어낼 수 있어서, 연구자들 입장에서는 골칫거리는 적으면서 효과가 좋아서 빠르게 주목을 받게 되었구요. 한 때 생성형 모델의 스타였던 GAN은 디퓨전 모델에 살짝 (?) 밀리는 듯한 느낌으로 대화에서 점차 사라지게 되었습니다.

그렇지만, GAN의 가능성을 여전히 믿는 연구자들이 있었죠! 바로 며칠 전인 2025년 1월 9일, ‘The GAN Is Dead; Long Live the GAN!’이라는, 대담하면서도 아이러니한 제목의 논문이 지금 GAN에 대한 관심을 다시 불러일으키고 있는데요 - ‘GAN은 죽었다; GAN 만세!’라는, 어찌보면 이상하게 들리는 제목이죠?

Yiwen Huang, Aaron Gokaslan, Volodymyr Kuleshov, 그리고 James Tompkin이 쓴 이 논문은, ‘GAN이 맞닥뜨린 문제점들이 본질적인 결함이 아니라 구식의 아키텍처와 기술 때문이다’라고 주장하고 있습니다.

연구진의 아이디어의 핵심은, ‘더 좋은 손실 함수’에요 - 손실 함수가 AI에서 얼마나 중요한지는 다들 잘 아시잖아요? 결국 본질로 돌아오는가봅니다 - GAN이 얼마나 학습을 잘 하고 있는지 측정하는, 더 똑똑한 방법을 새로 고안한 건데요. 이걸 ‘상대적 GAN 손실 (Relativistic GAN Loss)’라고 부르는데, GAN의 학습 과정을 더 부드럽게 만들고, 결과적으로 이상한 출력물이 갑자기 나온다든가, 한정된 종류의 이미지만 반복해서 나온다든가 하는 일반적인 문제들이 덜 발생하게 합니다.

또, 연구진은 GAN 아키텍처를 ‘현대화’하기도 했는데요. 아주 사실적인 얼굴을 생성하기로 잘 알려진 모델, StyleGAN2에서부터 시작해서, 최신의 AI 설계 기법들을 반영해서 더 이상 필요하지 않은 모든 요소들을 도려내 버렸습니다. 그리고 ResNet이라든가 ‘그룹 합성곱 (Grouped Convolution)’ 같은 더 나은 구성 요소들을 추가해서 R3GAN이라는 더 간단하면서도 강력한 GAN을 만들어 냈습니다.

이 R3GAN은 더 잘 작동할 뿐 아니라 더 단순하다고 말씀드렸죠. FFHQ (사람 얼굴 데이터셋)라든가 CIFAR-10 (일상적으로 볼 수 있는 물체들의 작은 이미지) 같은 표준 벤치마크에서, R3GAN은 일부 디퓨전 모델을 포함한 기존의 다른 모델들을 능가하는 모습을 보여줍니다. 게다가, 학습 속도도 더 빠르고 컴퓨팅 파워도 덜 사용합니다.

GAN이 너무 까다롭거나 구식이라고 생각해서 피해왔다면, 지금, 그리고 앞으로 GAN - 새로운 GAN이겠죠 - 을 다시 시도해 볼만한 좋은 시기가 올지도 모르겠습니다. 우리도, GAN을 활용해서 뭘 해 볼 수 있을지 한 번 다시 생각해 볼만한 시간이구요.

앞에서 살펴본 ‘GAN의 부활’. 여기서 바로 AI - 또는 머신러닝 - 혁신이 가지고 있는 ‘반복적인 (Iterative)’ 특성을 살펴볼 수 있습니다. 과거의 연구, 현재의 연구들이 서로의 장단점들을 복잡하게 섞어가면서 또 새로운 연구 주제를 만들어내고, 다음 세대 AI 어플리케이션의 기초를 만들어 냅니다. 바로 이 때문에, 끊임없이 변화하는 AI 연구를 어떤 수준에서든 팔로우업하는 게 AI 어플리케이션이나 서비스를 만들어내는 입장에서도 중요한 것이 아닐까 합니다.

새로 등장한 R3GAN을 위시해서, 새로운 시대의 새로운 GAN들이 또 계속 등장하지 않을까 하는데요. 고품질의 합성 데이터를 생성하는 GAN의 능력, 생성형 AI 데이터에 대한 수요가 폭증하는 지금, 그 어느 때보다 중요합니다. 앞으로 특히 개인정보의 보호라든가, IP 보호 등의 문제로 실제 데이터를 활용하는게 어려운 상황에서 그 중요성은 더욱 커져갈 것으로 생각합니다.

LLM을 포함해서, ‘연구’를 지원할 목적으로 만들어진 AI 어시스턴트를 활용한다면, 과학 연구 수행이 훨씬 더 가속화될 수 있습니다.

오늘은 과학 연구를 위해서 고안된 10가지 AI 시스템을 알아보겠습니다:

*아직 튜링 포스트 코리아 구독 안 하셨나요? 구독해 주시면 매주 중요한 AI 뉴스를 정리한 다이제스트를 받으실 수 있습니다!

The Focus AI의 Will Schenk가 구글의 DeepResearch, 오픈AI의 GPT-4o와 o1, 마이크로소프트의 Phi-4, Claude, Perplexity, DeepSeek 등 다양한 ‘AI 리서치 도구’들을 비교해 보고 있는데요. ‘밤이 어두운 이유는 뭘까?’라는, 어찌보면 다소 철학적이기도 하고 생각보다 복잡한 질문을 던지고 그 결과가 Will 자신의 입장에서 얼마나 만족스러운지 생각해 보고 있습니다. Will은 DeepResearch가 다른 모델들보다 더 깊이있고, 신뢰할 수 있고, 참고 문헌이 잘 갖춰진 통찰력을 제공한다고 생각한다고 합니다. 여러분도 한 번 이런 비교 해 보시면 어떨까요?

구글, 애플을 거친 소프트웨어 엔지니어이자 UX 디자이너인 Ben Hylak이 o1과 관련된 자신의 경험을 풀어놓습니다. o1이 채팅을 위한 모델이 아니라 문제 해결 - 여기서는 ‘보고서 생성’이라는 표현을 썼는데요 - 을 위한 모델로, o1의 잠재력을 잘 활용하려면 사용자 입장에서 어떤 주의할 점이나 스킬을 갖춰야하는지에 대해서 기술하고 있습니다. 그리고 글의 말미에는, ‘생성형 AI 기술로 보고서 생성 서비스를 만들 때 생각해 볼 만한 UI 관점이 팁(?)이라고 할까, 그런 내용들도 포함하고 있으니 한 번 관심있는 분들 보시면 좋겠습니다.

칩 후이옌이 본인의 저서 ‘AI Engineering’의 에이전트 관련 섹션을 다시 편집하고 업데이트해서 단독 포스트 ‘Agents’를 만들었네요. 칩 후이옌 버전의 ‘Agent의 모든 것’ 정도로 생각하고 일독해 볼만한 것 같습니다.

앨런AI 연구소의 Nathan Lambert가 NeurIPS에서 했던 LLM 관련 튜토리얼을 다시 녹화한 비디오, 그리고 정리한 글인데요. 작년 후반부터 큰 이슈가 되고 있는 Post-Training 관련해서 많은 내용이 담겨 있습니다.

Top Pick에 해당하는 논문들이 상당히 많네요 ^.^;

*리뷰를 남기시려면 로그인하시거나 구독해 주세요. 감사합니다!

읽어주셔서 감사합니다. 프리미엄 구독자가 되어주시면 튜링 포스트 코리아의 제작에 큰 도움이 됩니다!