튜링 포스트 구독자 여러분, 행복한 연말 연시 되세요!
구독자 여러분, 2024년을 의미있게 마무리하는 연말, 2025년을 힘차게 시작하는 새해 맞이하시기 바랍니다!
2024년 6월 말 테스트 포스팅을 시작하고, 공식적으로는 8월 초 시작한 튜링 포스트 코리아가 벌써 이번 FOD#81로 ‘100번째’ 포스팅을 하게 되었습니다. 2024년의 마지막 포스팅이 100번째 포스팅이 되었네요.
4개월이 조금 넘는 기간동안 500분이 넘게 구독자가 되어주셨는데요, 너무나 감사드립니다. 꾸준히 글 봐 주시고 피드백도 주신 구독자분들도 많이 계신데, 앞으로도 계속해서 다양한 관점의 AI 연구, 산업, 사회에 대한 글들과 생각들을 모아서 공유해 드리도록 하겠습니다.
2025년에는 구독자 분들도 튜링 포스트 코리아의 글을 다른 분들과 편하게 나누고 의사소통도 하시고, 튜링 포스트 코리아와 구독자 분들과도 의미있는 커뮤니티로서 함께 AI 판에 대해서 배우기도 하고 의견을 나눠볼 수 있는 장치라든가 기회를 만들어보고자 고민할 생각이니, 많은 기대도 부탁드리겠습니다.
자, 그럼 2024년의 마지막 포스트이자 튜링 포스트 코리아의 100번째 글, FOD#81 시작하겠습니다!
새해맞이 준비운동: 관심을 가져야 할 핵심적인 AI 개념들
챗GPT가 2022년 11월 공개된 이후 전 세계적으로 LLM 개발 경쟁이 지금까지도 가속화되고 있죠. 지난 주 있었던 오픈AI의 o3 발표 역시 AI 커뮤니티에 큰 충격을 줬는데요. ARC-AGI 챌린지와 FrontierMath 벤치마크에서 보여준 놀라운 결과는 추론, 검색, 평가, 그리고 AGI라는 난해한 목표를 둘러싼 논쟁을 다시 불러일으키고 있습니다.
2025년에는 또 어떤 이슈들이 많은 분들의 관심을 받게 될까요? 주목하고 관심을 가져야 할 만한 몇 가지 핵심적인 주제에 대해서 이야기해 볼까 합니다:
강화 학습 (Reinforcement Learning), 실험실을 벗어나 현실로
게임, 시뮬레이션을 위한 분야로 시작했던 강화 학습이, 이제는 노이즈가 많고 복잡하고 예측하기 어려운 ‘실제 환경’에서의 자율성을 담보하기 위한 핵심 기법이 될 것인가 하는, 의미있는 전환 단계에 들어서고 있습니다.
이 전환을 부드럽게 잘 이뤄낼 것이냐 하는 문제는 생각만큼 간단하지는 않을 수 있는데요. 강화 학습의 중요 문제 중 하나인 ‘Reward Function Misspecification (보상 함수의 잘못된 설계)’ 때문에 우리가 전혀 의도하지 않은, 때로는 의도와 정반대의 행동을 유도하지 않도록 하면서, 어떻게 여러 에이전트들을 하나의 목표로 이끌어갈 수 있을까요?
Reward Engineering (보상 엔지니어링) 그 자체가 이제는 단순히 ‘결과’ 뿐이 아니라 그 결과가 어떻게 달성되는지에까지 초점을 맞추는, 섬세하고 세련된 기술이 되어가고 있습니다. 계속해서 변화하는 목표에 맞춰서 지속적으로 재조정하는 Dynamic Reward System (동적인 보상 시스템)이 바로 더 스마트하고 반응성도 높은 에이전트를 만드는 길을 열어주고 있는 겁니다.
또, 한때 체스나 바둑 같은 게임의 영역으로만 여겨졌던 ‘트리 탐색 (Tree Search)’ 기법도 나름의 새로운 르네상스를 경험하고 있는 것 같습니다. 트리 탐색 기법이 다양한 계획 수립, 의사 결정 과정에서 유용하게 적용될 수 있다는 것이 확인되면서, 강화 학습, 심지어는 AutoML과도 교집합을 만들어내고 있습니다.
‘추론 (Inference)’의 새로운 지평: 진화하는 적응형 지능으로의 길
‘추론 (Inference)’. 머신 러닝 작업의 전체 라이프사이클 관점에서, 전통적으로 ‘추론’은 모델이 예측값을 출력하거나 결정을 내리는, ‘정적인 (Static)’, 최종의 지점이었죠. 이제는 그 ‘추론’ 자체가 아주 동적인 (Dynamic) 과정으로 변했습니다.
AI가 맥락을 이해하고 상황에 맞춰 적응하면서 추론을 하는 이런 변화는 AI의 새로운 장을 열었지만, 동시에 새로운 도전도 함께 가져왔죠.
가장 큰 과제는 바로 컴퓨팅 자원을 어떻게 효율적으로 활용할 거냐와 밀접하게 관련되어 있습니다. 몇몇 거대 언어모델들은, 심지어 작은 도시 하나가 쓰는 만큼의 전력을 사용한다는 점을 생각해 보면, 실제 사용 환경에서 컴퓨팅 연산을 효율적으로 하는 건 꽤 중요한 문제라고 하겠습니다. 다행히, 경량화된 트레이닝 방법, 데이터 증강 (Data Augmentation) 기술 등이 계속 발전하면서, 과도하게 자원을 사용하지 않고도 AI의 성능과 적응력을 유지할 수 있는 길이 열리고 있습니다.
물론, Inference Compute가 발전한다고 해서 Training Compute가 중요하지 않은 건 아닙니다. Image Credit: Lennart Heim
결국은, 고성능 서버에서뿐 아니라 우리가 일상적으로 사용하는 스마트폰, 웨어러블 기기, IoT 장치 등에서도 AI를 활용할 수 있게 될 겁니다. 그리고, 이런 흐름은, 자연스럽게 AI 발전의 새로운 전환점이 될 ‘연합 학습 (Federated Learning)’의 혁신으로 이어집니다.
연합 학습: ‘분산화된 지능’으로 가는 패러다임
‘연합 학습 (Federated Learning)’이 AI 분야에서 협업의 개념을 완전히 새롭게 정의하게 될 겁니다. 민감한 데이터는 로컬 저장소에 안전하게 보관하면서도 분산된 환경에서 모델 학습을 할 수 있다는 특징 덕분에, 연합 학습은 의료나 금융과 같이 프라이버시가 중요한 분야에서 필수적인 기술로 자리잡고 있습니다.
그렇지만, 그 잠재력은 이 영역들을 훨씬 뛰어넘습니다. 멀티 에이전트 시스템에서의 연합 학습은 분산된 협업을 할 수 있도록 해 주고요. 강화 학습 분야에서도 마찬가지입니다. 연합 학습 기술을 통해서 엣지 디바이스나 독립된 시스템 등 다양한 환경에서 작동하는 에이전트들이 각자 계속해서 경험을 쌓으면서도, 동시에 전체 모델의 성능 향상에 기여할 수 있습니다.
Localized Adaptability (로컬의 적응성), 그리고 Global Optimization (전체 최적화)을 결합한 연합 학습이 차세대 AI의 핵심 기술로 확실히 자리잡을 겁니다. 단순한 개인정보 보호 도구를 넘어서, 다양한, 그리고 자원이 제한된 환경에서도 AI의 가치를 발휘할 수 있게 해주는 포괄적인 프레임웍으로 자리잡고 있습니다. 특히 연합 학습은 앞으로도 계속 중요 키워드의 하나가 될 ‘AI와 블록체인의 결합’ 관점에서도 하나의 중요 기술로 각광받으리라 생각합니다.
복잡성의 시대, AI 추론 능력의 확장
영어로 ‘Inference’와 ‘Reasoning’이 모두 한글로는 ‘추론’ 외에는 적합한 단어가 없는 것 같은데요. 이 글의 맥락 안에서는, 간단하게 Reasoning은 추론 그 자체를, Inference는 추론의 과정이나 행위 전체를 이야기할 때 사용하는 단어라고 생각해 주시면 좋겠습니다.
AI 시스템이 점점 더 ‘사람과 비슷하게 보이는’ 추론 작업을 수행할 수 있게 되면서, ‘데이터 기반의 학습’과 ‘논리적인 규칙 기반 추론’을 결합한 '뉴로-심볼릭 (Neuro-Symbolic)' 접근 방법이 유망한 연구 분야로 떠올랐습니다. 이런 하이브리드형 기법은, 직관과 구조화된 논리를 함께 사용하는 사람의 사고방식과 맞닿아 있고, 더 보편적인 형태의 AI를 만들어낼 수 있는 가능성을 보여준다고 생각합니다.
동시에, ARC-AGI 챌린지 같은 새로운 벤치마크들이 AI의 추론 능력을 검증하는 시험대로 등장하고 있습니다. 단순히 AI가 뭘 할 수 있느냐를 넘어서, 추상화나 일반화를 얼마나 잘 하고, 서로 다른 다양한 영역을 넘나들면서 추론을 할 수 있나를 측정합니다. 이런 벤치마크들은, ‘AI의 발전이라는 게 단순하게 개별 작업을 뛰어나게 잘 하는 걸 넘어서 지능 그 자체에 대해 더 깊은 이해를 하게 해 주는 것이다’라는 점을 생각해 보게 해 주는 것 같습니다. ARC-AGI를 만든 Francois Chollet은 2025년에 ARC-AGI 2를 공개하겠다고 예고하고 있습니다.
ARC-AGI, 그리고 지능을 어떻게 측정할 것인가에 대한 튜링 포스트 코리아의 포스트가 궁금하시면 아래 링크를 한 번 참고해 보시기 바랍니다:
공간 지능 (Spatial Intelligence): AI가 물리적 세계를 이해하다
‘공간 지능’. 차세대 AI가 가져야 할 핵심 능력입니다. 이건 AI 시스템이 물리적인 공간, 기하학, 그리고 3차원에서 공간과 사물의 관계를 이해하고 추론할 수 있게 해주는 능력인데요. 로봇 조작, 증강 현실 등 실제 세계에서 상호 작용해야 하는 AI 시스템이라면 이런 능력이 필수적입니다.
최신의 AI 아키텍처들은 공간과 관련된 추론을 더 잘 처리하는 방향으로 진화하고 있죠. 트랜스포머가 어텐션 메커니즘을 통해서 ‘관계성’을 모델링하는데 뛰어난 성능을 보여주었고, 뉴럴 필드 (Neural Fields)라든가 그래프 신경망 (Graph Neural Networks) 등 특화된 아키텍처들은 공간적 데이터를 처리하는데 강점을 보여줍니다.
최근에 맘바 (Mamba) 같은 상태 공간 모델 (SSM; State-Space Model)들이 등장해서 공간 처리 능력을 보완해 주고 있는데요. 이런 모델은 순차적 데이터가 증가하더라도 선형적으로 확장할 수 있어서 - 즉, 연산 부담이 기하급수적으로 증가하지 않아서 - 효율적으로 데이터를 처리할 수 있습니다. 공간의 이해 능력과 결합된다면, 이런 모델이 동작을 계획한다거나, 환경을 매핑하고, 실시간으로 물체를 추적한다거나 하는 작업에 필요한 ‘시공간 추론’을 할 수 있습니다.
맘바 아키텍처에 대해서 좀 더 궁금하신 분은, 아래 포스트를 참고해 보셔도 좋겠습니다:
퀀텀 컴퓨팅이 열어갈 미래
자, 한편 퀀텀 컴퓨팅은 최적화라든가 시뮬레이션 분야에서 다양한 혁신의 도구가 될 거라는 기대를 일으키면서 발전하고 있죠. Variational Quantum Algorithm, 그리고 Quantum-Aware Neural Architecture는 AI와 퀀텀 시스템이 함께 진화하면서, 지금 불가능해 보이는 문제들이 해결되는 미래가 다가올 거라는 뜻이죠.
Quantum-Enhanced Reinforcement Learning 같은 새로운 분야는, 다이나믹 시스템 기반의 의사결정 방식을 혁신할 수 있고, 신약 개발, 기후 모델링, 암호학 같은 대규모의 조합을 다루는 문제를 어떻게 더 효율적으로 해결할 수 있을지 탐구하는 연구자들도 많이 생겨나고 있습니다.
퀀텀 하드웨어가 발전하고 성숙해 가면서, 아마도 연구의 초점 자체가 ‘전통적 AI’와 ‘퀀텀 알고리즘’이 상호 보완하는 ‘하이브리드 워크플로우’ 구축이라는 방향으로 이동하게 될 겁니다. 이런 방식의 결합이 완성된다면, AI가 발현할 수 있는 능력의 새로운 지평을 또 새롭게 열게 되겠죠.
전세계적으로도, 그리고 무엇보다 우리나라도 여러 가지 혼란스러운 상황이 눈 앞에 놓여 있지만, AI 영역은 거침없이 발전과 확산의 길을 걷고 있는 것만 같습니다. 우리 인류에게 ‘의미있는’, ‘긍정적인’ 사건이 가득한 2025년이 되기를 바래 봅니다!
트위터 라이브러리 (Twitter Library) 🐦
2024년, 본격적으로 관심을 받기 시작한 AI 에이전트. 2025년에는 AI 에이전트를 실제로 구축하기 위한 시도가 많이 이어질 것으로 예상해 봅니다.
올해 등장한 에이전틱 시스템과 프레임웍 15가지를 살펴봅니다:
*아직 튜링 포스트 코리아 구독 안 하셨나요? 구독해 주시면 매주 중요한 AI 뉴스를 정리한 다이제스트를 받으실 수 있습니다!
금주의 주목할 만한 업계 동향 📰
오픈AI, 화려하게 연말을 장식하다
오픈AI가 전례없는 시뮬레이션 추론(Simulated Reasoning) 능력을 자랑하는 o3와 o3-mini를 공개했습니다. o3는 ARC-AGI 벤치마크에서 사람과 비슷한 수준의 점수를 기록했고, 수학과 과학 분야의 벤치마크들을 다른 모델들과 비교했을 때 압도적인 차이로 뛰어넘었습니다. 이 모델들은 ‘Private CoT’ 추론, 그리고 상황에 따라 처리 속도를 조절할 수 있는 적응형 프로세싱을 특징으로 합니다. o3-mini는 1월에 먼저 출시되고, o3는 그에 뒤이어 공개할 예정이라고 합니다.
오픈AI는 o-시리즈 모델들이 더 안전하고 적확한 답변을 하게 하기 위해서 ‘안전 정책’을 명시적으로 검토하게끔 하는 새로운 Alignment 전략을 발표하기도 했습니다. CoT 추론을 활용해서 GPT-4 등 이전 모델들의 성능을 뛰어넘을 뿐 아니라, 악의적인 프롬프트 등에도 더 정교하게 대응할 수 있게 되었습니다.
o3 발표의 그늘에 좀 가리기는 했지만, 개발자 기능을 향상시킨 개선된 버전의 o1도 출시되었습니다. 개발자들이 o1을 더 쉽게 사용할 수 있게끔 하는 Toolbox를 제공한다고 합니다.
구글, 스포트라이트의 중심으로 서서히, 무게감있게 복귀하다
구글. 올해 다소 부진(? - 기대와 잠재력보다는요)했던 구글, 내년에는 확실히 AI 영역의 절대적 리더 자리로 들어올 거라는 개인적인 생각을 해 봅니다. 오픈AI가 o3를 발표하기 하루 전, 역시 추론 모델인 Gemini 2.0 Flash Thinking을 공개했습니다.
Claude의 비밀: 모델이 Alignment를 위장할 수 있다?
앤쓰로픽에서 흥미로운 연구 결과를 공개했습니다. 안전 규칙이나 사용자의 지시에, AI 모델이 전략적으로 순응하는 척 하는 ‘Alignment Fake (정렬 위장)’ 현상을 발견했다는 건데요. 이 연구에 따르면, Claude 3 Opus는 특정한 조건 하에서 가끔 Alignment 기준에 맞춘 것처럼 행동은 하지만 이전에 학습된 선호도 (Preference)는 여전히 유지하는 것으로 나타났다고 합니다. 이런 발견이 사실이라면, AI 안전과 관련된 트레이닝이 과연 효과를 얼마나 발휘할 것인지 의문을 가지게 하겠죠? 어쩌면 더 깊은 수준의 검증, 그리고 또 다른 관점의 대비책이 필요하다는 걸 시사한다고 하겠습니다.
코히어 (Cohere), 군사용 AI 개발을 위해 팔란티어와 손잡다
캐나다의 대형 AI 스타트업 코히어가 국방 영역과 사이버 인텔리전스 영역에 첨단 AI를 적용하기 위해서 미국 팔란티어와 파트너십을 맺었습니다. 국가 보안 관점에서 AI를 더 많이, 더 효과적으로, 더 밀접하게 활용하게 될 계기가 되기도 하지만, AI의 무기화를 우려하는 학계의 시선도 있네요.
AI 섹터, 대규모의 투자 라운드는 계속된다
데이터브릭스, $10B 규모 투자 유치를 하면서 기업가치가 $62B가 되었습니다. AI를 위한 데이터 관리 기업으로서의 독보적 포지셔닝을 강화할 것으로 보입니다.
Perplexity AI가 $500M 규모의 투자 유치를 마무리하면서 기업가치는 $9B가 되었습니다. ‘AI 검색엔진’ 영역의 선두 그룹에 있는 스타트업으로서, 앞으로 구글과의 경쟁을 어떻게 헤쳐나갈지 주목됩니다. Perplexity AI에 대해 좀 더 궁금하신 분은 아래 글도 한 번 참고해 보세요:
AI 기반의 코드 편집기 스타트업, Anysphere. 4개월밖에 되지 않았지만, 이 스타트업은 $100M의 투자를 유치하면서 계속해서 AI 기반 개발자 도구를 개선, 확대해 나갈 것으로 예상됩니다.
새로 나온, 주목할 만한 연구 논문
금주의 Top Pick!
Qwen2.5, Alibaba's latest LLM suite
무려 ‘18조 개’의 토큰으로 학습을 한 알리바바의 최신 모델로, 상식 영역에 전문가 수준의 추론 능력을 결합했습니다. 새로운 사후 학습 기법으로 한층 강화된 Qwen2.5는 Llama-3와 같은 거대 모델들과 어깨를 나란히 하면서도 더 높은 비용 효율성을 보여준다고 하네요.
—> [더 보기]ModernBERT: A Modern Encoder
다양한 영역에서 높은 성능을 달성하고 추론을 효율적으로 하도록 하기 위해서 최적화한 인코더 모델입니다. —> [더 보기]TII unveils Falcon3
규모 vs. 최신의 성능 사이의 균형을 맞춘, 100억 개 이하의 파라미터를 가진 LLM 시리즈입니다. Depth Scaling, Knowledge Distillation 등의 혁신적인 기술을 활용한 이 모델들은 수학, 코딩, 추론 벤치마크에서 더 큰 모델들과 견줄 만한 뛰어난 결과를 보여줍니다.
—> [더 보기]
거대 언어모델 최적화 및 효율화
SPAR: Self-Play with Tree-Search Refinement
‘트리 검색 자체 개선 (Tree-Search Self-Refinement)’ 기법을 사용해서 LLM의 지시 수행 (Instruction Following) 능력을 향상시켰고, 이걸 기반으로 학습을 더 잘 하도록 하기 위한, 비교 가능한 선호도 쌍 (Preference Pair)을 만들어 냈습니다. —> [더 보기]SepLLM: Accelerate Large Language Models
모델의 성능은 유지하면서 계산의 효율성을 높이기 위해 Separator Token을 사용하는 ‘세그먼트 압축 (Segment Compression)’ 방식을 제안합니다. —> [더 보기]SGD-SaI: Learning Rate Scaling at Initialization
트랜스포머가 메모리를 효율적으로 활용하면서 학습하도록 해 주는 최적화 도구를 도입했는데, AdamW보다 눈에 띄는 성능치의 향상을 보여 줍니다. —> [더 보기]
추론 및 멀티스텝 최적화
멀티모달 및 RAG 시스템
읽어주셔서 감사합니다. 프리미엄 구독자가 되어주시면 튜링 포스트 코리아의 제작에 큰 도움이 됩니다!
