AI 모델과 관련 인프라스트럭쳐, 그리고 AI 기반의 어플리케이션의 Landscape는 계속해서 빠르게 변화하고 있습니다 - 정말 정신이 없을 정도죠.

거의 격주마다, ‘우리가 차세대의 트랜스포머 킬러 (Transformer-Killer)다’라고 주장하는 새로운 모델, 아니면 ‘대형의 모델들도 어려워하는 Long-Context 문제를 우리는 이러이러하게 해결한다’고 약속하는, 새롭고 더 효율적인 아키텍처에 대한 소식이 계속 들려옵니다.

이런 것들 대부분은 물론 소리없이 사라지기도 하지만, 가끔은 ‘단순한 개선’을 넘어선 ‘근본적인 변화’를 만들어낼 걸로 보이는 그런 연구 논문들이 나타나기도 합니다.

지난 5월 29일 arXiv에 조용히 올라온, 그리고 마이크로소프트 Build, 구글 I/O 등의 거대한 행사에 묻힌, huggingface/papers에서 추천 수가 겨우 18개에 불과한 논문, 바로 구글 리서치에서 쓴 "Atlas: Learning to Optimally Memorize the Context at Test Time"이 바로 그런 연구 논문 중 하나일지도 모르겠습니다. 사실, 구글의 연구가 처음에는 주목받지 못하고 간과되는 건, 이번이 처음은 아니죠.

모두 아시다시피, ‘트랜스포머’ 아키텍처는 엄청난 성과를 보여주는 놀라운 아키텍처지만, 기본적으로 ‘모든 토큰 쌍 (Token Pair)을 살펴보는 어텐션 메커니즘의 속성 때문에, 그 훈련 비용이 사이즈와 함께 기하급수적으로 증가합니다. 물론, RetNet, RWKV, Mamba, 심지어 구글이 자체적으로 만든 Titans 같은 많은 대안들이 상태공간 기법 등의 다양한 방법으로 이 문제를 해결하고자 시도하고 있습니다. 이런 대안들은 더 빠르게 더 적은 비용으로 처리를 하게 해 주기는 하지만, ‘정말 긴 시퀀스에서 정보를 진정으로 이해하고 기억하는데 있어서는 여전히 많은 모델들이 벽에 부딪히고’ 있는 것도 사실입니다.

그렇다면, ‘Atlas 논문’이 제안하는 건 뭘까요?

살짝 기술적으로 이해를 해 보자면, 제가 보기에는, 핵심적인 아이디어는 모델의 메모리를 단순히 정보를 집어넣는 수동적 저장소로 보기보다는 특히 추론 과정에서 능동적으로 최적화를 실행하는 구성 요소로 보고 다루는 겁니다. 다시 말해서, ‘메모리가 마지막에 본 토큰에만 반응하는게 아니라, 메모리가 최근 토큰들의 윈도우를 되돌아보면서 뭐가 중요한지, 어떻게 보관할지를 스스로 지능적으로 결정하는 방법’을 제안하고 있어요.

여기서 ‘오메가 규칙’이라는 게 등장합니다. 오메가 규칙이 뭘까요?

대부분의 순환 신경망 모델은 ‘현재의 입력’을 바탕으로 해서 메모리를 업데이트하는데, 오메가 규칙은, “잠깐만, 최근 'c'개의 토큰들(예를 들어 최근 50개)을 살펴보고 이것들을 모두 함께 활용해서 메모리 상태를 최적화하자"고 하는 겁니다. 이렇게 해서, 모델이 단순히 ‘고립된 사실들’이 아닌 ‘맥락’을 기억하는 법을 배울 수 있다는 겁니다 - 즉, 마지막에 일어난 독립적인 일 뿐 아니라 최근의 더 넓은 경험을 바탕으로 이해를 업데이트하는 개념이죠.

논문을 보면, 이런 접근법이 특히 BABILong 같이 ‘아주 긴 문서에 흩어져 있는 사실을 바탕으로 언어 모델이 얼마나 장기 추론이나 정보 검색을 잘 하는지 평가하는 테스트’에서 실제로 좋은 성과를 보여주는데, 무려 1천만 토큰까지 이어지는 시퀀스에서 강력한 성능을 보여준다고 해요.

그런데, Atlas가 이런 하나의 핵심 아이디어로만 구성된 건 아닙니다 - 여러 개의 보완적인 도구 셋을 소개하고 있어요:

이 논문은 상당히 ‘밀도가 높은’ 논문입니다. 연관 메모리 (Associative Memory) 이론, 최적화, 아키텍처 설계 등 다양한 영역에서 여러 가지의 새로운 실마리를 잘 엮어낸, 일종의 ‘작품’이라고 생가합니다. 전통적인 RNN 아키텍처의 ‘온라인 업데이트’ 특성, 즉 토큰이 하나씩 들어올 때마다 미리 정해진 규칙으로 순차적으로 메모리를 업데이트하는 방식에 의문을 제기해 왔던 여러 가지 연구의 계보를 따르고 있기도 합니다 - 즉, 나중에 들어온 맥락이 이전 정보의 중요도를 바꿀 수 있음에도 불구하고, 이미 업데이트된 메모리를 되돌아 재조정할 수 없다는 근본적인 한계에 도전한다는 것이죠.

Atlas를 비롯한 최근의 연구들은, 이렇게 ‘순서대로 차례차례 처리’하는 기법을 포기하고, 대신 일정한 범위의 토큰들을 함께 보면서 "어떻게 기억하는 게 가장 유용할까?"라는 최적화 문제로 메모리 업데이트를 재정의하고 있는데, 이건 일기를 시간순으로 나열하는 것에서 하루를 돌아보며 핵심 순간들 중심으로 정리하는 것으로 패러다임이 바뀐 것과 같다고 볼 수 있습니다. Titans (역시 구글에서 나온), TTT (Test-Time Training) 같은 논문들도, 다이나믹하게 추론 시점에서 적응한다는 비슷한 주제를 탐구한 바 있구요.

물론, Atlas가 최종적인 답이 아닐 확률이 크죠. 진짜 시험대는, 이런 아이디어들이 얼마나 잘 스케일링되는지, 다른 사람들이 얼마나 쉽게 구현하고 발전시킬 수 있는지, 그리고 더 광범위한 작업에서도 높은 성능이 유지되는지 등이 관건이 될 겁니다 - 많은 애플리케이션들은 여전히 짧은 맥락의 윈도우 안에서도 큰 문제없이 작동하고 있으니까요.

그렇지만, 분명 Atlas가 제시하는 방향은 의미가 있습니다.

기존의 패러다임을 단순히 확장하는 것이 아니라, 더 똑똑한 시스템을 구축한다는 철학이니까요. 특히 방대한 정보를 다루어야 할 때 내부 메모리를 관리하고 최적화하는 방법을 능동적으로 학습하는 모델, 멋지지 않나요? 이 방향의 진정한 발전이 계속된다면, ‘다이나믹하게 맥락을 인식하면서 지속적으로 최적화하는 메모리’는 대규모의 데이터셋을 단순히 ‘처리’하는게 아니라 ‘제대로 이해하고 활용’하는 AI를 향한 중요한 한 걸음이 될 겁니다.

이제, 단순하게, 그리고 기계적으로 어텐션을 확장하는 시대는 지나고 있습니다. AI가 어떻게 학습하고, 기억하고, 추론해야 하는지에 대해 더 집중해서 세밀하게 탐구하는 시대가 오고 있습니다.

맥락을 최적화해 가면서 기억한다는 것, 이에 대한 깊은 초기의 탐구의 결과로서 Atlas는, 이 긴 이야기의 서문을 여는, 매력적인 한 챕터가 될 겁니다.

MCP가 에이전트, 그리고 에이전트가 사용해야 할 외부 도구 간의 연결 방식을 바꿔놓았죠. 지금 이 시간에도 수없이 많은 MCP 서버들이 생겨나고 있습니다.

많은 MCP 서버들 중에서, 한 번 살펴볼 만한 멋진 MCP 서버 12개를 선정해 봤는데요, 함께 살펴보시죠:

*아직 튜링 포스트 코리아 구독 안 하셨나요? 구독해 주시면 매주 중요한 AI 뉴스를 정리한 다이제스트를 받으실 수 있습니다!

이 글은, 우리가 타자기에서 워드프로세서로, 계산기에서 엑셀로 넘어갔던 것처럼, 지금은 AI라는 새로운 ‘도구’로 넘어가는 과정에 있다고 설명합니다. 처음에는 이런 새로운 도구들이 낯설고, 사람들이 "기초를 잊게 만든다"거나 "신뢰하기 어렵다"며 걱정하지만, 시간이 지나면 더 빠르고 편리해지면서 우리 일에 꼭 필요한 도구가 된다는 겁니다. AI도 마찬가지로, 지금은 혼란스럽고 불안하게 느껴질 수 있지만 결국 일하는 방식 자체를 바꾸는 중요한 변화라는 걸 강조하고 있네요.

이 글은 너무나도 유명한 투자자인 메리 미커가 "AI는 지금까지 나왔던 기술 중 가장 빠르게 퍼지고 있다"고 말한 내용을 소개합니다. 인터넷, 스마트폰보다도 훨씬 빠르게 사람들이 AI를 쓰기 시작했는데, 그 배경에는 전 세계 사람들이 인터넷을 쓰고 있고, 데이터도 많이 쌓였고, 챗GPT 같은 똑똑한 AI가 등장했기 때문이죠. 지금은 스타트업이나 빅테크들이 AI에 엄청난 돈을 투자하고 있고, 미국과 중국이 AI를 통해 누가 더 우위를 점할 것인지 가지고 경쟁 중이죠. 그래서 AI는 단순한 기술이 아니라, 앞으로 어떤 나라가 더 번영하게 될지를 좌우할 만큼 중요한 변화라고 강조하고 있습니다.

허깅페이스가 두 가지의 오픈소스 휴머노이드 로봇을 출시했습니다 – 66개 자유도를 가진 실물 크기의 이족보행 로봇 HopeJR($3000부터 시작), 그리고 대화 기능을 갖춘 데스크톱 컴패니언 Reachy Mini($300부터 시작)가 그 두 가지인데요.

Pollen Robotics를 인수한 후에 제작된 이 로봇들은, 저렴한 가격으로 많은 사람들이 로봇을 사용할 수 있게끔 하는 걸 목표로 한다고 합니다.

Claude의 개발사인 앤쓰로픽은, Decode Research와 협업해서 ‘LLM의 내부 추론 경로를 드러내는 귀속 그래프를 생성’하는 오픈소스 라이브러리를 출시했습니다. 이 그래프들은 Gemma-2-2b와 Llama-3.2-1b 같은 모델들을 지원하고, Neuronpedia의 인터랙티브 프론트엔드를 통해서 볼 수 있습니다. 이 도구들을 통해서 사용자들은 특성 값을 수정하고, 가설을 테스트하고, 회로를 추적할 수 있습니다.

앤쓰로픽은 이런 작업을 통해서 다국어 및 추론 작업에서 일어나는 모델의 행동에 대한 해석 가능성 연구와 이해를 가속화하는 것이 목표라고 이야기하네요.

천생연분의 거래라고 해야 할까요? 논란에 끊이지 않는 두 명의 인물 - 파벨 두로프, 그리고 일론 머스크 - 이 xAI의 챗봇 Grok을 텔레그램 앱에 직접 임베딩하는 계약을 체결했습니다. 텔레그램은 플랫폼을 통해서 판매되는 Grok 구독 수익의 50%도 가져갑니다. 이 파트너십으로 TON이 18.5% 급등했지만, 신기하게도 발표 몇 시간 전에 뛰어올랐습니다. 시장의 미래를 보는 투시력이라도 있는 건가요?

메타, 그리고 방산기술 기업 Anduril이 힘을 합쳐 혼합 현실 (Mixed Reality)을 전장에 도입합니다. 이제 게임용 헤드셋을 넘어서 전투용 테크노맨서 장비에 가까운 걸 함께 만들겠다는 것이겠죠. 이 두 회사의 XR 기반 통합 솔루션은 군인들의 인지 능력을 향상시키고 Anduril의 Lattice AI 시스템과 직접 연결될 거라고 하는데요, 민간 자금과 상용 기술을 바탕으로 구축한 이 파트너십을 통해서 펜타곤이 수십억 달러를 절약할 수 있을 거라고 주장합니다.

오큘러스를 창업한 이후 메타에 조인했다가 해고된 Anduril의 창업자 팔머 러키가 꾸는 ‘차세대 전투원’의 꿈을 증강 현실을 기반으로 만들어갈 이 파트너십 - 전쟁도 메타버스에서만 할 수는 없을까요?

프랑스의 대표 AI 스타트업 미스트랄 AI가 Agents API를 출시했습니다 – 이건 AI가 수동적인 기록자의 역할을 넘어서 능동적으로 문제를 해결하는 할 수 있도록 해 주는 툴킷입니다. 코드 실행, 웹 검색 등을 위한 내장 커넥터와 오케스트레이션 기능, 영속적 메모리를 갖춘 이 API는 본격적인 엔터프라이즈급 워크플로우를 위해서 구축된 것이라고 합니다. 미국과 중국의 스타트업이 치고 나가는 가운데, 미스트랄도 실행하는 자율 어시스턴트 생태계를 조용히 구축하고 있네요.

‘주목할 만한 최신의 AI 모델’을 먼저 소개하고, 각 영역별로 ‘Top Pick’은 해당 논문 앞에 별표(🌟)로 표시했습니다!

*리뷰를 남기시려면 로그인하시거나 구독해 주세요. 감사합니다!

읽어주셔서 감사합니다. 프리미엄 구독자가 되어주시면 튜링 포스트 코리아의 제작에 큰 도움이 됩니다!