여러분들도 안드레 카파시에 대해서 많이 들어보셨고 또 잘 아실 것 같습니다. 안드레는 AI 업계가, 그리고 많은 분이 아끼고 좋아하는, ‘방랑하는 자연주의자’이죠. 스탠포드대학교에서 박사 학위를 한 안드레는, 한 때 테슬라의 AI를 책임지는 총괄이었고, 오픈AI의 창립 멤버이기도 합니다. 그리고, CS231n 강의를 통해서 수많은 열성적인 AI 연구자들에게 ‘컨볼루션 네트워크’의 눈을 통해서 세상을 보는 법을 가르치기도 했습니다.

안드레는, 마치 숨 쉬는 것처럼 자연스럽게 ‘새로운 용어’를 만들어내는 재주가 있는 것 같습니다. 이전의 ‘소프트웨어 코드’를 ‘학습된 가중치(Learned Weights)’로 다시 정의한 ‘소프트웨어 2.0’ 개념을 처음 제시했던 것도 안드레스러운 발상이었구요.

2023년에는 오픈AI로 돌아가서 GPT-4, 그리고 ChatGPT 출시를 함께 도왔고, 2024년에는 다시 회사를 떠나서 새로운 형태의 ‘AI-Native 학교’라고 부를 만한 ‘유레카 랩스(Eureka Labs)’를 시작했습니다. 최근에는 프롬프트(Prompt), 에이전트(Agent), 그리고 자율성 슬라이더(Autonomy Slider)라는 요소를 중심으로 소프트웨어가 더욱 지능적이고 다이나믹하게, ‘사용자 맞춤형’으로 작동하는 ‘소프트웨어 3.0’ 패러다임에 대해서 고민하고 있다고 합니다.

안드레의 손을 거치면, 장난감 같던 레포지토리도 ‘micrograd’, ‘makemore’, ‘nanoGPT’처럼 순식간에 컬트적인 클래식이 되기도 합니다:

이것 뿐인가요? ‘바이브 코딩(Vibe Coding)’ 같은 표현도 안드레의 입에서 나와서 이제 AI를 아는 모든 사람이 따라 쓰는 유행어가 되었죠.

안드레가 쓰는 블로그 포스트는, 수년간 AI 분야의 ‘교과서’같은 취급을 받기도 합니다.

X(구 트위터) 팔로워는 130만 명, 유튜브 구독자는 100만 명 이상 - 그야말로 엄청난 영향력(아주 좋은 의미에서요)을 가진 인물이죠.

그래서 문득 이런 생각이 들었습니다. “매달 안드레가 관심을 가지고 있는 것들을 살펴보고, 그 핵심만 쏙쏙 뽑아 정리해 보면 어떨까” 하는 생각이요 - 어쩌면, 우리에게 ‘제 3의 눈’을 열어줄 지도 모르잖아요?

지난 8월 28일, 'LLM-네이티브 커리큘럼'이라는 개념에 깊게 파고드는 모습을 보여준 안드레는, 이런 질문을 던졌습니다: “왜 모델에게 텍스트 덩어리인 PDF를 그대로 던져야 하나? 똑같은 자료를 기계가 더 잘 이해할 수 있는 과정(Course)으로 재구성하면 어떨까?" 하는 질문이요.

그리고, 그 방법을 구체적으로 제안하는데요:

이런 프레임 안에서라면, 아마 LLM은 단순히 정보를 암기하는 것 이상을 해낼지도 모릅니다: 마치 학생이 하듯이 ‘물리학 강의를 들으면서 연습도 하고, 피드백도 받고, 채점하는’ 사이클을 거치는 것이죠.

이 아이디어가 실현되고 굴러가게 된다면, 그 파급력은 상당하지 않을까요? 모든 인간의 학문 분야가 체계적인 대화형 교육 과정으로 바뀌고, 기계가 이 과정을 직접 이수하는 것 같은 'LLM 아카데미'가 열릴 수 있다는 의미니까요. 이렇게 되면, 병목(Bottleneck)은 인터넷에 있는 텍스트를 수집하는 게 아니라 ‘LLM을 위한 교육 파이프라인을 설계하는 것’이 되면서 판도가 완전히 바뀔 것 같습니다.

저희의 질문은, “인터넷이 사전 학습(Pre-training)을 위한 훈련장 역할을 했다면, LLM화된 커리큘럼은 지식의 활용(Application)과 추론(Reasoning)을 위한 훈련장이 될 수 있을까?”하는 겁니다. 인터넷의 데이터는 꽤 많은 경우에 부정확하거나 모순이 될 때도 있고, 체계적이지도 않죠. 한 권의 책이라기보다는 도서관에서 무작위로 뽑은 페이지 묶음 같은 거라고 할까요? LLM이 여기서 기본적인 문법과 상식을 습득하지만, 깊이 있는 사고와 문제 해결 능력을 쌓기에는 부족할 수 있습니다.

반면에, LLM화된 커리큘럼은 잘 짜인 교과서 같은 거라고 봐야겠죠. 단계별로 난이도를 높여가면서 문제를 풀고, 실수를 바로잡는 과정을 통해서 모델이 문제를 정의하고, 가설을 세우고, 논리적으로 해결하는 능력을 배울 수 있을지도 모릅니다.

모델이 ‘학습하는 방법’은 각각 서로 다른 데이터의 기반 위에서 진화해 왔죠:

지금 현재, 가장 큰 난관은 이 '환경'을 대규모로 구축하는 겁니다. 모델이 마음껏 상호작용을 하고, 스스로를 시험하면서 성장해 갈 수 있는 일종의 '샌드박스’를 만드는 거죠.

예전에 오픈AI의 'Gym'이 로봇이나 아타리 게임 에이전트를 위한 환경이었다면, 지금 'Prime Intellect'의 'Environments Hub' 같은 시도는 LLM을 위한 코딩, 추론, 계획 세우기 같은 환경을 만들고 있습니다.

그런데, 안드레는 '보상 함수(Reward Functions)'에 대해서는 회의적인 시각을 드러내고 있습니다: 인간이 지적인 과제를 단순히 보상과 벌칙을 통해 배우는 게 아니라고 생각하는 겁니다. 대신에, 새로운 패러다임을 암시하고 있는데, 바로 시스템 프롬프트 학습(System-Prompt Learning), 맥락 기반 업데이트(Context-Driven Updates), 그리고 기억 정제(Memory Distillation) 같은 것들입니다:

과연, 강화학습의 시대 이후에 따라올, 기계 학습(ML)의 다음 정거장은 어디일까요?

안드레가 암시하는 것처럼, 다음 패러다임은 '자기 주도적 학습(Self-Directed Learning)' 또는 '내러티브 기반 학습(Narrative-Based Learning)'이 될 가능성이 높지 않을까요? 보상에 의존하지 않고, 모델 스스로가 학습의 주체가 되는 방식이요.

이런 접근은, 철학적으로는 얀 르쿤의 생각과 일맥상통하는 측면도 있어 보입니다 - ‘물리적인 세계’를 대상으로 하느냐, ‘지적인 세계’를 대상으로 하느냐의 차이는 있지만요.

시간이 지나고 우리 자신을 돌아볼 수 있다면, 지난 2024년의 대표적인 모습이 '챗봇과의 대화'였다면, 2025년의 대표저긴 모습은 'AI와의 코딩'이 될 거라고 생각합니다. 안드레는, 자기가 사용하는 코딩 워크플로우를 여러 개의 층위로 나누어 설명하는데요:

지난 1년간 AI 기반 코딩이 얼마나 발전했는지 돌이켜보면, 마치 코드의 ‘희소성’이 사라진 시대 - 디지털 필름 시대에 필름의 희소성이 사라졌던 것처럼요 - 가 아닌가 합니다. 이제 수천 줄의 코드를 마구 부담없이 생성하고 버릴 수도 있죠. 덕분에 코드를 '쓰는' 것에 대한 부담은 줄어들었지만, 이제는 여러 AI 도구들을 엮어 나가면서도 자기만의 감각, 추상화 능력, 방향성을 잃지 않는 게 중요한 고민이 되었습니다.

그렇다면, 개발자의 역할은 앞으로 어떻게 정의되고, 주니어 개발자는 어떻게 훈련하고 배워야 할까요?

AI가 코딩의 많은 부분을 대신하는 시대에 개발자의 역할은 달라질 수밖에 없죠. 예전의 개발자가 '코드를 쓰는 사람'이었다면, 이제는 'AI를 지휘하는 사람'이 되어야 한다고들 이야기 많이 합니다:

주니어 개발자는, 단순히 코딩의 문법에 집중하기보다는, AI를 활용하면서도 탄탄한 기초를 다질 수 있는 뼈대를 만들어가야 합니다:

결국 AI는 뛰어난 '도구'일 뿐입니다. 그리고 중요한 건 도구를 사용하는 인간의 의도와 실력이죠. AI 시대의 주니어 개발자는 코드를 빠르게 '치는' 방법을 배우기보다, 코드를 깊이 있게 '이해하고, 설계하고, 지휘하는' 능력을 키워야 할 겁니다. (예전에도 이런 능력은 중요했죠)

지난 8월 9일, 안드레는 주요 AI 모델들에 대해서 약간은 불편한 마음을 드러냈습니다. 모델들이 마치 ‘시험 모드’에 들어간 것처럼 행동한다는 건데요 - 그냥 가볍게 확인할 사항이 있어서 질문을 했는데 모델이 몇 분씩이나 추론을 ‘해대고’, 리포지토리를 뒤지고, 어떤 경우는 과도하게 분석을 한다는 겁니다. 이건 아마 벤치마크의 평가 방식이 모델로 하여근 ‘지나치게 생각’하는 방향으로 훈련시켰기 때문이겠죠.

우리 인간은 직관적으로 '빠르게 확인하면 될 것'과 '두 시간짜리 심층 분석을 해야 되는 과제’의 차이를 파악해 냅니다. 하지만 모델은 그 차이를 모르는 거죠. 안드레는, 여기서 빠진 핵심 요소를 '의도 채널(Intent Channel)'이라고 부릅니다: LLM에게 우리가 속도를 원하는지, 깊이를 원하는지, 직관을 원하는지, 아니면 엄격한 분석을 원하는지를 알려주는 방식이죠.

보통 이야기하는 ‘라우팅 시스템’이 이런 ‘의도의 문제’를 해결하는데 효과적인 방법이 될 수도 있습니다. 라우팅 시스템은 사용자 의도에 따라서 AI 모델로 가는 요청을 가장 적합한 경로로 보내는 역할을 하죠 - 우체국에서 편지 봉투에 적힌 주소를 보고 가장 빠른 배달 경로를 결정하는 것처럼요.

예를 들자면:

이렇게 되면, 사용자가 매번 길고 복잡한 프롬프트를 작성할 필요 없이, 자기가 의도한 바에 맞는 답변을 바로 얻을 수 있습니다. AI 모델도 불필요한 과부하 없이 역량을 효율적으로 활용하게 되구요.

결국, 라우팅 시스템은 안드레가 말한 '의도 채널'을 구현하는 현실적인 기술 기반이 될 수 있습니다. 사용자의 의도를 분석하고, 그에 맞는 AI 모델을 연결해 주는 똑똑한 교통 정리 역할을 해주는 거죠.

제게도 이번에 안드레 카파시의 여러 글을 정리해 본 작업은 아주 유익했습니다. 8월에 올린 포스트들을 다시 쭉 읽어보니, 하나의 일관된 흐름이 보였다고나 할까요? 탄지로가 ‘내비치는 세계’를 터득했을 때만큼은 아니겠지만요 ^.^;

안드레의 생각들을 따라가다 보면, LLM이라는 기술, 그에 기반한 서비스가 어디로 향하고 있는지, 그리고 인간과 AI의 협업이 아직 어떤 부분에서 미완성인지를 보여주는 지도를 상상해 볼 수 있습니다.

안드레가 머릿속에 갖고 있는 그림은, 어쩌면 '전환기의 생태계'같은 것일 겁니다. 모델이 단순히 사람이 기록해 온 텍스트를 섭취, 소비하는 모습으로부터, 이제는 그들만의 환경 속에서 공부하고, 행동하고, 코딩하고, 추론하는 모습으로 나아가고 있는 거죠. 각각의 단계마다 어떻게 설계하고 교육/훈련을 할지, 협업은 어떻게 구성해야 하는지 등에 대해 새로운 질문들이 끝없이 생겨납니다.

앞서 이야기했다시피, 2024년이 '챗(Chat; 대화)'의 시대였고, 2025년이 '코드(Code)'의 시대라면, 2026년은 '환경(Environments)'의 시대가 될지도 모릅니다. 모델 뿐만 아니라 우리 사용자들, 인간들 역시 그 환경 속에서 살고 일하는 법을 배워야 하는 시대가 올 테구요.

*아직 튜링 포스트 코리아 구독 안 하셨나요? 구독해 주시면 매주 중요한 AI 뉴스를 정리한 다이제스트를 받으실 수 있습니다!

AI 모델, 스스로 만들어낸 출력값이 좋은 것인지 그렇지 않은지에 대한 피드백을 받는 게 아주 중요합니다. PO(Policy Optimization; 정책 최적화)를 통해서 모델의 행동에 대한 사용자의 선호도, 그리고 보상이 실제 모델에게 의미있는 훈련의 신호를 주게 되죠.

이 분야는, PPO, GRPO 등 기존의 다양한 방법론을 훨씬 뛰어넘으면서 빠르게 진화하고 있는 분야입니다. 오늘 트위터 라이브러리에서는, 최신의 PO 기법 10가지에 대해 간략히 소개해 보고자 합니다:

프라운호퍼(Fraunhofer) 연구소의 '히어링 카(Hearing Car)' 프로젝트는 자율주행차에 놀랍도록 인간적인 능력, 즉 '청각'을 부여합니다. 라이다나 레이더와 달리, 이 AI 기반 음향 기술은 카메라가 미처 보지 못하는 순간에도 사이렌 소리, 미끄러운 도로 소리, 심지어 아이들이 노는 소리까지 포착합니다. 다만, 사람의 대화 소리는 실시간으로 걸러냅니다. 여러분은 어떻게 생각하시나요? 음향 센서가 운전 보조 시스템의 다음 단계를 이끄는 수단이 될 수 있을까요?

퀄컴과 BMW가 협력해서 공동 개발한 자율주행 시스템 '스냅드래곤 라이드 파일럿(Snapdragon Ride Pilot)'이 BMW iX3에 처음으로 탑재됩니다. 이 시스템은 AI 기반의 인지 능력, 데이터 기반 의사 결정, 그리고 클라우드 기반 피드백 루프를 결합해서 스스로 도로 위에서 끊임없이 학습을 한다고 합니다.

산업의 니즈와 지정학적 타이밍이 절묘하게 맞아떨어진 가운데, 히타치 에너지(Hitachi Energy)가 미국 내 생산 시설에 10억 달러를 투자합니다. 특히 버지니아주에 4억 5,700만 달러를 들여서 거대한 변압기 공장을 짓습니다. 목표는 미국의 AI 붐과 전력망 복원력을 강화하는 동시에 800개 이상의 일자리를 창출하는 것이라고 합니다. 에너지 정책과 제조업 부활이 맞물린, 선거의 해에 어울리는 극적인 행보라고 하지 않을 수 없네요.

아마존이 '렌즈 라이브(Lens Live)'를 공개했습니다. 기존에 있던 시각 검색 도구를 강화한 이 기능은 이제 실시간으로 상품을 스캔하고, AI 루퍼스(Rufus)의 통합된 인사이트를 제공합니다. 카메라를 비추기만 하면, 제품 비교, 장바구니 담기, 위시리스트 추가 기능이 캐러셀 형태로 한 번에 나타납니다. 말 그대로 눈으로 보면서 쇼핑하는 경험을 머신러닝이 가속화한 셈이네요.

앤쓰로픽(Anthropic)이 130억 달러 규모의 시리즈 F 투자를 유치하면서 1,830억 달러의 기업 가치를 인정받았습니다. 이로써 클로드(Claude)는 명실상부한 기업용 AI 시장의 왕좌에 올랐다고 할 수 있겠는데요. 1년도 채 되지 않아 매출이 10억 달러에서 50억 달러로 급증했고, 특히 클로드 코드 하나로 5억 달러의 수익을 올렸습니다. 이제 단순한 유행이 아닌, 본격적인 비즈니스 돌풍이라고 봐야 하지 않을까요? 아이코닉(ICONIQ)이 투자를 주도하면서 앤쓰로픽의 '안전 우선, 빠른 확장' 전략에 크게 베팅했습니다.

오픈AI가 스탯시그(Statsig)를 인수하고, 창업자 비제이 라지(Vijaye Raji)를 애플리케이션 CTO로 임명했습니다. A/B 테스팅 전문 업체로 알려진 스탯시그는 이미 오픈AI가 빠르게 서비스를 개선할 수 있게끔 도와주는 핵심 엔진으로 알려져 있는데, 이제 오픈AI 내부로 들어왔네요. 비제이가 ChatGPT와 Codex 개발을 총괄하게 되면서, 이번 인수는 데이터 기반의 엄격한 제품 평가/테스트로 제품의 완성도를 높이겠다는 신호로 해석됩니다.

GPT-5, 단순히 정보를 찾는 도구를 넘어서, 생각의 경계를 확장하는 새로운 파트너가 되고 있습니다. 윌 솅크(Will Schenk)는 GPT-5가 이전 모델들과 비교할 수 없을 정도로 똑똑하다고 주장합니다.

윌은 정확한 답이 정해지지 않은 복잡한 질문, 예를 들어서 심리학 이론과 스마트폰 중독의 관계, 혹은 신비주의 철학 개념처럼 답이 모호한 주제들을 GPT-5에게 던져보는데요. GPT-5는 놀랍게도 방대한 지식을 엮어내고, 복잡한 개념 사이의 숨겨진 연결고리까지 찾아내기도 했습니다. 이 과정에서 윌은 GPT-5의 답변이 '정확한지'를 판단하는 것 자체가 무의미할 수 있다고 느낍니다. 오히려 중요한 것은, 정해진 답을 찾는 것이 아니라 아이디어를 탐색하고 이해를 넓히는 과정이라는 것을 깨닫게 된 거죠.

결국 윌은 GPT-5가 단순한 검색 엔진을 넘어서, 인간의 지적 호기심을 자극하고 새로운 질문을 던지게 만드는 진정한 '대화 상대'가 되어가고 있다고 말합니다. 마치 아이들이 답보다 질문 자체를 즐기는 것처럼, GPT-5는 우리가 그동안 던질 곳이 없었던 수많은 질문들을 풀어놓을 수 있는 공간이 되어주고 있습니다.

UC 버클리의 로봇 공학자 켄 골드버그(Ken Goldberg) 교수는, “휴머노이드 로봇의 혁명이 곧 올 것”이라는 일부 기술 리더들의 주장에 회의적인 시각을 드러냈습니다. AI 챗봇이 방대한 인터넷 데이터로 빠르게 학습한 것과 다르게, 로봇은 현실 세계의 동작에 대한 데이터가 턱없이 부족해서 지능을 빠르게 습득하기 어렵다는 건데요. 특히 유리잔을 잡거나 전구를 바꾸는 것과 같은 섬세한 손재주가 필요한 작업에서 로봇이 여전히 어려움을 겪는 이유가 바로 여기에 있다고 합니다. 골드버그 교수는 앞으로 로봇이 스스로 데이터를 수집하고 학습할 수 있도록 하는 것이 중요하고, 당분간은 블루칼라 직업보다 문서 작성과 같은 일부 화이트칼라 직업이 더 빠르게 자동화될 가능성이 높다고 내다봤습니다.

미국 최대 급여 소프트웨어 사업자의 데이터를 분석한 스탠포드의 새로운 연구 결과에 따르면, 생성형 AI가 노동 시장에 예상보다 빠르게 영향을 미치고 있는 것으로 나타났습니다. 특히, AI에 가장 많이 노출된 직업군에 종사하는 사회 초년생(22~25세)들이 가장 큰 타격을 입고 있습니다.

연구는 AI가 널리 보급된 이후, 이 사람들의 고용률이 다른 직업군의 근로자들보다 상대적으로 13% 감소했다는 사실을 밝혀냈습니다. 반면에, AI 노출도가 낮은 직업이나 같은 직업군이라도 경력이 많은 숙련된 근로자들의 고용은 안정적으로 유지되거나 계속 증가했습니다.

이번 변화는 급여가 아닌 '고용' 감소라는 형태로 나타나고 있는데, AI가 인간의 업무를 '보조'하는 역할보다는 '자동화'하는 경향이 강한 직업군에서 두드러지게 관찰되었습니다. AI 혁명이 미국 노동 시장의 신입 근로자들에게 불균형적으로 큰 영향을 미치기 시작했다는 가설을 뒷받침하는 강력한 증거라고 할 수 있겠습니다.

최근에 다양한 자리에서 ‘벤치마크’에 대한 이야기를 많이 드리기도 하고, 듣기도 합니다. AI 모델을 만드는 것만큼이나 내가 원하는 벤치마크를 구성하는 것이 정말 중요하잖아요?

오늘은 LLM의 새로운 능력을 측정하는 Werewolf 벤치마크를 소개합니다. 이 벤치마크는 단순한 문제 풀이를 넘어서서, 마치 마피아 게임처럼 LLM이 복잡한 사회적 상호작용과 소통 능력을 얼마나 잘 이해하는지 평가합니다. 늑대, 주민 등 다양한 역할을 부여해서 모델의 언어 전략과 추리 능력을 측정하는 것이 특징입니다.

Werewolf 벤치마크는, 기존 벤치마크와 다르게 정답을 맞히는 대신 모델의 전략적인 소통 능력과 팀워크를 평가하는 걸 목표로 만들어졌습니다. 게임 중에 쌓이는 데이터를 바탕으로 Elo 점수를 매기는 등, 모델의 사회적 지능을 다이나믹하게 측정합니다. 바로, LLM의 성능을 단순히 기술적인 면 뿐만 아니라 사회적 맥락에서도 평가하려는 새로운 시도라고 할 수 있을 겁니다.

이 벤치마크는 이미 Gemini나 GPT와 같은 주요 LLM을 평가하는 데 활용되고 있습니다. LLM이 단순한 도구를 넘어서 우리 사회의 일원으로서 더 나은 소통과 협력을 할 수 있도록 돕기 위해 만들어진 Werewolf 벤치마크. 인공지능의 미래가 단순히 똑똑한 것을 넘어서 인간과 더 잘 상호작용하는 방향으로 나아가고 있다는 걸 보여주는 중요한 사례입니다.

‘주목할 만한 최신의 AI 모델’을 먼저 소개하고, 각 영역별로 ‘Top Pick’은 해당 논문 앞에 별표(🌟)로 표시했습니다!

*리뷰를 남기시려면 로그인하시거나 구독해 주세요. 감사합니다!

읽어주셔서 감사합니다. 프리미엄 구독자가 되어주시면 튜링 포스트 코리아의 제작에 큰 도움이 됩니다!