AI는 점점 거대해지고, 복잡해지고 있죠. 모델은 이미 수조 개의 파라미터를 넘어서고, 학습에 드는 비용은 수백억 원은 쉽게 넘어선다는 이야기를 많이 듣습니다.

이런 상황에서, 안드레 카파시는 어떻게 보면 ‘정반대의 길’을 걷는 것처럼 보이는데요. 카파시가 공개한 ‘nanochat’은 손바닥 위에 올려둘 만큼 - 느낌이 그렇다는 이야기입니다 ^.^ - 작지만, 그 안에는 AI가 ‘배운다’는 게 어떤 뜻인지를 보여주는 하나의 완전한 실험이 담겨 있습니다. 거대 모델들이 불투명한 블랙박스라면, nanochat은 그 블랙박스를 해부대 위로 끌어올려놓은, 일종의 작은 교실이라고 할 수도 있을 것 같습니다 - 누구든지 조금 관심이 있으면 직접 들여다보면서, ‘학습’의 본질을 관찰할 수 있거든요.

카파시는 오픈AI와 테슬라를 떠나서 Eureka Labs라는 새로운 프로젝트를 시작했다는 건 많이들 아실 겁니다. 카파시 자신은 이걸 ‘AI 네이티브한 새로운 형태의 학교’라고 설명하기는 하는데, 정작 스스로도 “Eureka가 정확히 무엇이 될지는 아직 모른다”고 말하기도 했습니다. 결국, Eureka는 완성된 하나의 학교 - 거대하고 복잡한 시스템을 갖춘 - 가 아니라 ‘탐구 그 자체’이고, nanochat은 그 탐구 작업, 탐구의 활동이 실제로 일어나게 되는 첫 번째 교실 쯤으로 생각할 수 있을 것 같네요.

안드레 카파시기 10월 중순쯤 nanochat을 공개했는데, 그 이후에 직접 모델을 가르치고(Tune), 관찰하고(Teaching), 다시 훈련(Train)시키는 과정을 ‘공개 수업’같이 공유했습니다. 이 모델은 100달러, 약 4시간(8×H100 노드 기준)이면 완전한 언어모델로 훈련을 마무리할 수 있습니다.

‘bash speedrun.sh’라는 간단한 명령어 한 줄로 사전학습(Pretraining), 지도미세조정(SFT; Supervised Fine-Tuning), 강화학습(Reinforcement Learning)의 전체 루프가 자동으로 실행됩니다. 카파시는 nanochat을 “유치원생 같은 모델”이라고 불렀는데, 명랑하고, 종종 실수도 하고, 때로는 엉뚱하지만 배움의 흔적이 고스란히 남아 있는 존재라는 의미에서 그런 것 같습니다. nanochat은 ‘결과물’이 아니라 ‘배움의 과정 자체를 관찰할 수 있는 창문’에 가깝고, AI를 이해하려는 사람들에게는 직접 실험을 하면서 배우고 느껴볼 수 있는 교재라고 하겠습니다.

카파시는 nanochat을 통해서 데이터를 통해서 AI의 정체성이 어떻게 형성되는지를 보여줬는데요. 바로, 대화 데이터를 합성해서(Synthetic Conversation) 모델이 스스로를 인식하게끔 한 겁니다. 이 대화에는 이런 문장이 포함돼 있어요:

다음으로는, ‘SpellingBee’라는 작은 합성 데이터셋을 만들어서 단어에 있는 철자의 숫자를 세는 능력을 가르쳤습니다. 놀라운 건, 이런 단순한 데이터만으로도 모델의 성격과 사고가 달라졌다는 거예요. 카파시는 이런 실험을 통해서 모델의 성격(Personality), 지식(Knowledge), 사고(Reasoning)은 데이터의 구성과 프레이밍에서 비롯된다는 점을 강조해서 이야기합니다.

nanochat은 단순히 ‘기능을 수행’하는 AI가 아니라, 데이터를 통해서 자아를 배우는 학습자이자 교육의 원리를 보여주는 교보재인 것이죠.

nanochat을 다루면서, 카파시는 자연스럽게 ‘생각(Thought)’의 본질로 질문을 옮겨 가는데요: 자기회귀 언어모델(Autoregressive LM)과 디퓨전 모델(Diffusion Model)을 비교하면서 이런 말을 합니다:

카파시는 ‘생각이라는 건 한 번에 완성되는 것이 아니라, 스스로를 수정하면서 반복하는 과정’이라고 본다는 뜻이겠죠. 그리고 nanochat을 이런 디퓨전 스타일의 사고 방식으로 훈련시키는 실험도 구상하고 있다고 합니다. 더 나아가서, 텍스트를 토큰 단위로 분리하는 기존의 언어모델 방식을 근본적으로 재검토해 보고 있는 것 같기도 합니다 - 만약에, 텍스트를 픽셀 단위로 렌더링해서 입력한다면, 언어는 색과 구조, 감정이 얽힌 시각적 정보로 학습될 수 있지 않을까 하는 생각이겠죠. 이건, 언어모델이 ‘읽는 존재’에서 ‘보는 존재’로 진화할 수 있다는 상상인 건데, nanochat이 바로 그 가능성의 출발점이 될 지도 모르겠네요.

안드레 카파시가 전하려는 메시지는 명확하다고 생각합니다: ‘AI를 이해하려면, 거대함이 아니라 투명함이 필요하다’는 겁니다.

nanochat은 단순히 작은 모델이 아니라 AI 학습의 전체 과정을 직접 볼 수 있는 축소된, 그렇지만 완전한 생태계(microcosm)예요. 데이터로 인격을 형성하고, 미세조정을 통해서 사고를 바꾸고, 강화학습이 보상 체계를 가르치는 그 모든 과정을 내 손으로 만질 수 있을 듯이 가까이에서 보여줍니다. 거대 모델은 완성된 결과만 보여주지만, nanochat은 그 결과가 만들어지는 ‘순간’을 보여줍니다. 이 작은 교실에서 우리는 다시 AI를 이해하고, 동시에 배움이란 무엇인가를 되묻게 될 겁니다.

직접 nanochat을 실험해보고 싶으시면, Lambda Labs에서 8×H100 노드 하나를 실행하고 아래의 명령어를 입력하면 됩니다:

대략 4시간(100달러 수준) 이면 모델이 완성되는데요, python -m scripts.chat_web 명령어로 간단한 웹 기반 채팅 인터페이스를 띄울 수 있습니다. 좀 더 긴 학습(약 33시간, 800달러 수준)을 선택하면 모델의 추론(Reasoning)과 안정성(Stability)이 좋아집니다.

CPU나 Mac(MPS) 환경에서도 dev/runcpu.sh를 통해서 작은 버전을 돌려볼 수 있습니다. 학습이 끝나면 자동으로 생성되는 report.md에서 CORE, MMLU, ARC, GSM8K 같은 벤치마크 점수를 확인할 수도 있고, ‘Infusing Identity’와 ‘SpellingBee’ 가이드를 따라하면서 직접 정체성이나 새로운 능력을 주입해 볼 수도 있습니다.

다시 말씀드리지만, nanochat은 단순한 오픈소스 프로젝트가 아닙니다. AI가 배워가는 과정을 사람이 직접 경험하면서 배울 수 있게 만든 최초의 교재이고, Eureka Labs가 꿈꾸는 새로운 교육 철학의 실험실입니다.

안드레 카파시는 이렇게 말합니다:

nanochat은 그 과정을 여러분의 눈 앞에서 재현합니다. 거대 모델의 세계를 이해하려면, 우선 이 작고 투명한 모델부터 직접 만들어보는 것, 훌륭한 방법이 될 거라고 생각합니다.

AI의 시대에 진짜 배움은, 이렇게 작은 교실에서 다시 시작되는가 봅니다.

정책 최적화(Policy Optimization, PO) 알고리즘은 선호도 기반 피드백(Preference-based Feedback) 으로 AI 모델을 훈련하는 핵심 기술입니다. 최근 몇 주 사이에, 널리 쓰이던 PPO와 GRPO의 한계를 개선하거나 대체하려는 새로운 PO 기법들이 다수 등장했는데요. 오늘은 그 중에 주목할 만한 10가지 방법을 소개합니다:

Cursor 2.0이 새롭고 세련된 인터페이스로 돌아왔습니다. 이번에는 자체 개발한 최첨단 코딩 모델 ‘Composer’를 탑재했는데요, 기존 모델보다 4배 빠르고, 복잡한 코드베이스에서도 여러 단계를 거친 논리적 추론을 수행하도록 훈련되었습니다. 여기에 병렬 에이전트, 자동 테스트, 그리고 “파일 중심”에서 “결과 중심”으로 바뀐 UI까지 더해지면서, 이제 Cursor는 단순한 IDE를 넘어서 ‘협업형 코딩 플랫폼’으로 진화하고 있는 것 같네요.

앤쓰로픽 연구팀은 ‘Concept Injection(개념 주입 정도로 번역할까요)’이라는 기법을 사용해서 대형 언어모델이 스스로의 내부 상태를 인식할 수 있는지를 실험했습니다. 그 결과, Claude Opus 4.1과 4 모델은 특정한 층(Layer)에서 약 20%의 정확도로 주입된 개념을 감지했고, 입력 텍스트와 내부 ‘생각’을 구분하고, 출력이 의도된 것인지 여부를 스스로 판별할 수 있었습니다. 또 “지금 X에 대해 생각해봐”와 같은 프롬프트를 주면 내부 상태를 실제로 조절하기도 했습니다. 다만 이런 ‘내적 인식 능력’은 모델이나 상황에 따라 크게 달라졌다고 하고, 아직 불안정하고 다양한 방식으로 나타나는 초기 형태의 자기 인식으로 해석한다고 합니다. 글쎄요?

오픈AI가 새로운 자율형 보안 연구 에이전트 ‘Aardvark’를 발표했습니다. 현재는 비공개 베타 단계에 있는 이 시스템은 GPT-5 기반으로, 코드베이스를 끊임없이 순찰하면서 취약점을 찾아내고, 검증하고, 패치까지 수행합니다. 이미 여러 오픈소스 프로젝트에서 실제 CVE 취약점을 발견했다고 하고, 오픈AI의 내부 테스트에서도 그 실력을 입증했다고 합니다. 쉽게 말해서, 잠들지 않고 버그를 놓치지 않는 개발팀의 동료가 생긴 셈이라고나 할까요?

AI 안전 센터(Center for AI Safety)와 Scale AI가 공동으로 발표한 “Remote Labor Index”는, 원격 근무가 AI 자동화에 얼마나 영향을 받는지 측정한 흥미로운 벤치마크인데요. 실제 프리랜서 프로젝트 240건(23개 카테고리)을 분석했는데, 총 6,000시간 이상의 노동, 약 14만 달러 규모의 작업을 포함한다고 합니다. Manus와 Sonnet 4.5 같은 최신 AI 에이전트조차 자동화율이 2.5% 미만에 머물렀다고 하는데, 즉, 경제적 가치가 큰 원격 노동은 여전히 대부분 자동화되지 않은 상태라는 뜻입니다.

에이전트들이 실패한 이유로는 파일 손상(17.6%), 작업 미완성(35.7%), 품질 저하(45.6%)가 주요 원인으로 지적되었습니다. AI가 코드를 쓰고 보고서를 요약할 수 있게 되었더라도, ‘완성도 있고 책임 있는 노동’을 대체하기까지는 아직 갈 길이 멀다는 점을 보여주는 걸까요?

‘주목할 만한 최신의 AI 모델’을 먼저 소개하고, 각 영역별로 ‘Top Pick’은 해당 논문 앞에 별표(🌟)로 표시했습니다!

*리뷰를 남기시려면 로그인하시거나 구독해 주세요. 감사합니다!

읽어주셔서 감사합니다. 프리미엄 구독자가 되어주시면 튜링 포스트 코리아의 제작에 큰 도움이 됩니다!