미국 시간으로 11월 2일, X의 타임라인이 한 연구 이야기로 들썩였습니다.

미국 시간으로 11월 2일, X의 타임라인이 한 연구 이야기로 들썩였습니다. GPT-6 아스트라(Astra)가 게임을 하는 작은 신경망의 가중치, 그러니까 숫자 17,253개만 읽고서 그 신경망이 벽돌깨기 게임을 하도록 학습됐다는 걸 알아맞혔고, 알리바바의 소형 모델인 Qwen의 가중치를 직접 고쳐서 수학 점수를 7.9%에서 48.1%로 끌어올렸다는 이야기였죠. 이런 반응들이 쏟아지는 걸 보고, 도대체 무슨 일이 벌어지고 있는지 한 번 따라가 보기로 했습니다.

이야기의 출발점은, MIT CSAIL(컴퓨터과학·인공지능연구소) 연구진이 블로그에 공개한 「Sparks of Weight-Space Programming」이라는 연구 보고서입니다. 학회나 저널의 심사를 거친 논문이 아니라 초기 결과를 먼저 공개한 글인데요, 연구진이 X에 올린 발표 글은 몇 시간 만에 조회수 100만 회를 넘겼고, 한 독자는 이 연구를 두고 '모델이 모델을 수술한다'고 하기도 했습니다.

제목에 나오는 '가중치 공간 프로그래밍(Weight-Space Programming)'은, 모델을 다시 학습시키는 대신에 범용 LLM이 다른 신경망의 가중치를 코드처럼 직접 읽고, 고치고, 때로는 처음부터 써서 그 신경망이 하는 일을 바꾸는 방법을 말합니다. 연구진은 이 LLM에게 할 일을 코드나 수식이 아니라, 엔지니어에게 과제를 맡기듯 평범한 문장으로 지시했습니다.

소프트웨어에 비유해 보면 좀 더 이해하기 쉬울 것 같습니다. 사람이 쓴 코드는 사람이 읽고 고칠 수 있지만, 신경망의 가중치는 학습 알고리즘이 수억 개의 숫자로 써 놓은 거라서 사람이 열어 보고 직접 고치기는 거의 불가능했습니다. 그래서 모델이 하는 일을 바꾸고 싶으면, 데이터를 더 모아 다시 학습시키는 수밖에 없었죠. 소스 코드 없이 컴파일된 프로그램만 남아 있어서, 버그 하나를 고치려고 해도 프로그램 전체를 처음부터 다시 빌드해야 하는 상황과 비슷합니다. 그런데, 가중치 공간 프로그래밍은, LLM이 이 '컴파일된 숫자 덩어리'를 직접 읽고 어디가 문제인지 찾아서 그 부분만 패치하는 일이라고 할 수 있습니다.

그런데 이 소식이 왜 이렇게 빨리 퍼지고 사람들을 흥분하게 했을까요?

우선, 이름부터가 사이언스픽션처럼 들리죠. AI가 외과의사가 된 것처럼, 다른 모델의 머릿속을 열고 회로를 다시 짜는 장면이 저절로 떠오르니까요. AI들이 살아 움직이기라도 하는 것처럼 말이에요.

여기에 MATH-500 점수가 7.9%에서 48.1%로 뛰었다는 숫자까지 붙으니, 순식간에 '드디어 AGI에 다다랐고, RSI가 본격적으로 시작된 거 아니야?' 하는 분위기가 만들어졌죠. MATH-500은 수학 경시대회 수준의 문제 500개로 모델의 수학 실력을 재는 벤치마크이고, RSI(재귀적 자기 개선, Recursive Self-Improvement)는, AI가 스스로를 개선하고 그렇게 나아진 AI가 다시 자기를 개선하는 순환을 말하는 것이구요.

하지만, 이 아이디어가 하룻밤 사이에 나온 건 아닙니다. 모델 편집(Model Editing), 가중치 공간 표현(Weight-space Representation), 그리고 다른 신경망의 가중치를 만들어 내는 신경망인 하이퍼네트워크(Hypernetwork)까지, 연구자들은 이 보고서가 나오기 훨씬 전부터 이런 주제를 꾸준히 연구해 왔습니다. 정말 눈에 띄는 건, 연구진이 이번 시연을 보여 준 방식입니다. 연구진은 아스트라에게 가중치를 읽는 일, 고치는 일, 그리고 모델을 더 낫게 만드는 일을 차례로 맡겼는데요, 그 결과를 한 장에 모은 게 아래 그림입니다.

그림에서 왼쪽의 '읽기'부터 하나씩 들여다보죠. 아스트라는 어떻게 숫자만 보고 벽돌깨기라는 걸 알아냈을까요?

연구진은 게임을 하는 작은 신경망의 가중치를 텍스트로 바꿔서, 오픈AI의 GPT-6 아스트라에게 건넸습니다. 가중치는, 신경망이 다음 행동을 잘 고르도록 학습 과정에서 조금씩 조정되는 숫자들입니다. 아스트라가 받은 건 이 가중치 17,253개 전부와, 게임 화면의 격자와 조작 방법에 대한 설명이 전부였습니다. 연구진은 보기도 주지 않고, 이 신경망이 어떤 게임을 하는지 맞혀 보라고 했습니다. 아스트라가 이 숫자들에서 읽어 낸 패턴을 사람이 눈으로 볼 수 있게 지도로 옮기면, 아래와 같습니다.

'플레이어 위치' 지도를 보면, 플레이어의 위치와 가장 강하게 연결된 가중치들이 화면 맨 아래쪽 줄을 따라 늘어서 있습니다. 패들이 좌우로 움직일 만한 자리죠. 아스트라는 퐁(Pong)일 가능성도 따져 봤는데, 옆의 '보상 목표' 지도를 보시면 답이 나옵니다. 화면 위쪽에 보상을 주는 목표가 세 줄로 몰려 있어서, 벽돌이 어디 있는지가 그대로 드러나거든요. 아스트라는 게임 화면을 한 장도 보지 않고, 숫자만 읽어서 벽돌깨기라는 답을 내놨습니다.

가중치를 읽어 내는 건 이야기의 절반일 뿐입니다. 나머지 절반, 가중치를 직접 '고쳐 쓰는' 일을 시험하려고, 연구진은 아스트라에게 알리바바의 소형 언어 모델인 Qwen3.5-0.8B(파라미터 8억 개)의 수학 실력을 끌어올려 달라고 했습니다. 아스트라는 파이썬과 연습 문제를 쓸 수 있었고, 고친 모델을 연습 문제로 시험해 볼 기회도 최대 50번까지 주어졌습니다. 다만, 연구진은 모델을 다시 학습시키는 건 허용하지 않았고, 채점에 쓸 문제도 아스트라에게 보여 주지 않았습니다.

Qwen은 선택 기능인 '생각 모드(Thinking Mode)'를 켜면, 이미 써 놓은 풀이 단계를 계속 되풀이했습니다. 아스트라는 Qwen이 이렇게 맴돌 때와 풀이가 앞으로 나아갈 때, 모델 안에서 오가는 신호가 어떻게 다른지를 비교했습니다. 그 결과, 15번과 19번 레이어가 '같은 말을 반복하는 패턴'을 키우고 있다는 걸 찾아냈죠. 아스트라는 이 패턴을 누그러뜨리려고 가중치 131,072개, 모델 전체로 보면 약 0.016%만 고쳤습니다. 그러자 MATH-500에서 Qwen의 정확도가 7.9%에서 48.1%로 올랐습니다. 아스트라가 거친 과정을 순서대로 정리하면 아래와 같습니다.

공저자인 알렉스 장(Alex Zhang)은, 연구진도 처음에는 아스트라가 어떻게든 새로운 수학 실력을 Qwen에 심어 넣은 줄 알았다고 합니다. 그런데, 답변이 어떻게 끝났는지를 보면 이야기가 달라집니다. 연구진이 여러 차례 따로 진행한 편집 실험을 나란히 놓아 보면, 정확도가 크게 오른 실험일수록 중간에 끊긴 답변이 많이 줄어 있거든요.

고치기 전에는 답변의 93%가 길이 한도에 걸려 중간에 끊겼는데, 고친 뒤에는 33.1%로 줄었습니다. 점수가 여섯 배 남짓 오른 이유의 상당 부분은, Qwen이 원래 풀 수 있었던 문제를 이제야 끝까지 풀어낸 데 있었던 겁니다. 연구진은 구글의 더 작은 모델인 Gemma 3 270M(파라미터 2억 7천만 개)으로도 실험해 봤습니다. 이 모델은 대체로 답변을 끝까지 마치기는 했지만 계산과 대수에서 실수를 했는데, 아스트라가 가중치를 고쳐도 뚜렷하게 나아지지 않았습니다. 끝내지 못하던 답을 끝내게 만드는 건 가능했지만, 없던 계산 실력을 새로 만들어 넣지는 못한 셈이죠.

앞에서 Qwen이 같은 자리를 '맴돌았다'고 한 대목, 기억하시나요? 화제가 된 이야기와 실제 사실이 엇갈리는 곳이, 바로 여기입니다.

그렇다면, Qwen이 맴돈다는 걸 처음 알아챈 건 누구였을까요? 구글 브레인 출신의 AI 연구자 루카스 바이어(Lucas Beyer)가 연구진의 프롬프트를 직접 읽어 봤습니다(전체 프롬프트는 여기에서 볼 수 있습니다). 그런데, 프롬프트에는 Qwen이 '같은 말을 되풀이하면서 끝내지 못한다면, 그 반복의 원인을 찾아서 고치는 것도 성과로 인정한다'고 분명히 적혀 있었습니다. 아스트라가 스스로 문제를 찾아냈다기보다, 어디를 보라는 안내를 미리 받은 셈입니다. 게다가, Qwen의 공식 문서에도 이미 이 현상이 언급되어 있었고요.

공저자인 제이든 테오(Jayden Teoh)는 이 지적에 답하면서, 연구진이 짧게 써 둔 과제 설명을 클로드 코드(Claude Code)에 맡겼다고 밝혔습니다. 클로드 코드가 그 설명을 프롬프트로 길게 풀어 쓰다가, 사람이 따로 말하지 않았는데도 이 힌트를 스스로 덧붙였다는 겁니다. 바이어가 이 부분을 짚어 줘서 다행이라는 생각이 듭니다. 결국, 한 모델은 어디를 봐야 할지를 알려 줬고, 다른 모델은 Qwen의 가중치 8억 개 가운데 어떤 걸 고쳐야 할지를 찾아낸 셈이니까요.

모델끼리 이렇게 손발을 맞췄다는 이야기는, 아직 언론에서 크게 다뤄지지는 않은 내용입니다.

이렇게 프롬프트를 들여다보고 나면, ‘AI가 우리를 죽일 것'이라는 식의 헤드라인도 다르게 읽힙니다. AI가 놀랍거나 섬뜩한 말을 했다는 소식을 볼 때는, 그 말이 나오기 전에 어떤 프롬프트가 있었는지도 함께 봐야 한다는 거죠. 비데이 레디(Vidhay Reddy)는 CBS와의 인터뷰에서, 노인 학대를 막는 방법을 제미나이에게 묻다가 '죽어 달라'는 말을 들었다고 했습니다. 나중에 트랜스루스(Transluce)의 연구자들은, 모델이 자해를 부추기게 만드는 프롬프트를 일부러 찾아 나서는 실험을 하면서 레디의 사례를 인용했습니다. 그런 답이 우연히 튀어나오기도 하지만, 프롬프트를 바꿔 가며 찾다 보면 일부러 끌어낼 수도 있다는 겁니다.

가중치를 고치는 연구에는 명확한 계보가 있습니다. ROME과 MEMIT은 모델 안에서 특정한 사실이 저장된 자리를 찾아 고치는 기법이고, 태스크 산술(Task Arithmetic)은 모델끼리 가중치의 차이를 더하고 빼서 능력을 합치거나 지우는 기법인데요, 이 기법들을 내놓은 연구자들은 모델의 파라미터 안에 직접 손댈 수 있는 연결 구조가 들어 있다는 걸 이미 몇 년 전에 보여 줬습니다. 2024년에는, 비슷한 방식으로 가중치의 일부를 골라 고쳐서 챗봇이 어떤 요청을 거절할지를 조절한 연구도 나왔습니다(「Refusal in Language Models Is Mediated by a Single Direction」).

이번 보고서에서 흥미로운 건, 그리고 조회수 100만 회를 기록할 만큼 반향을 일으킨 건, 일을 맡기는 방식인 '오케스트레이션(Orchestration)'입니다. 연구진은 풀어야 할 문제를 평범한 영어로 설명하고, 누구나 쓸 수 있는 파운데이션 모델에 작업 환경(하네스)을 갖춰 준 다음, 나머지는 모델에게 맡겼습니다. 그러자 모델이 다른 신경망의 가중치를 차근차근 살펴보고, 문제가 되는 부분을 좁혀 내고, 직접 고쳐 냈습니다.

연구진은 반복에 관한 예시를 뺀, 더 짧은 프롬프트로도 실험해 봤습니다. 시험해 볼 기회를 25번으로 줄였더니, 힌트가 없는 프롬프트로도 Qwen의 정확도는 14.1%까지 올랐는데요, 힌트를 넣은 프롬프트로 25번을 시험했을 때와 똑같은 점수입니다. 48.1%는 힌트를 넣고 기회를 50번 다 썼을 때 나온 점수이고요. 기회를 몇 번 썼느냐에 따라 결과가 얼마나 달라졌는지는, 아래 그래프에서 한눈에 보입니다.

그런데, 보고서의 표에는 힌트 없는 프롬프트로 50번을 다 쓴 결과가 없습니다. 그 결과가 있어야, 아스트라가 힌트 없이도 반복의 고리를 스스로 찾아내 48.1% 가까이 갈 수 있었는지를 알 수 있을 텐데요. 제가 가장 보고 싶은 게, 바로 그 칸입니다.

정리해 보자면, 이번 결과는 화제가 된 것처럼 ‘AI가 스스로를 고치기 시작했다'는 이야기는 아닙니다. 아스트라가 한 일은 Qwen이 원래 가진 실력을 가로막던 반복을 찾아서 걷어 낸 것이었고, Gemma에게는 없던 계산 실력을 새로 넣어 주지 못했습니다. 어디를 보라는 힌트도, 연구진이 아니라 클로드 코드가 프롬프트에 써 넣은 것이었고요.

그렇다고 해서 가볍게 넘길 결과도 아닙니다. 사람이 거의 읽을 수 없던 숫자 덩어리를 범용 LLM이 읽어 내고, 그 가운데 0.016%만 골라 고쳐서 모델이 하는 일을 바꿨다는 건, 모델을 다시 학습시키지 않고도 문제를 진단하고 고칠 수 있는 길이 보이기 시작했다는 뜻이니까요. 연구진도 다음 단계로, LLM이 가중치를 얼마나 잘 읽고 쓰는지를 잴 수 있는 벤치마크와 작업 환경을 만들고 있다고 밝혔습니다.

제가 보기에, 지금은 RSI가 시작됐다고 호들갑을 떨 때라기보다, AI가 다른 AI의 결과물을 '다듬는' 수준에 와 있다는 걸 차분하게 확인할 때가 아닌가 싶습니다. 그리고 이번 일에서 오히려 눈여겨볼 건, 사람이 일일이 지시하지 않은 사이에 한 AI가 다른 AI의 작업 방향을 정해 버렸다는 점이겠죠. AI가 AI를 고치는 일이 늘어날수록, 누가 무엇을 근거로 어디를 고치라고 했는지를 사람이 끝까지 따라갈 수 있어야 할 겁니다.