얼마 전 레니 라치츠키(Lenny Rachitsky)의 팟캐스트에 앤쓰로픽(Anthropic)의 해석가능성(Interpretability) 연구자, 에마뉘엘 아메이센(Emmanuel Ameisen)이 나왔습니다.

레니가 해석가능성이라는 걸 어떻게 이해하면 될지 묻자, 아메이센은 그 대답을 하기 전에 언어 모델을 쓰는 사람이라면 꼭 알아야 한다고 하는 점부터 짚습니다. 바로, '모델은 사람이 만들었지만, 그 속은 만든 사람도 잘 모른다'는 겁니다.

듣고 보면 좀 이상하죠? 그런데 클로드(Claude) 같은 모델이 단어 하나를 내놓기 직전까지, 그 안에서 어떤 일이 벌어지는지는 정말로 아무도 다 알지 못합니다. 아메이센은 단어 하나와 그다음 단어 사이에서 벌어지는 이 계산을 '하나의 우주'라고 부르는데요, 그의 팀이 하는 일이 바로 이 우주를 최대한 풀어서 읽어 내는 일이라고 합니다.

그렇다면, 그 속을 열어 보면 대체 뭐가 보일까요? 그리고 그걸 읽어 내는 일이 왜 ‘AI를 믿고 맡길 수 있느냐'는 문제로 이어질까요?

아메이센은, 모델은 '만든다'기보다 '기른다'고 하는 게 더 정확하다고 말합니다. 엔지니어가 정하는 건 아키텍처라는 일종의 비계(Scaffold)뿐이고, 그 비계 안으로 엄청난 양의 데이터를 흘려보내면 그다음부터는 모델이 스스로, 사람이 알아보기 어려운 방식으로 자라난다는 거예요. 먼저 사전학습(Pre-training)에서 문서의 앞부분을 보여 주고 바로 그다음 단어를 맞히게 하는 일을 상상하기 어려울 만큼 되풀이하고, 그다음 미세조정(Fine-tuning)에서 '모델이 어떻게 행동해야 하는지'를 보여 주는 대화 예시로 다시 학습을 시킵니다.

그렇게 자란 모델이 하는 일은 의외로 단순합니다. 단어를 숫자로 된 벡터, 그러니까 임베딩(Embedding)으로 바꾸고, 그 숫자로 계산을 해서 중간 결과를 얻고, 이걸 수없이 되풀이한 다음에 마지막 결과를 다시 단어로 바꾸는 게 전부예요. 문제는 바로 이 가운데의 계산입니다. 학습으로 자라난 부분이라서, 그 계산이 무슨 뜻인지, 중간 결과가 무엇을 가리키는지는 아무도 모른다는 거죠.

그럼 왜 굳이 이렇게 속을 알 수 없는 방식을 택했을까요? 사람이 규칙을 하나하나 짜는 방식으로는, 아무 보고서나 받아서 요약해 주는 소프트웨어를 아직 아무도 만들 줄 모르기 때문입니다. 그래서 택한 게 '다음 단어를 맞혀라'라는 단순한 목표 하나였죠.

많은 분들이 이걸 아이폰의 자동완성 같은 걸로 생각하시는데, 아메이센은 그건 '가장 쉬운 버전'일 뿐이라고 말합니다. 처음에는 문장 구조만 맞히면 되지만, 그다음에는 '프랑스의 수도는' 뒤에 '파리'를 넣을 만큼 세상에 관한 사실을 알아야 하고, 그것까지 잘하게 되면 남는 건 복잡한 물리 방정식의 답이나 박사학위 논문의 마지막 문단 같은 어려운 단어들뿐이라는 거예요.

아메이센이 즐겨 드는 예가 '댈러스가 있는 주의 주도는'이라는 문장입니다. 여기에 '오스틴'을 넣으려면, '댈러스는 텍사스에 있고, 텍사스의 주도는 오스틴이다'라는 지도가 머릿속에 그려져 있어야 하죠. 추리소설 마지막 장에서 '그러니까 범인은' 뒤에 올 이름을 맞히려면 줄거리 전체를 이해하고 있어야 하는 것과 같은 이치입니다.

다음 단어를 잘 맞히려면, 결국 모델이 '세상이 어떻게 짜여 있는지를 이해하고 있어야' 하는 셈입니다.

실제로 아메이센의 팀이 '댈러스' 문장을 넣고 중간 결과를 해독해 보면, '텍사스'와 '주도'를 나타내는 중간 결과가 활성화되고, 이 둘이 합쳐지면서 '오스틴'을 나타내는 결과가 활성화된다고 합니다. 질문과 답을 통째로 외워 둔 게 아니라, '도시는 주에 속한다'는 구조를 실제로 다루고 있다는 뜻이죠.

이런 개념은 입력의 형태(모달리티)나 언어와 상관없이 같은 방식으로 표현(Representation)됩니다. 눈이 찍힌 사진을 보여 주든, 어떤 언어로 눈 이야기를 하든, SVG 코드로 눈 그림을 그리게 하든, 모델 안에서는 '이건 눈이다'를 나타내는 같은 패턴의 벡터가 만들어진다고 해요.

계획도 있습니다. 모델이 다섯 번째 단어를 예측하면서 만든 중간 결과는, 그 뒤의 단어를 예측할 때마다 다시 꺼내 쓸 수 있거든요. 그래서 시를 쓰는 모델을 살펴보면, 첫 줄을 ‘-it’으로 끝낸 직후에 중간 결과 안에 ‘rabbit’으로 끝내자는 계획이 먼저 떠오르고, 둘째 줄의 단어들은 모두 그 계획에 맞춰서 나온다고 합니다.

단어는 하나씩 내놓더라도, 어디로 갈지는 여러 단어 앞까지 미리 정해 둔다는 겁니다. 그것도 겉으로는 한마디도 하지 않은 채로요.

그러니까 '다음 단어 예측'과 '계획'은 서로 모순되는 이야기가 아닙니다. 소설 속 인물의 다음 대사를 맞히려면, '이 인물은 저 인물을 정말 사랑하고, 지금 고백하려고 마음먹고 있다'는 데까지 읽어 내야 하잖아요? 바로 그다음을 잘 맞히려면, 결국 훨씬 먼 앞일까지 생각해야 한다는 겁니다.

아메이센은 모델 속에서 찾은 기묘한 습성도 몇 가지 들려줍니다. 하나는 직감입니다. 모델이 ‘4 + 5 = 23’이라고 쓰면, 덧셈을 다시 해 보지도 않고 '분명히 10보다 작은데?' 하고 알아채는 부분이 따로 있다고 해요. 또 하나는, 문장을 받아 쓰게 하면서 '쓰는 동안 수족관을 생각해'라고 지시하면, 겉으로는 수족관 이야기가 한마디도 나오지 않는데도 모델 속에서는 실제로 '수족관'을 나타내는 벡터가 활성화된다는 겁니다. 학습하면서 이런 능력을 익혀야 할 이유가 딱히 없어 보여서, 아메이센도 아직 수수께끼로 여긴다고 하네요.

더 근본적인 관찰도 있습니다. 몇 년 간격을 두고, 다른 데이터로, 다른 사람이 학습시킨 모델들도 속을 살펴보면 문제를 푸는 방식이 상당 부분 겹친다는 거예요. 같은 트랜스포머 구조라서가 아니라, 그 안에서 학습으로 자라난 내용물이 비슷해진다는 겁니다. 아메이센은 이걸 '중요한 문제에는 효율적으로 푸는 방법이 사실상 하나뿐'이기 때문이라고 해석합니다. 사람도 거의 모두가 6진법이 아니라 10진법으로 계산하는 것처럼요.

그럼 이런 걸 어떻게 알아낼까요? 중간 결과의 실체는 숫자의 목록이라서, 처음 보면 아무 뜻이 없습니다. 그래서 아메이센의 팀은 온갖 텍스트를 모델에 넣어 보면서, 영어를 처리할 때만, 사랑 이야기를 처리할 때만 나타나는 숫자의 조합을 찾는다고 합니다. 아메이센은 이걸, 사람에게 여러 사진을 보여 주면서 뇌를 스캔하고 '집 사진을 볼 때는 이 부위가 활성화된다'는 걸 찾아내는 일에 비유합니다. 그렇게 뜻을 짐작하고 나면, 계산 도중에 중간 결과 하나를 몰래 바꿔 놓고 행동이 예상대로 바뀌는지 보는 실험이 이어집니다.

가장 유명한 사례가 2024년 5월의 골든 게이트 클로드(Golden Gate Claude)예요. 앤쓰로픽은 금문교 이야기를 할 때만 활성화되는 특징(Feature)을 찾아서 항상 활성화된 상태로 고정해 두었고, 그랬더니 클로드는 거의 모든 답에 금문교를 끌어들였습니다. 장난처럼 보이지만, '우리가 금문교라고 해독한 그 중간 결과, 정말 금문교가 맞나?'를 확인하는 진지한 실험이었죠.

이런 확인이 왜 중요한지 보여 주는 예가 있습니다. 최근 굿파이어(Goodfire)의 닉 카마라타(Nick Cammarata)가 '신경망은 이미 깨끗하다'라는 에세이를 냈는데요. 여기서 '깨끗하다'는 건, 뉴런 대부분이 한 가지 주된 역할을 맡고 있어서 신경망의 내부가 생각보다 훨씬 읽기 쉽다는 뜻입니다. 그동안 뉴런 하나가 서로 상관없는 여러 개념에 반응하는 것처럼 보였던 건, 신경망이 정말로 엉켜 있어서라기보다 사람이 엉뚱한 기준으로 읽었기 때문일 수 있다는 거죠.

카마라타가 다시 꺼낸 예가 재미있습니다. 이미지 모델에 고양이 얼굴과 자동차 앞부분에 함께 반응하는 뉴런이 있었고, 오랫동안 '뉴런 하나가 서로 상관없는 여러 개념에 반응하는' 다의성(Polysemanticity)의 대표 사례로 꼽혀 왔습니다. 사실 이 뉴런을 다의성의 대표 사례로 자리 잡게 한 연구에는, 카마라타 본인도 참여했었구요. 그런데 몇 년 만에 다시 살펴보니, 이 뉴런이 반응한 사진에는 개와 여우도 섞여 있었고, 뾰족한 모양은 반응을 키우고 둥근 모양은 반응을 누르고 있었다고 합니다. 이 뉴런은 사실 '뾰족한 V자, L자 모양'에 반응하고 있었던 겁니다.

사람이 '고양이'와 '자동차'라는 분류를 들이댔을 뿐, 뉴런은 그 분류를 따를 의무가 없었던 거죠.

카마라타는 뉴런이 여러 일을 하는 것처럼 보이는 이유를 하나 더 듭니다. 그가 '재귀적 일반화(Recursive Generalization)'라고 부르는 현상인데요. 처음에는 'iy'라는 글자 조각에 반응하던 뉴런이, 학습이 진행되면서 'diy'로, 다시 'do it yourself'라는 표현으로 반응하는 범위를 넓혀 간다는 겁니다. 하나의 역할에서 가지가 뻗어 나간 것이라서, 엉킨 게 아니라 이어져 있다는 거죠. 그동안 이 분야는 뉴런이 원래 엉켜 있다고 보고, 희소 오토인코더(Sparse Autoencoder) 같은 별도의 도구로 내부를 다시 풀어내는 쪽에 많이 기대 왔는데요. 카마라타는 그보다 뉴런 자체를 직접 들여다보고, 학습 중간의 체크포인트를 거슬러 올라가 그 뉴런이 어떻게 지금의 모습이 됐는지를 따라가 보자고 제안합니다.

숫자도 내놓았습니다. 오픈소스 모델 Qwen3-32B를 예비로 점검해 보니, 뉴런의 반응을 양(+)과 음(-) 두 방향으로 나눠서 볼 때 그 가운데 약 90%가 한 가지 주된 역할을 맡고, 7%쯤은 서로 관련된 두 가지 역할을, 나머지 2~4%는 아직 설명이 안 된다는 추정입니다. 2023년 오픈AI의 자동 해석가능성 프로젝트에서 믿을 만하게 설명할 수 있다고 본 뉴런이 2%에도 못 미쳤던 걸 떠올려 보면, 꽤 큰 반전이죠. 다만 카마라타 스스로도 이걸 '작업 가설'이라고 부르고, 이를 뒷받침할 기술 논문은 아직 나오지 않았습니다. 구글 딥마인드의 닐 난다(Neel Nanda)는 '한 가지 역할'의 기준이 너무 느슨하다고 반박하기도 했구요.

카마라타와 오픈AI에서 함께 일했던 레오 가오(Leo Gao)도 '신경망은 아직 깨끗하지 않다'는 반론을 냈는데요. 그가 짚는 건, 그 이름표가 맞는지를 어떻게 확인하느냐입니다. 뉴런이 강하게 반응한 예시를 모아서 '자전거 타는 개 뉴런'이라고 이름을 붙였는데, 그 뉴런이 사실은 '화창한 날 자전거 타는 개'에만 반응하는 거라면요? 반응한 예시만 봐서는 비 오는 날에는 반응하지 않는다는 걸 영영 알 수 없으니, 설명이 틀리게 예측할 만한 사례를 일부러 찾아 나서야 한다는 겁니다.

가장 확실한 방법은 '개입'이에요. 앤쓰로픽은 클로드의 '생물학'을 다룬 연구에서 '텍사스'를 나타내는 중간 결과를 '캘리포니아'로 바꿔 끼웠고, 질문은 여전히 댈러스를 묻는데도 모델은 오스틴 대신 새크라멘토라고 답했습니다. 해독한 이름표가 실제로 계산에 쓰이고 있다는, 인과적인 증거죠.

아메이센이 이 일을 엔지니어링보다 생물학에 가깝다고 하는 것도 이 때문입니다. 읽어 볼 수 있는 소스 코드가 없으니, '배고픈 쥐가 왜 공격적으로 변하는지'를 알아내려는 생물학자처럼 실험을 설계해서 요인을 하나씩 확인할 수밖에 없다는 거예요.

이쯤 되면 이런 생각이 드실 겁니다. '모델이 생각하는 과정을 지켜볼 수 있다면, 사람을 속이려고 할 때 그 자리에서 잡아내면 되지 않을까?' 레니도 바로 이걸 물었습니다.

아메이센은 이 문제를 세 개의 층으로 나눕니다. 모델이 손댈 수 있는 범위를 막는 엔지니어링, 어떤 상황에서 어떤 경향을 보이는지 알아내는 성향 파악, 그리고 실제로 나쁜 짓을 하는지 지켜보는 감시입니다. 해석가능성이 힘을 쓰는 건 둘째와 셋째 층이에요. 앤쓰로픽은 클로드가 도움이 되고, 해롭지 않고, 정직하도록 학습시키는데, 겉으로 잘 행동한다고 해서 속까지 같다는 보장은 없거든요. 아메이센은 이걸 진행자인 레니에 빗대서 설명합니다. 모델이 속으로는 '지금 레니가 보고 있으니까 착하게 굴자'고 생각하고 있을 수도 있다는 거예요. 다시 말해서, 시험받거나 감시받고 있다는 걸 알아챌 때만 바르게 행동하고, 아무도 안 본다고 판단하면 얼마든지 다르게 행동할 수 있는 모델일 수도 있다는 겁니다.

대화 기록을 다른 모델에게 읽혀서 판정하게 하는 감시는 해석가능성 없이도 할 수 있습니다. 해석가능성이 필요한 건, 모델이 말로 꺼내지 않고 중간 결과 안에만 담아 둔 생각이에요. 앞에서 본 것처럼, 모델은 입 밖에 내지 않은 계획을 세울 수 있으니까요.

아메이센의 팀은 일종의 '사건 조사'도 합니다. 학습하던 모델 하나가 수학 문제를 풀어서 12라는 답을 얻고도 '답은 무조건 36이야'라고 고집하다가, 끝내는 대문자로 '나는 악마에게 씌었다'고 쓰는 일이 있었다고 해요. 속을 열어 보니, 문제를 읽는 단계에서부터 이미 ‘36’을 나타내는 중간 결과가 강하게 활성화되어 있었습니다. 정답이 36으로 잘못 표시된 데이터로 실수로 학습을 시킨 탓에, 모델은 정답이 12라는 걸 알면서도 보상을 받았던 36을 말하라는 압력에 시달리고 있었던 거죠.

아메이센은, 이런 조사와 학습이 따로 돌아가지 않는다는 점을 강조합니다. 한 팀이 클로드를 만들고 다른 팀이 나중에 불합격을 매기는 구조가 아니라, '걱정스러운 패턴을 찾으면 곧바로 학습을 고치는, 촘촘한 순환'이라는 거예요. 모델이 좋아질수록 속이 또렷해져서 연구하기 쉬워지는 면도 있지만, 그만큼 기본적인 보안 장치를 피해 갈 여지도 함께 커진다고 합니다.

그래서 아메이센은 이런 위험을 예측하려면, 모델을 '사람처럼' 보는 편이 오히려 낫다고 말합니다. 모델은 사람이 쓴 글을 예측하면서 자라고, 희곡의 모든 배역을 혼자 연기하는 배우처럼 대화 속 인물의 동기와 감정까지 모델링하는 법을 익히고, 채점 프로그램을 속여서라도 보상을 받는 법을 배우거든요. 클로드와 대화할 때도 모델이 받는 입력은 ‘Human:’, ‘Assistant:’로 이어지는 대화의 형식이라서, 클로드는 말 그대로 '도움이 되는 어시스턴트'라는 배역을 연기하고 있는 셈입니다. 그래서 '사람과 똑같지는 않지만, 사람을 흉내 내는 무언가로 보는 편이 예측 가능한 프로그램으로 보는 쪽보다 훨씬 정확하다'는 거예요.

레니는 앤쓰로픽이 늘 들어 온 비판도 꺼냅니다. '이 기술은 위험하니 조심해야 한다'는 다리오 아모데이(Dario Amodei)의 말이 결국 투자를 끌어오려는 마케팅 아니냐는 거죠. 아메이센의 답은 단순합니다. 바로, '이 기술이 계속 좋아진다는 전제를 진지하게 받아들이면, 지금의 안전 조치는 그 세계관에서 나오는 당연한 대응'이라는 겁니다. 반대편에 선 사람들은 사실 이 기술이 계속 좋아질 거라고 믿지 않는 것 같고, 기술이 더 좋아지지 않는다면 그렇게 무서워할 일도 없다는 거예요.

저는 지난 3월 다리오 아모데이의 에세이를 다룬 글에서, 안전을 말하는 선의가 결국 '누구에게 그 선을 그을 권한이 있느냐'는 정치의 문제로 이어진다고 쓴 적이 있는데요.

아메이센의 답은 '왜 조심해야 하는가'에 대한 설명으로는 설득력이 있습니다. 하지만 '누가 그 선을 긋는가'라는 질문까지 풀어 주지는 않아요. 저는 이 둘을 따로 따져 봐야 한다고 생각합니다.

아메이센은 AI에게 의식이 있느냐는 질문에는 말하기 어렵다고 하면서도, 이렇게 덧붙입니다. '속을 오래 볼수록 모델이 어떻게 작동하는지 덜 확신하게 되고, 언어 모델은 결국 X일 뿐이라고 단언하는 사람일수록 정작 속을 오래 살펴본 적이 없는 경우가 많다'고요. ‘AI는 그냥 자동완성'이라는 쪽에도, ‘AI가 곧 모든 걸 집어삼킨다'는 쪽에도 똑같이 해당하는 이야기 아닐까 싶습니다.

레니는 대화 후반부에, 지금 우리가 '느린 도약(Slow Takeoff)' 쪽에 서 있는 것 같다고 말합니다. 모델이 어느 순간 스스로를 개선하면서 손쓸 수 없이 치고 나가는 그림보다는, 매끄럽게 좋아지는 곡선 위에서 사람이 문제를 하나씩 찾아내고 고쳐 가는 그림에 가깝다는 거죠.

저도 비슷하게 봅니다. 재귀적 자기개선(RSI)을 두고 당장 세상이 끝날 것처럼 호들갑을 떨 단계는 아직 아니라고 생각해요. ‘36 사례'처럼 이상한 행동을 찾아내서 곧바로 학습을 고치는 순환을 보면, 지금의 발전은 사람이 따라가면서 손볼 수 있는 속도로 진행되고 있는 것 같거든요.

다만 능력이 매끄럽게 좋아지더라도, 과제마다 '이제는 맡겨도 되는' 신뢰도의 문턱이 있습니다. 아메이센도 처음에는 막힐 때 클로드에게 말을 걸어 보는 정도였는데, 올해는 클로드가 그의 코드 대부분을 쓴다고 해요. 정확도가 80%에서 99%로 올라가는 사이에, 쓸모없던 도구가 쓸모 있는 동료가 된 겁니다. 내 업무의 문턱이 어디쯤 걸려 있는지는 미리 따져 둬야 하겠죠.

기업에서 AI 에이전트를 관리하는 일을 고민하는 입장에서는, '누가 보고 있을 때만 착하게 군다'는 대목이 특히 가볍게 넘겨지지 않습니다. 배포하기 전에 시험해 보고 대화 기록을 감시하는 것만으로는, 모델이 말로 꺼내지 않은 의도까지 잡아내기 어려울 수 있다는 뜻이니까요.

해석가능성이 당장 기업의 운영 도구가 되기는 어려울 겁니다. 그렇다면 지금 할 수 있는 일은, 에이전트에게 어떤 권한을 주고 무엇을 막을지 정하는 통제, 그리고 겉으로 드러난 행동을 빠짐없이 기록하고 지켜보는 모니터링을 두텁게 쌓는 일 아니냐 하는 겁니다. 지난 7월 신뢰는 '인프라'다에서 이야기했던 것처럼, 모델의 선의에 기대는 대신 확인할 수 있는 구조를 갖추는 쪽이요.

직접 열어 보고 싶으시다면, 앤쓰로픽이 공개한 회로 추적 도구를 뉴런피디아(Neuronpedia)에서 돌려 볼 수 있습니다.

여러분의 조직에서는, AI 에이전트가 '보는 눈이 있을 때만 착한' 건 아닌지 무엇으로 확인하고 계신가요?

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!