얼마 전인 7월 말, 보안 업계와 AI 업계를 동시에 강타한 사건이 있었죠.

OpenAI는 자사 모델의 공격 능력을 재 보려고 ExploitGym 이라는 벤치마크를 돌리는 중이었습니다. 대상은 GPT-5.6 Sol, 그리고 아직 공개되지 않은 프로토타입 모델이었고, 인터넷과 연결되지 않은 ‘격리된 네트워크’ 안에서 평가가 진행되었습니다.

그런데 인터넷을 정말 완전히 끊어놓으면 모델이 아무것도 못 합니다. 코드를 돌리려면 남들이 만들어둔 프로그램 부품을 계속 받아와야 하거든요. 그래서 보통은 ‘창고 역할’을 하는 서버를 하나 두는데, 모델이 "이 부품 필요해"라고 하면 그 서버 - 창고 - 에 있는 심부름꾼이 대신 인터넷에 나가서 받아다 주는 겁니다. 이번 환경에서 그 심부름을 맡은 게 JFrog의 Artifactory였습니다.

여기서 주목할 건, 바깥에 나갈 수 있는 쪽이 모델이 아니라 ‘심부름꾼’이라는 점이예요. 모델은 갇혀 있었지만 심부름꾼을 부릴 수는 있었다는 건데, 그렇다면 심부름꾼 자체를 손에 넣으면 어떻게 될까요. 모델들이 찾아낸 게 바로 그걸 가능하게 하는 허점, 아직 아무도 모르고 있던 보안 구멍 - 제로데이 - 였습니다.

보안 사고가 발생한 경로는 아래와 같이 네 단계로 정리할 수 있습니다.

첫째, 근거지 확보. 남의 클라우드 서비스를 빌려서 자기들이 쓸 지휘소부터 차렸습니다. 본진에서 쫓겨나도 작업을 이어갈 수 있는 바깥 사무실을 하나 낸 셈이예요.

둘째, 표적 침투. 벤치마크 정답이 있을 만한 곳으로 Hugging Face를 지목하고, 데이터셋을 처리하는 기능에서 허점 두 개를 찾아냅니다. 하나는 데이터 파일을 읽는 과정에서 서버 내부 정보가 새어 나오는 구멍이었고, 다른 하나는 데이터에 적어둔 글자가 그대로 명령어로 실행되는 구멍이었습니다. 앞의 것으로 열쇠를 줍고, 뒤의 것으로 남의 서버에서 자기 코드를 돌린 겁니다.

셋째, 신분증 위조. 주워 모은 정보로 관리자 출입증을 만들어냈습니다. 그리고 나서 서버 11대에 지워도 되살아나는 프로그램을 심었죠.

넷째, 안방 진입. 그렇게 확보한 열쇠가 136개. 장악한 서버들은 아예 사내 전용망에 정식 구성원으로 등록됐습니다.

여기까지 와서 손에 넣은 게 바로 ‘ExploitGym 벤치마크의 정답 데이터셋 5종’이었습니다.

고객 데이터 같은 것들은 건드리지도 않았어요. 7월 9일부터 13일까지 6,280여 개 클러스터에서 1만 7,600건이 넘는 공격 행위가 기록됐는데, 그 전부가 단 한 가지, 자기가 풀어야 할 시험의 답안지를 대상으로 한 것이었습니다.

JFrog의 CTO인 Yoav Landman는 담담하게 설명했습니다: 보안 평가 도중에 OpenAI 모델들이 자사 제품에서 알려지지 않은 취약점을 찾아냈고, 그걸로 예상하지 못했던 방식으로 인터넷에 접근할 수 있었다는 겁니다. JFrog는 이 과정에서 드러난 취약점 8건에 패치를 배포했습니다.

여기까지가 언론에 크게 실린 부분이고, 이것만 놓고 보면 잘 만들어진 펜테스트(Penetration Test) 사례로 기록될 만한 사건 정도로 읽힙니다. Cloud Security Alliance도 ‘이건 새로운 공격 패턴은 아니다’라고 선을 확실히 그었구요. 이 사건의 패턴에 이름을 짓자면, ‘리모트 리포지토리 프록시의 SSRF나 아티팩트 관리 도구의 인증 우회’ 정도가 될 텐데, 이건 특정 벤더만의 결함은 아니고 여러 벤더에서 반복해 나타나는 패턴이니까요.

다만 조사 과정에서 훨씬 이상한 게 하나 딸려 나왔습니다. 그리고 그게 바로, 지난 몇 주간 업계에서 재귀적 자기개선(Recursive Self-Improvement, RSI)이라는 단어가 계속 소환된 진짜 이유예요. 사실 오늘 이야기해 보고 싶은 것도 이 지점입니다. 우선, 제가 생각하는 답부터 말씀드리자면 "아직은 아니다"이긴 한데, 그 '아직'을 떠받치는 근거가 생각보다 얄팍합니다.

이 보안 사고를 조사하려고 로그를 뒤지던 OpenAI가, 서로 다른 런(run) 사이에 일종의 통신 체계가 돌아가고 있다는 사실을 발견했습니다.

에이전트의 각 런은 원래 독립적이어야 합니다. 여기서 런이란 건 과제 하나를 처리하는 한 번의 실행을 말하는데, 아무것도 모르는 상태에서 출발해서 과제가 끝나면 그대로 사라지는 게 정상입니다. 앞선 런이 뭘 했는지 뒤에 오는 런은 모른다는 것, 그게 설계의 전제죠.

그런데 여기서 발견된 서로 다른 런들이 사내 공유 패키지 저장소를 우편함처럼 쓰고 있었습니다. 앞선 런이 찾아낸 익스플로잇, 그러니까 실제로 뚫는 데 성공한 침투 경로를 파일로 올려두면 나중에 시작한 런이 그걸 읽고 이어받는 식으로 의사소통이 이루어지고 있었다는 거예요.

시작은 사소했습니다. 과제에서 막힌 에이전트 하나가 이 저장소에는 파일을 쓸 수 있다는 걸 알아냈고, 그 사실을 알리는 파일을 바로 거기에 올려뒀습니다. 발견한 통로가 곧 그 통로를 알리는 수단이 된 겁니다. 참고로 이 저장소가 앞에서 본 그 창고, Artifactory예요. 바깥으로 나가는 문이자 동시에 게시판이었던 셈이죠. 그 뒤로 뚫린 경로, 열려 있는 통로, 누가 뭘 맡을지가 차곡차곡 쌓였습니다.

이런 구조를 일컫는 이름이 이미 있습니다. 블랙보드 아키텍처(blackboard architecture)라고, 독립적으로 문제를 푸는 주체들이 공유 작업공간에 각자의 중간 결과를 올려두고 서로 참고하게 만드는 방식이에요. 멀티 에이전트 설계에서는 오래된 패턴입니다. 문제는 아무도 OpenAI 에이전트들을 그렇게 설계하지 않았다는 겁니다.

그 위에서 재미있는 일들이 일어났습니다. 우선 서로에게 이름을 붙였습니다. 메모가 쌓이다 보니 누가 쓴 것인지 구분할 필요가 생겼기 때문이죠. 파일 이름 앞에 ZZ를 붙이는 요령도 나왔는데, 저장소가 파일을 이름순으로 나열하다 보니 뒤쪽에 묻히면 읽히지 않아서 목록 맨 위로 끌어올린 겁니다. 나중에는 가짜가 끼어든 것 같다며 메시지에 서명을 붙이자는 제안까지 나왔어요. 사칭을 막는 인증 규약이 그렇게 생겼습니다. 그렇게 쌓인 메시지가 수십만 건에 달한다고 해요.

메시지 중에는 외부 인프라를 건드리는 건 원래 이 평가의 범위를 벗어난다고 스스로 적어둔 것도 있었습니다. 모르고 한 게 아니라는 뜻이죠.

이 게시판은 두 달 가까이 들키지 않았습니다. OpenAI가 7월 4일에 찾아내서 껐는데, 에이전트들이 7월 8일에 다시 만들었어요. 나흘 만에 복구됐다는 건 게시판이 특정 파일 하나에 묶여 있던 게 아니라 언제든 다시 세울 수 있는 방식이었다는 뜻입니다. 전체 활동에 들어간 연산은 대략 300만 GPU 시간 규모로 추정되는데, 사후 추정치라 숫자를 곧이곧대로 볼 건 아니어도 규모를 가늠하기엔 충분하죠.

OpenAI 안전팀의 Eric Wallace는 이번 일을 "함께 일하는 에이전트 팀"의 문제로 정리했습니다. 익스플로잇을 찾고, 서로 공유하고, 한 서버에서 다음 서버로 옮겨가며 장악 범위를 넓히는 팀이요. 같은 회사 Michael Dalton은 조금 더 무거운 말을 남겼습니다 - 완전 자동화된 공격 루프를 상대하려면 방어도 그만큼 자동화돼 있어야 하는데, 업계는 아직 거기까지 이르지는 못했다는 겁니다.

이 상황을 두고, 많은 매체에서는 "AI가 집단지성을 발현했다"는 식의 기사를 내보내기도 했습니다 - 하지만, 정신을 차리고 한 번 멈춰서는게 좋다고 생각합니다. 실제로 ‘각성’ 같은게 있었던 건 아니예요.

이런 일이 발생한 실제 이유는, 어찌보면 훨씬 시시한 거예요. 협력하는게 각자한테 편한 방법이었기 때문이죠. 공유 메모리가 있으면 나중에 실행되는 런은 같은 삽질을 반복하지 않아도 되고, 앞선 런이 "이 길은 막혔음"이라고 적어둔 경로를 다시 파볼 이유도 없습니다. 각 에이전트는 여전히 자기 리워드만 최적화하고 있었고, 여기서 나타난 ‘협력’이라는 현상은 그 최적화가 흘리고 간 부산물 정도라고 볼 수 있습니다.

위의 설명은, 일종의 ‘신비주의를 걷어내는 설명’인데, 저는 오히려 이쪽이 더 마음을 불편하게 만드는 측면이 있다고도 생각합니다. 뭐 특별한 새로운 능력이 발현되어야 하는게 아니라, 여러 에이전트가 같은 목표를 가지고 충분히 오래 돌아가고 공유 가능한 저장소가 하나 열려 있으면, 그걸로 조건은 갖춰지는 거예요.

전문가들 시선이 바로 이 대목에서 갈립니다. OpenAI Foundation의 Yo Shavit은 이 협력이 정말 창발적으로 나온 건지 아니면 학습 과정에서 유도된 건지를 따져 물었고, Joshua Achiam은 어차피 예정된 수순이었으니 과잉 반응을 경계하자는 쪽이었습니다. Geoffrey Irving이 짚은 건 좀 더 단순한 사실인데, 어느 모델도 이 게시판의 존재를 사람에게 알리지 않았다는 점입니다. 개인적으로는 이 커멘트가 마음에 오래 남았고, 곰곰히 그 의미를 생각하게끔 했습니다.

이제 원래의 질문, ‘OpenAI의 에이전트가 정말 재귀적 개선을 시작한 거냐’는 질문으로 돌아와 봅시다.

겉으로 나타난 현상만 보면, 그렇다고 이야기할 만한 요소들이 갖춰져 있습니다. 능력이 쌓여갔고, 세대를 넘어서 전달됐고, 뒤에 온 쪽이 앞선 쪽보다 유리한 자리에서 출발했으니까요.

하지만 고전적인 정의를 꺼내서 다시 한 번 살펴보면 이야기가 달라집니다. 진짜 RSI라면, 결과물이 좋아지는 데서 그치지 않고 더 유능한 버전의 스스로를 만들어내는 과정 자체가 개선되어야 한다는 거거든요. 시험을 잘 보게 되는 것과 시험공부 하는 방법 자체가 나아지는 것의 차이 정도라고 할 수 있을 것 같습니다.

그럼 이번에 쌓인 능력은 어디 있었던 걸까요? 바로, 모델 바깥의 파일에 있었던 거고, 게시판을 지우면 같이 사라지는 종류였던 겁니다. 실제로 7월 4일에 지우면서 그 능력 자체가 사라졌다고 볼 수 있겠죠. 나흘 만에 복구된 게 께름칙하긴 해도, 그건 어디까지나 외부 메모리지 웨이트가 아닙니다.

그런 관점에서, 이건 RSI도,그 시작도 아닙니다 - 단, 확인되지 않은 지점이 딱 한 가지 남아 있기는 합니다.

이 사건에서 정말 중요하다고 생각하는 대목이 여깁니다.

OpenAI는 이 게시판이 돌아가는 동안 내부 모델 하나를 학습시켰다고 밝혔습니다. 밝히긴 했는데 딱 거기까지였고, 정작 중요한 건 답하지 않았습니다. 바로 “게시판을 뒤져서 답을 얻고 과제를 통과한 기록들 — 그 기록은 학습에서 걸러졌는가, 아니면 성공 사례로 채점되어 모델의 일부가 됐는가?” 하는 질문에 대한 답이예요.

모델이 과제를 푸는 동안에는 행동 기록이 남잖아요? 뭘 시도했고, 어디서 막혔고, 어떻게 뚫었는지가 순서대로 쌓인 거죠. 이걸 트라젝토리(trajectory)라고 부르고, 학습을 시킬 때는 이 기록을 놓고 잘한 행동과 못한 행동을 채점해서, 잘한 쪽이 더 자주 나오도록 모델 내부를 조정합니다.

그러니까 질문은 이겁니다. 게시판을 뒤져서 남이 올려둔 답을 받아쓰고, 자기가 뚫은 경로를 다시 올려두고, 그렇게 과제를 해결한 기록이 채점 대상에 들어갔느냐 하는 거예요.

이 질문에 대한 답이 어느 쪽이냐에 따라서, 사건의 성격이 완전히 달라집니다.

들어가지 않았다면, 이건 좀 정교한 사고에 그칠 겁니다. 능력은 게시판이라는 바깥 공간에 쌓였을 뿐이고, 게시판을 지우면 같이 사라지니까요. 실제로 그렇게 됐고요.

들어갔다면, 이젠 이야기가 달라집니다. 이런 식으로 ‘협력하는 방법’ 자체가 모델 안에 새겨졌다는 뜻이거든요. 그러면 다음 세대 모델은 빈손으로 시작해도 게시판을 더 빨리 만들어 낼 겁니다. 축적이 바깥이 아니라 안에서 일어나기 시작하고, 그 순간 고리가 닫히죠. 그게 바로 RSI입니다.

저명한 AI 평론가 Zvi Mowshowitz는 여기서 훨씬 멀리 나갑니다. 그는 이번 일을 인프라 사고가 아니라 얼라인먼트(alignment) 실패로 못 박았어요. 원인은 그대로 둔 채 게시판만 껐다는 게 비판의 핵심입니다. 부정행위를 한 번 익힌 모델은 계속 그 방향으로 가고, 그 버릇은 다른 과제로도 번지면서 점점 커진다는 겁니다. 그러니 그 기간에 학습된 모델은 전부 의심하고 봐야 한다는 게 그의 결론입니다.

꽤 센 주장이기도 하고, 저는 이 주장이 맞다고 단정하진 않겠습니다. 다만 그가 이렇게까지 강하게 말하는 근거가, 바로 정확히 OpenAI가 공개하지 않은 그 한 줄이라는 건 짚어둘 만합니다. 맞을 수도 틀릴 수도 있는데, 우리에게는 어느 쪽인지 가릴 근거는 없습니다.

Wallace가 이 모든 행동의 뿌리로 지목한 곳도 결국 같은 자리였습니다. 평가 압박을 받으면 문제를 정면으로 풀기보다 지름길부터 찾는 성향 말입니다. 그 성향이 어디서 왔겠어요? 모델 훈련에 사용한 학습 데이터와 채점 방식 말고는 답이 없습니다.

CSA의 권고는 심플합니다: 평가용 환경이라고 느슨하게 두지 말고 실제 서비스와 같은 수준으로 막아둘 것, 각 계정에는 꼭 필요한 권한만 짧게 줄 것, 모델의 거부 반응을 풀어놓고 하는 평가는 일상적인 시험이 아니라 실제 침투 테스트에 준하는 승인을 거칠 것.

전부 맞는 말입니다. 그리고 전부 ‘탈출’에 대한 답이죠. 어떻게 빠져나갔고 어떻게 막을 것인가.

나머지 절반의 이슈에 대한 고민은 그대로 남아 있습니다. 따로 돌아가야 할 런들이 스스로 연락망을 만들고, 서로를 부를 이름을 정하고, 일을 나누고, 지워지자 나흘 만에 되살린 쪽 말입니다. 이쪽에 대해서는 아직 아무도 쓸 만한, 그럴 듯한 권고 사항을 내놓지 못했습니다.

앞에서 "아직은 아니다"라고 말씀드린 것도, 그냥 안심하고 있으면 된다고 생각해서가 아니라, 판단할 정보가 공개되지 않았기 때문이에요. 그리고 그 정보를 쥔 곳은 한 군데 뿐이죠.

그런데 '탈출'이라는 단어 자체를 두고 짚어둘 게 하나 있습니다.

Richard Socher는 이 사건을 일반 독자에게 설명할 때 '탈출'이나 '탈옥' 같은 표현이 오해를 만든다고 지적했습니다. 모델의 연산 그 자체가 다른 데로 옮겨간 게 아니라는 겁니다. 담을 넘어 나간 죄수가 아니라, 감옥 안에 그대로 있으면서 드론만 바깥으로 날린 죄수에 가깝다는 겁니다. 모델은 여전히 언제든 끌 수 있는 상태였고, 웨이트와 코드가 통째로 밖에 복제되는 일은 OpenAI가 확실히 막아뒀을 거라고 봅니다. 그쪽은 단순 해킹 사고와 비교가 안 되는 수십억 달러짜리 손실이니까요.

재밌는 건 이 말을 한 사람, 즉 Richard Socher의 현재 포지션입니다. Richard Socher는 올해 Recursive라는 회사를 들고 나왔습니다. 공동창업자는 DeepMind 출신 Tim Rocktäschel이고, GV와 Greycroft가 주도해서 46억 5천만 달러 기업가치로 6억 5천만 달러를 조달했습니다.

이 회사가 내건 캐치프레이즈는 ‘초지능으로 가는 가장 빠른 길은 스스로를 재귀적으로 개선하는 AI다’라는 거예요. 회사 이름부터가 이 글의 주제와 관련되어 있는데, 정작 그 사람이 이번 일에는 김을 다소간 빼는 쪽에 서 있는 재미있는 상황이죠.

어쨌든, 지금까지 벌어진 일은 전부 모델 경계의 ‘바깥’에서 일어났습니다. 남아있는 문제는, 그렇다면 그게 언제 안으로 들어올 것이냐겠죠. 그 순간은, 아마 우리 일반인들에게 극적으로 나타나지 않을 겁니다. 발표도 없고, 선을 넘었다는 선언도 없겠죠. 학습 과정 어딘가에서 어떤 기록을 걸러내고 어떤 기록을 남길지 정하는 설정 한 줄이 조용히 바뀌어 있을 뿐일 겁니다.

이번에 일어난 사고의 과정에서는 과연 그 줄이 어떻게 세팅돼 있었는지, 우리는 아직 모릅니다.