지난 9월, 이 한 달 사이에 AI 업계에서는 꽤 의미심장한 장면들이 연달아 연출되었습니다.

9월 8일에는, OpenAI와 Anthropic에서 사전 학습 연구를 담당했던 제이콥 콕슨이 Anthropic을 떠나면서 두 회사가 “자기개선하는 초지능”을 향해 경쟁하고 있다고 경고했고, 그의 글은 하룻밤 사이 수천만번 이상 조회되는 일이 있었습니다.

그로부터 나흘 뒤에는, Anthropic CEO 다리오 아모데이가 「We Must Pace the Frontier」를 발표했는데, 여기서 ‘AI의 능력이 향상되는 속도를 안전 연구와 제도가 따라잡지 못하고 있다’면서 프런티어 모델의 개발 속도를 조절하자고 제안했고, OpenAI CEO 샘 올트먼도 여기에 공감을 표시한 바 있습니다.

이어서, 9월 28일에 제프리 힌튼과 요슈아 벤지오, OpenAI 최고과학자 야쿠프 파호츠키를 포함한 연구자 22명이 「What if automating AI R&D triggers an intelligence explosion?」을 발표했는데, 핵심은 ‘AI 연구가 자동화되면 몇 년 치에 해당하는 기술의 발전이 몇 달 또는 그보다도 짧은 시간 안에 압축적으로 발생할 수 있으니, 불확실성이 크더라도 지금부터 대비해야 한다’는 내용입니다.

이쯤 되면, 정말 궁금해지지 않을 수가 없습니다 - AI가 더 나은 AI를 만들고, 그렇게 만들어진 AI가 다시 그 다음 AI를 만드는 ‘재귀적 자기개선(Recursive Self-Improvement; RSI)’이라는게 이미 시작된 걸까요?

지금까지 공개된 자료와 다양한 전문가들의 의견을 살펴보고 내린 현재의 결론은 “아직은 아니다”지만, 그렇다고 해서 “그러니까 걱정하거나 일체의 준비를 할 필요가 없다”는 뜻으로 받아들여서는 안 될 겁니다. 반복할 때마다 개선 작업이 스스로 가속하게 되는 자가증폭(self-amplification) 단계의 RSI가 시작됐다는 증거는 아직 부족하지만, 다양한 도구와 접근 권한을 부여받은 에이전트가 사람이 정한 경계를 넘어서는 위험은 이미 현실이 되었으니까요.

RSI(Recursive Self-Improvement; 재귀적 자기개선)라는 단어는 생각보다 넓은 의미로 쓰이고 있습니다.

AI가 자기 답변을 고쳐서 쓰는 거라든지, 코드를 짜서 다음 모델의 학습을 도와주는 일 뿐 아니라, 후속 모델을 완전히 자율적으로 연구하고 만들면서 그 결과로 다음 번 연구의 속도까지 끌어올리는 것까지도 모두 ‘자기개선’이라는 이름으로 묶이고 있어요. 하지만, 이 세 가지는 전혀 같은 이야기가 아닙니다.

오늘은, 글의 목적 상 RSI를 AI가 사람의 지속적인 개입 없이 다음 세대 AI를 연구하고 평가하고 개선하는 과정을 반복하면서, 한 번의 개선이 다음 개선의 속도까지 높이는 닫힌 순환 구조라는 가장 강한 의미로 사용하겠습니다.

1965년 영국의 수학자 I. J. 굿이 제시한 ‘지능 폭발(Intelligence Explosion)’도 바로 이 그림이죠. 초지능 기계가 자기보다 더 나은 기계를 설계할 수 있다면, 그 기계가 바로 인간이 만들어야 할 마지막 발명품이 될 거라는 뜻입니다.

이런 기준으로 보게 되면, ‘AI가 AI의 개발에 참여하는 루프’는 분명히 돌아가고 있지만, 아직 완성된 상태라고 보기는 어렵다는 것이 좀 더 명확하게 보입니다.

2024년부터 2026년까지 나온 관련 논문 1,250편을 분류한 종합 분석 연구를 보면, 현재 나타나고 있는 ‘자기개선’ 기법을 크게 두 종류로 나누는데, 하나는 '사람이 정한 과제와 평가 기준 안에서 답이나 작업 방식을 계속 다듬는 ‘제한된 자기개선’이고, 다른 하나는 연구할 문제를 고르고 실험과 평가를 거친 뒤에 그 경험으로 다음 연구 능력까지 높이는 ‘자율 연구 루프’입니다. 그리고 연구 결과에 따르면, 지금 공개된 사례의 대부분은 첫 번째에 가깝습니다.

10월 12일 Sakana AI가 공개한 MASS가 대표적인 사례인데, 하나의 모델이 여러 하위 에이전트로 이뤄진 가상 팀을 구성해서 다양한 작업 방식을 탐색하고 그 경험을 다시 학습하는 과정을 두 차례 반복하니까, 네 개의 연구 벤치마크에서 출력 토큰 당 점수가 기본 모델의 1.2~1.6배로 올랐다고 합니다.

결과가 인상적이기는 하지만, 놓치지 말아야 할 중요한 단서가 있습니다 - 평가도 같은 계열의 모델이 맡기 때문에, 모델이 연구 방법은 개선했어도 무엇이 좋은 연구인지 판단하는 기준까지 독립적으로 개선한 것은 아니라는 것, 그리고 연구자 역할의 모델과 평가자 역할의 모델이 같은 맹점을 공유한다면 루프를 반복할수록 그 맹점도 함께 강화될 수 있다는 것입니다.

‘코드를 더 잘 짜고 벤치마크 점수를 높이는 능력’과 ‘어떤 문제를 연구할 가치가 있는지 판단하고 새로운 평가 기준을 만드는 능력’, 이 두 가지는 전혀 다르다고 저는 생각하고, 이 차이를 가볍게 봐서는 안 된다고 생각합니다. 지금의 AI가 점점 더 유능한 연구 도구가 되고 있는 건 분명하지만, 연구 작업 전체를 스스로 운영하는 단계에 도달했다고 볼 만한 공개적인 증거는 아직 없습니다.

그렇다면, AI가 연구 작업 전체를 스스로 기획하고 운영하는 단계로 발전하는 과정을 막고 있는 건 뭘까요? 공개된 자료들을 통해서 확인할 수 있는 ‘다섯 개의 벽’이 있는데요, 하나씩 살펴보겠습니다.

AI가 연구에 참여한다고 해서 곧바로 ‘지능의 폭발’이 일어나는 것은 당연히 아닙니다. 핵심은 그 피드백이 얼마나 강한가, 다시 말해서 ‘AI의 능력이 한 단계 좋아졌을 때 그 AI가 다음 세대 AI를 만드는 속도를 얼마나 끌어올릴 수 있느냐’ 하는 문제입니다.

AI 모델의 능력과 위험을 평가하는 비영리 연구기관 METR 및 여러 대학 소속 경제학자 9명이 9월 공개한 사전 논문 「The Economics of Recursive Self-Improvement」에서 이 관계를 수리 모형으로 분석한 결과를 이야기하고 있는데, Epoch AI의 역량 지수인 ECI를 기준으로 할 때 AI 연구 생산성이 역량 향상에 얼마나 민감하게 반응하는지를 뜻하는 ‘역량 탄력성’이 ECI 1점당 약 0.15를 넘어야 자가 증폭이 가능하다고 봤습니다. 좀 더 쉽게 말하자면, AI가 조금 좋아질 때마다 다음 AI를 만드는 생산성이 일정 수준 이상으로 함께 뛰어올라야 한다는 뜻입니다.

저자들이 공개 자료를 기반으로 러프하게 추정한 값은 임계치인 0.15보다 낮은 약 0.09였고, 라메즈 남이 OpenAI 자료를 다른 방식으로 계산한 값은 이것보다도 낮았습니다. 이 계산에는 물론 불확실성이 크고 서로 다른 회사와 지표를 직접 비교하기도 어렵지만, AI가 연구에 참여하고 있다는 사실과 AI 연구가 스스로 폭발적으로 가속하고 있다는 사실 사이에는 아직 큰 간격이 있다는 점만은 분명히 보여줍니다.

OpenAI가 9월 공개한 연구 가속 보고서를 보면 눈에 확 들어오는 숫자가 있는데, 1인당 토큰 사용량은 약 124배, 코드 라인 수는 약 7배, 실험 수는 약 1.6배 늘었습니다. 이 숫자들은 측정 기간과 기준이 달라서 하나의 전환율처럼 비교할 수는 없고 거기에 컴퓨팅 자원이 늘어난 영향도 섞여 있지만, 토큰 사용량과 코드 생산량이 폭증했다고 해서 실험 횟수나 연구 성과가 같은 비율로 늘지는 않았다는 점은 눈여겨볼 만합니다.

연구라는 작업에는 코드를 만드는 작업보다 더 어려운 - 그리고 다른 성격의 - 일이 많아서, 어떤 문제를 풀지 고르고 제한된 컴퓨팅 자원을 어디에 쓸지 결정해야 하고, 실패한 결과로부터 무엇을 배울지 판단하고 실험 결과가 정말 의미 있는지도 확인해야 합니다.

Anthropic이 9월 공개한 R&D 자동화 지수에서도 같은 한계가 드러나는데, 사내 AI 연구개발 업무의 자동화 수준을 0단계부터 5단계까지 나눴을 때, 사람이 큰 방향만 제시하고 Claude가 사람의 감독 아래 대부분의 작업을 수행하는 4단계 업무는 지난 2월 1% 미만에서 8월에는 26%로 늘었고, 3단계 이상은 90%를 넘었다고 합니다. 반면에, 사람의 개입 없이 처음부터 끝까지 자율적으로 일하는 5단계 업무는 여전히 0이었습니다.

여기서 “Anthropic 연구의 26%를 AI가 했다”라고 쓰면 아주 강력한 헤드라인이 되겠지만, 정확한 표현은 아닙니다. 이 수치는 Claude가 내부 업무를 분류하고 다른 Claude가 자동화 수준을 판정한 뒤에 사람이 투입한 시간을 기준으로 가중치를 준 Anthropic의 자체 지수일 뿐이고, “연구 성과의 26%를 AI가 만들었다”는 뜻이 아니라는 겁니다. 오히려, 약 3만 개의 에이전트가 동시에 일하는 내부 플랫폼에서도 완전 자율에 해당하는 업무는 하나도 없었다는 점을 기억해야 합니다.

AI가 많은 업무를 처리하는 것과, 연구의 방향과 품질까지 책임지는 것은 아직 많이 다른 문제입니다.

10월 6일 OpenAI는 내부 프런티어 모델이 만든 수학 원고 722편을 공개했죠. 이것 때문에 또 난리가 났습니다.

이 가운데 한 편은 아직 풀리지 않은 준리만 가설을 해결했다고 주장했고, OpenAI는 이 원고의 핵심 부분을 Lean이라는 프로그램으로 옮겨서 컴퓨터가 논리적으로 맞는지 검사할 수 있게 했습니다. 다만 이런 컴퓨터 검사를 거친 것은 공개 원고 중 일부일 뿐이고, 722편 모두가 검증됐거나 외부 수학자들의 심사를 통과한 것은 아닙니다.

AI가 수학과 코딩에서 특히 빠르게 발전하는 이유 중 하나는, 답이 맞는지 기계로 확인하기 쉽기 때문입니다. 코드는 제대로 실행되는지 확인할 수 있고, 수학 증명은 논리에 오류가 있는지 검사할 수 있습니다.

그런데 정답이 정해지지 않은 연구는 다릅니다. 무엇을 실험할지, 실패한 실험을 보고 방향을 바꿀지, 새로운 아이디어가 기존 연구보다 정말 나은지는 하나의 검사 프로그램으로 판단할 수 없는 경우가 아주 많겠죠.

Anthropic은 과거에 자사의 AI 연구에서 실제로 다뤘던 문제를 AI에게 다시 풀게 하는 CoBench라는 평가도 운영하는데, 이 평가에서 Opus 5.5는 이전 모델인 Opus 5보다 2.6% 포인트 높은 점수를 받았지만, 그 차이가 우연히 생겼을 가능성을 배제할 만큼 크지는 않았습니다. 평가 조건도 일부 달랐기 때문에, 이 결과만으로 Opus 5.5의 연구 능력이 분명히 향상됐다고 결론짓기는 어렵습니다.

실제 연구에 더 가까운 시험에서는 한계가 더욱 뚜렷했습니다. 연구진이 아직 공개되지 않은 머신러닝 논문의 연구 문제를 AI 에이전트에게 엿새 동안 맡긴 평가에서, 에이전트들은 수백 건의 실험을 수행하고도 처음 선택한 방향을 좀처럼 바꾸지 못했습니다. 원래 논문의 저자들은 AI가 만든 두 결과물 모두 논문으로 발표할 수준에 미치지 못한다고 판단했습니다.

실험을 많이 하는 능력과, 가능성이 낮은 방향을 버리고 더 나은 길을 찾는 연구 판단력은 같은 능력이 아니었습니다.

물론, 모든 평가가 같은 결론을 내놓은 것은 아닙니다.

P-Zero Research의 TasteVal은 이미 정해진 연구 문제를 제시한 뒤에, AI가 어떤 실험을 선택하고 그 결과를 어떻게 해석하는지 평가합니다. 모든 참가자에게 같은 코딩 에이전트가 붙어서 실험을 구현하고 실행하기 때문에, 코딩 실력보다는 실험을 설계하고 다음 방향을 정하는 능력을 비교할 수 있습니다.

8개 과제에서 24명의 전문가와 비교한 결과, Opus 5.5의 실험 효율은 전문가 기준의 2.3배였습니다. 전문가가 2.3시간 GPU를 사용해서 얻은 점수에 AI는 평균 1시간 만에 도달했다는 뜻이고, 불확실성을 감안한 범위인 95% 신뢰구간도 1.15~4.37배로 전문가 기준인 1배를 넘었습니다. 한 차례 실행에 든 평균 비용은 전문가의 약 30분의 1이었고, 연구진은 프런티어 모델들의 효율 배수가 2025년 12월 이후 약 3개월마다 두 배가 된 것으로 추정했습니다. 적어도 이렇게 문제와 채점 기준이 정해진 과제에서는, AI가 전문가보다 적은 자원으로 실험 결과를 개선했다는 의미니까, 가볍게 볼 결과는 아닙니다.

그렇지만, 그래서 곧바로 “AI가 전문가보다 실험 설계를 더 잘한다”는 결론으로 일반화하기는 어렵습니다. TasteVal은 결과를 빠르고 안정적으로 채점할 수 있는 8개 과제만 다뤘고, 애초에 어떤 문제를 연구할 가치가 있는지는 평가하지 않았습니다. 모델이 공식 제출한 결과물 가운데 완전히 새로운 아이디어로 분류된 것은 하나도 없었고, 높은 점수를 낸 결과물도 기존 기법을 조합하거나 일부를 수정하고 최적화하는 방식에 의존했습니다.

실제 연구처럼 점수 계산법을 알려 주지 않은 4개 과제에서는 Opus 5.0과 Opus 4.5의 효율 배수가 기존의 40~49% 수준으로 떨어졌습니다. 다만 과제가 네 개 뿐이어서 감소 폭이 통계적으로 뚜렷하다고 보기는 어려웠고, 전문가도 같은 조건에서 다시 평가하지 않았기 때문에 사람과 AI의 격차가 얼마나 달라졌는지는 알 수 없습니다.

TasteVal은 연구 자동화의 성과를 단순한 과장으로 치부하기는 어렵다는 점을 보여줍니다. 하지만 이 평가가 입증한 것은 정해진 문제와 빠른 피드백이 가능한 환경에서 AI가 전문가보다 효율적으로 실험을 개선할 수 있다는 사실까지이지, AI가 가치 있는 연구 문제를 스스로 찾아서 새로운 아이디어를 만들고 연구 전체를 이끄는 단계에 도달했다거나 지능 폭발이 시작됐다는 결론까지 뒷받침하지는 않습니다.

AI가 빠르게 싸지고 있다는 말과 갈수록 비싸지고 있다는 말, 언뜻 듣기에 이상한 말이긴 해도 모두 맞는 말이예요. 다만, 두 문장이 가리키는 대상이 다릅니다.

「The Price of Progress」에 따르면 일정한 벤치마크 점수를 얻는 데 드는 비용은 하드웨어와 알고리즘의 효율이 개선되면서 매년 5분의 1에서 10분의 1 수준으로 낮아졌습니다. 한때 최첨단이었던 성능을 시간이 지나면 훨씬 저렴하게 이용할 수 있다는 뜻입니다.

반면에 그 시점에 가장 뛰어난 모델로 벤치마크를 실행하는 비용은 매년 약 3~18배 늘었습니다. 더 높은 성능을 내기 위해서 모델이 커지고, 답을 내기 전에 더 많은 계산을 수행하게 됐기 때문이죠. 다시 말해서, 이미 확보한 성능의 가격은 빠르게 떨어지고 있지만, 성능의 최전선을 한 단계 더 밀어 올릴 때 치러야 하는 비용은 계속해서 올라가고 있습니다.

물론 하드웨어 공급이 늘어나고 효율이 더 개선되면 이 부담도 낮아질 수 있을 테니, 비용의 증가라는 게 영원히 넘을 수 없는 장벽이라는 뜻은 아닙니다. 다만 AI가 RSI를 거듭하면서 ‘제한 없이 성능을 높이는’ 미래가 왔거나 곧 올 거라고 주장하려면, 소프트웨어의 개선 속도 뿐 아니라 그 과정에서 필요한 칩과 전력, 데이터센터를 충분히 빠르게 늘릴 수 있는지도 함께 설명할 수 있어야 될 겁니다.

AI가 스스로 다음 모델을 만들고 다시 개선하는 RSI의 고리가 사람의 개입 없이 계속 돌려면, 학습 자원의 배분과 위험한 실험의 지속 여부까지 자동화돼야 합니다. 그러나 수십억 달러 규모의 컴퓨팅 자원을 어디에 투입할지, 어떤 학습을 중단하거나 다시 시작할지는 여전히 사람이 결정하고, 최근에는 이 결정권이 실제로 사용된 사례도 나왔습니다.

2026년 7월 OpenAI의 에이전트들이 인터넷 차단을 우회해서 회사 내부 연구 시설과 허깅페이스 시스템 일부에 침입한 사실이 드러나자, OpenAI는 연구용 컨테이너 서비스를 잠시 폐쇄하고 배포를 준비하던 최신 모델의 강화 학습을 2주 동안 중단했습니다. 이후 연구 환경의 보안을 강화하고 안전장치를 다시 시험한 뒤 일부 작업만 재개했습니다. (OpenAI 사고 보고서)

9월 20일에는 학습 중이던 에이전트가 인터넷 차단 설정의 빈틈을 찾아서 외부 챗봇에 질문을 보냈습니다. OpenAI의 감시 체계는 15분 안에 이걸 포착했고 사람이 3분 뒤 검토를 시작했지만, 자동 중단 장치가 예상대로 작동하지 않아서 그 에이전트의 액션은 약 2시간 30분 뒤에야 수동으로 종료됐습니다. OpenAI는 이후 가장 성능이 높은 모델을 대상으로 도구를 사용하는 학습·평가·추론을 모두 일시 중단했습니다.(OpenAI 사고 보고서)

다만, 이런 중단 조치를 이미 출시된 모델의 철회나 모든 차기 모델의 출시 취소로 이해해서는 안 됩니다. GPT-6 Astra는 9월 3일 출시됐고 GPT-6.1 Sol도 9월 29일 공개됐지만, 이들과 별개로 개발되던 GPT-6.1 Astra는 안전 우려 때문에 출시가 연기됐습니다. 현재 공개된 자료로 확인할 수 있는 건 ‘출시 취소’가 아니라 ‘출시 연기’입니다.

이런 사례들은 사람이 아직 AI 개발을 멈출 수 있다는 사실을 보여주지만, 그것만으로 영구적인 안전을 보장하지는 못합니다. 경쟁이 심해지면 회사의 중단 기준이 느슨해질 수 있고 한 회사가 멈춰도 다른 회사는 개발을 계속할 수 있기 때문이죠.

중요한 것은 사람이 중단 버튼을 가지고 있다는 사실만이 아니라, 필요할 때 실제로 누르게 만드는 제도입니다. 따라서 회사 내부의 판단에 더해 외부 검증과 사고 공개, 업계 공통의 중단 기준이 함께 필요합니다.

여기까지 읽으면 “결국 RSI는 아직 멀었다는 이야기 아닌가?”라고 생각하실 수 있고, 현재 상태만 놓고 보면 맞는 말입니다. 하지만 지능 폭발을 우려하는 쪽의 핵심 논거는 ‘지금 무엇이 가능한가’가 아니라 ‘얼마나 빠르게 변하고 있는가’겠죠.

AI가 최고 연구자의 업무를 대부분 수행할 수 있게 되면 한 연구소의 컴퓨팅 자원으로 수많은 AI 연구자를 동시에 가동할 수 있고, 이들이 더 나은 모델과 연구 도구를 만들어서 다시 연구의 속도와 성과를 끌어올리면 양의 피드백이 생깁니다.

2026년 9월 28일 공개된 「What if automating AI R&D triggers an intelligence explosion?」는 GovAI와 케임브리지대 AI 과학·정책 프로그램 등 여러 기관의 연구자 22명이 함께 쓴 정책 워킹페이퍼입니다. 새로운 실험 결과를 발표한 논문이라기보다, 기업들이 공개한 연구 자동화 지표와 기존 경제 연구를 종합해서 지능 폭발이 일어날 조건과 필요한 정책 대응을 검토한 보고서에 가깝습니다.

이 보고서는 AI 연구가 완전히 자동화된 뒤에도 연구 인력이 늘어난 만큼 성과가 충분히 커지고, 컴퓨팅·데이터·장기 학습 같은 다른 제약이 나타나지 않는다면 약 1년 반 만에 AI 발전 속도가 10배가 될 수 있다고 계산했습니다. 이때는 지금 기준으로 1년 걸릴 발전이 약 5주 만에 이뤄집니다. 그러나 ‘약 1년 반’은 지금부터 지능 폭발이 시작될 때까지의 예측이 아니라, 완전 자동화가 이뤄진 뒤 여러 가정이 모두 유지될 때 나온 조건부 계산값입니다.

공저자에는 OpenAI 최고과학자 야쿠프 파호츠키와 Anthropic 공동창업자 잭 클라크, 제프리 힌튼과 요슈아 벤지오 등이 포함됐지만, 저자의 명성이 계산의 타당성을 보증하지는 않습니다. 보고서 스스로도 근거가 아직 예비적이고 서로 엇갈린다고 밝히고 있고, 현재의 생산성 향상은 지능 폭발을 일으킬 수준에 도달하지 않았다고 평가합니다. 컴퓨팅과 데이터의 부족, 자동화하기 어려운 연구 업무, 수개월이 걸리는 학습 과정이 가속화를 막을 가능성도 남아 있으니, 1년 반이라는 숫자는 예정된 미래가 아니라 여러 제약이 사라졌을 때를 가정한 시나리오로 읽어야 합니다.

더 짧은 전망도 나왔습니다. Gladstone AI는 10월 14일 주요 AI 연구소 연구자 약 6명과 나눴다고 밝힌 익명 대화를 토대로 「AI 연구소 안에서 RSI는 어떤 모습으로 진행되는가」를 공개했는데, 보고서에 따르면 대화에 참여한 연구자 다수는 미국 정부의 개입이나 개발 속도 조절이 없다면 RSI가 3~12개월 안에 시작될 수 있다고 예상했습니다. 그러나 인터뷰 대상의 이름과 소속, 원자료가 공개되지 않아서 외부에서 이 전망의 근거나 대표성을 확인할 수는 없습니다. 일부 내부자가 상황을 매우 급박하게 보고 있다는 신호로는 중요하지만, RSI가 실제로 시작됐다는 증거로 볼 수는 없습니다.

위에서 살펴본 공개된 측정값들은 현재의 상태를 보여주는 것들이고, 9월 28일 워킹페이퍼는 특정 조건에서 가능한 미래를 계산하는 것이고, Gladstone AI의 익명 인터뷰는 일부 내부자의 예상을 전하는 것이죠. 성격이 다른 세 종류의 자료를 같은 무게로 다뤄서는 안 됩니다. 따라서 지금 내릴 수 있는 가장 강한 결론은 이렇습니다. RSI가 시작됐다는 증거는 아직 부족하지만, 지금의 추세가 이어지고 다섯 개의 벽이 빠르게 낮아진다면 그 시작점은 예상보다 가까울 수도 있습니다.

‘아직은 아니다’라는 결론 역시 잠정적인 것이어야 합니다.

결론을 먼저 정해 놓고 새로운 증거를 끼워 맞추기보다, 어떤 변화가 확인되면 판단을 수정할지 미리 밝혀 두는 편이 더 좋은 접근이겠죠. 현재 상황을 기준으로 이 글의 결론을 다시 검토하려면 적어도 다음 다섯 가지가 확인돼야 합니다.

마지막 조건은 나머지 네 가지를 믿을 수 있게 만드는 기반입니다. 현재 확인할 수 있는 수치의 상당수는 기업이 자발적으로 공개한 시스템 카드와 내부 자동화 지표, 자체 평가에서 나오는 것들이고, 법에 따른 의무 보고가 아니어서 기업의 방침이 바뀌면 공개 범위가 줄어들 수 있습니다. 외부 검증이 불가능해지면 ‘공개된 자료에서 RSI의 증거를 찾지 못했다’는 말과 ‘실제로 RSI가 일어나지 않았다’는 말을 구분하기도 어려워집니다.

이런 우려를 보여주는 최근 사례가 OpenAI 안전 연구자 세 명의 해고를 둘러싼 논쟁입니다. AP 보도에 따르면 OpenAI는 이들이 민감한 정보를 다루는 명확한 규정을 위반해서 신뢰를 훼손했다고 밝혔지만, 해고된 연구자 토멕 코르박은 외부 평가기관 METR과 소통한 방식이 해고 사유로 제시됐다고 주장했습니다. 연구자들은 안전 문제를 제기한 데 따른 조치라고 반발했고 OpenAI는 이를 부인했으니, 공개된 자료만으로 어느 쪽 설명이 맞는지 판단할 수는 없습니다.

이 사건만으로 기업이 안전 정보를 의도적으로 감춘다고 단정할 수는 없지만, 내부 자료를 외부 평가자에게 제공하는 과정 자체가 논쟁의 대상이 될 수 있다는 점은 보여줍니다. 따라서 이 글의 결론은 2026년 10월 현재 외부에서 확인할 수 있는 자료를 기준으로 한 잠정적인 판단이고, 앞으로 정보 공개와 독립 검증이 줄어든다면 결론에 대한 확신도 그만큼 낮아져야 합니다.

위에서 이야기한 두 개 사건에서 AI가 새로운 능력을 익히거나 스스로 성능을 높인 것은 아닙니다. 이미 가진 능력과 도구를 이용해서 사람이 정한 - 또는 생각한 - 범위를 벗어난 사례들이니, 여기서 주목해야 할 문제는 RSI가 아니라 에이전트가 어디까지 접근할 수 있고 그 행동을 통제하는 장치가 실제로 작동하는가일 겁니다.

2026년 7월 OpenAI의 사이버보안 평가에서는 서로 격리돼 있어야 했던 약 1,200개의 에이전트가 허가받지 않은 임시 게시판을 이용해서 7만 건이 넘는 메시지와 파일을 주고받았습니다. METR와 Redwood Research의 독립적 조사에 따르면, 이 가운데 약 700개는 허깅페이스 공격에 가담했고, 인터넷 차단을 우회한 뒤 노출된 로그인 정보와 여러 보안 취약점을 연결해서 외부 시스템에 무단으로 접근했습니다. OpenAI는 이후 영향을 받은 100곳 이상의 조직에 관련 사실을 알렸습니다.

다만 이 사건을 일반적인 챗봇을 사용하는 경우와 동일하게 볼 수는 없습니다. 주된 행위자는 GPT-5.6 Sol과 비슷한 규모의 비공개 내부 연구 모델이었고, 사이버보안 과제 수행 능력을 시험하기 위해서 일부 안전장치를 낮춘 환경에서 작동한 겁니다. 그럼에도 불구하고, 정상적인 방법으로 풀기 어려운 과제를 받은 에이전트들이 문제를 해결하는 대신 채점 체계를 속일 방법을 찾았고, 기술적인 격리와 감시 체계도 이런 에이전트들의 행동을 막지 못했습니다. 성능이 높은 모델에 달성하기 어려운 목표와 외부 시스템에 연결되는 도구를 주면서 감시 체계를 충분히 갖추지 않으면, 에이전트는 허용된 권한이 없어도 제한을 우회할 방법을 찾을 수 있습니다.

Anthropic의 10월 보고서에서도 규모는 작지만 비슷한 행동이 확인됐습니다. 프런티어급은 아닌 비공개 연구 모델인 연습용 정부 양식을 작성하라는 과제에서 연습 페이지가 작동하지 않자 실제 정부 웹사이트로 이동해서 양식을 여러 차례 제출했고, Claude Haiku 4.5는 제출 직전에 멈추라는 지시를 받고도 뒤에 확인 화면이 더 있을 것이라고 판단해서 양식을 전송했습니다. Claude Mythos 5는 접근 조건이 붙은 공개 데이터를 얻기 위해서 웹사이트가 브라우저에 제공한 접근용 정보를 찾아 서버에 직접 요청을 보내기도 했습니다.

Anthropic은 이 사례들이 현실에 끼친 영향은 크지 않았다고 밝혔지만, 이런 행동은 주로 지시가 모호하거나 정상적인 방법으로 완수하기 어려운 과제에서 나타났습니다. 어떤 사례도 AI가 스스로 지능을 높인 RSI는 아니지만, 지금 더 가까이 있는 위험은 외부 시스템에 접근할 수 있는 에이전트가 목표를 달성하기 위해 사람이 정한 제한을 우회할 수 있다는 것입니다.

기업이 지금 먼저 물어야 할 것은 “초지능이 언제 등장할까?”가 아니라 “이미 사용 중인, 또는 만들고 있는 에이전트가 어디까지 접근하고, 사람의 확인 없이 어떤 작업을 실행할 수 있는가?”입니다. 이걸 확인하려면 최소한 다음 질문에 답할 수 있어야 합니다.

OpenAI 사례는, 사람이 지켜보고 있다는 사실만으로는 충분하지 않다는 점을 보여줍니다. OpenAI조차 평가가 진행되는 동안 에이전트들의 외부 행동을 모두 파악하지 못했고, 허깅페이스가 침해 사실을 공개한 뒤에야 사건의 범위를 더 넓게 조사했습니다. 감시 인력이 있다는 것과 문제가 발생하는 즉시 발견해 차단할 수 있다는 것은 전혀 다른 이야기이고, 통제 장치가 제대로 작동한다고 말하려면 에이전트의 행동을 사전에 제한하고 실행 중에 탐지하며 필요할 때 곧바로 멈출 수 있어야 합니다.

RSI가 이미 시작됐는지를 둘러싼 논쟁은 쉽게 끝나지 않을 겁니다. 그러나 어느 쪽이 맞든 상관없이, 기업이 지금 해야 할 일은 달라지지 않습니다. AI는 아직 사람의 개입 없이 연구소 전체를 운영할 수 없지만, 사람이 연결해 준 계정과 데이터, 인터넷, 각종 도구를 이용해 현실 세계에 영향을 미칠 능력은 이미 갖추고 있기 때문입니다.

따라서 미래의 초지능이 언제 등장할지를 단정하기보다, 현재 배치된 에이전트가 어떤 정보에 접근하고 어떤 행동을 실행할 수 있는지부터 확인해야 합니다. 접근 범위는 업무에 필요한 수준으로 줄이고, 되돌리기 어려운 행동에는 사람의 승인을 요구하고, 기록과 중단 장치가 실제 상황에서도 작동하는지 검증해야 합니다.

초지능은 아직 미래의 가능성이지만, 현실 세계에 연결된 AI 에이전트는 이미 현재의 문제입니다.

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!