다리오 아모데이의 선의(善意)는 왜 정치가 되는가

들어가며: 다리오 아모데이의 150페이지 에세이가 불러온 균열

2026년 초, 앤스로픽의 CEO 다리오 아모데이(Dario Amodei)가 발표한 150페이지 분량의 에세이 <기술의 사춘기: 강력한 AI의 위험을 직면하고 극복하는 법>는, 단순한 기업 홍보물을 넘어서 일부 사람들에게는 일종의 'AI 예언서'로 받아들여진 것 같습니다. 이 에세이에서, 아모데이는 인류가 AI라는 초지능적 존재의 탄생을 목전에 둔 '사춘기'에 접어들었고, 이 시기를 무사히 넘기기 위해서는 기술을 개발하는 주체들의 '도덕적 관리'가 필수적이라고 역설하고 있습니다. AI가 “데이터센터 안에 들어 있는, ‘국가 규모의 천재 집단’”으로 발전해서, 수많은 질병을 치료하고 에너지 생태계를 혁신할 수도 있지만, 반대로 생화학 테러나 실존적 멸종 위기를 초래할 수도 있다는 양면성을 경고하기도 했습니다.

하지만, 이 글은 발표와 동시에 거센 역풍을 맞았습니다. 특히 미 국방부(전쟁부; Department of War)가 앤스로픽을 '공급망 리스크'로 규정하면서 ‘기술 징발’ 가능성을 시사한 사건은, AI 권력을 누가 소유하느냐를 둘러싼 국가와 기업 간의 전면전을 예고하는 한 장면으로 인식되었습니다. 앤스로픽이 자사 모델의 군사적 이용과 대규모 감시 활용을 거부한 것을 두고, 국방부는 "선출되지 않은 기업가가 국가 안보에 거부권을 행사하고 있다"며 분노했습니다. 이 사건은, 인류가 마주한 위기가 기술의 파워 그 자체 때문이 아니라, 그 기술을 통제하는 권력의 '민주적 정당성'이 부재하기 때문일지도 모르겠다는 생각을 하게끔 한, 아주 상징적인 사건이라고 할 수 있겠습니다.

‘효과적 이타주의’의 명암: 구원자 서사와 선민의식

다리오 아모데이의 논리 체계를 이해하기 위해서는 그 바탕에 흐르는 효과적 이타주의(Effective Altruism, EA)와 그 변종인 장기주의(Longtermism)를 살펴볼 필요가 있다고 생각합니다. 효과적 이타주의(Effective Altruism, EA)는 공리주의에 기반해서 ‘같은 선의라면 어디에 쓰는 것이 가장 많은 사람을, 가장 크게 돕는가’를 계산하고 추구하려는 철학이라고 할 수 있고, 감정이 아니라 데이터와 논리를 통해서 기부·행동의 효율을 극대화하자는 접근입니다. 장기주의는 여기서 한 걸음 더 나아가서, 현재 살아있는 수십억 명보다 앞으로 태어날 수도 있는 수조 명의 '잠재적 인류'의 생존을 더 중요하게 여기는 거라고 간단히 말씀드릴께요.

이 EA 사상은 실리콘밸리의 기업가들과 자연스럽게 맞물렸는데, 자원을 빠르게 확장하고 최적화하는 데 익숙한 창업자들이 ‘AI 안전’이나 ‘인류의 장기적 생존’ 같은 문제를 ‘가장 큰 임팩트를 낼 영역’으로 보고 집중적인 투자를 하거나 사업 전략에 반영하기 시작한 것과도 관련이 있습니다. 다만, 이 과정에서 ‘소수의 기술 엘리트들이 인류에게 최선이 무엇인지 결정하는 것이 정당한가’라는 정치적·윤리적 논쟁도 함께 커지고 있구요.

이런 철학은, AI 개발자들에게 ‘우리는 엄청난 수의 미래 인류를 구원하는 작업을 수행하고 있다’는, 그 어떤 것과도 비교할 수 없는 강렬한 사명감을 부여하겠지만, 때로, 이런 사명감은 위험한 '수학적 오만'으로 변질되게 됩니다. ‘미래 세대의 멸종을 막기 위해서라면, 현재의 민주적 절차나 법적 제약은 다소 무시해도 좋다’는 논리가 성립될 수 있으니까요. 앤스로픽이 강조하는 '헌법적 AI (Constitutional AI)' 역시 그 설계자가 누구냐라는 질문 앞에서 자유롭지 못합니다. 소수의 실리콘밸리 엘리트가 정의한 '헌법'이 전 인류의 보편적 가치를 대변할 수 있을까요?

Stratchery의 벤 톰슨은, 이런 EA적 접근을 ‘선출되지 않은 자들의 도덕적 독점’이라고 비판합니다. 아모데이가 스스로를 '책임감 있는 관리자'로 설정하고 기술의 사용처를 제한하는 것은, 겉으로는 도덕적 결단처럼 보이지만 실제로는 - 정말 ‘실제’로요 - 국가의 주권을 침해하는 행위입니다. 만약 민간 기업이 핵무기를 개발한 뒤에 "우리는 평화주의자이니 정부의 국방 정책에 협조하지 않겠다"라고 선언을 한다면, 이걸 용납할 국가가 있을까요? 결국, 조금 공격적으로 이야기하자면, EA는 기술 기업들이 '인류 구원'이라는 거창한 명분 뒤에 숨어, 자신들을 국가의 통제로부터 격리시키려는 고도의 전략적 방어막으로 작동하고 있다는 의심을 지우기 어렵다고 할 수 있겠습니다.

실리콘밸리식 선의의 한계와 구조적 오만: 벤 톰슨의 비판

아모데이는, 에세이에서 AI의 위험을 묘사할 때 주로 공상과학(SF)적인 은유를 사용하고 있습니다. <2001 스페이스 오디세이>의 HAL 9000이나 <블랙 미러>의 디스토피아적 시나리오를 인용하면서 '단 한 번의 실수로 모든 것이 끝나는' 상황을 극적으로 강조합니다. 이런 'SF적 프레임'은 대중에게 공포를 심어주고, 그 공포를 제어할 수 있는 유일한 열쇠를 기술 개발자인 자신들이 쥐고 있다는 인상을 줄 수 밖에 없습니다.

다리오 아모데이의 글에서 가장 중요한 전제는 이것입니다 - 지금의 AI는 더 이상 ‘조금 더 똑똑한 소프트웨어’가 아니라, 가까운 미래에 인간 사회의 핵심 기능을 대규모로 대체하거나 압도할 수 있는 존재가 될 수 있다는 겁니다. 아모데이는, 강력한 AI를 단순한 챗봇이나 자동화 도구가 아니라, 국가급 규모로 문제를 풀고 연구하고 설계하고 작전을 짤 수 있는 지적 집합체로 묘사합니다. 이 대전제 위에서, AI가 과학·의학·에너지 분야에 엄청난 기여를 할 수 있는 동시에, 사이버 공격, 생물학적 위협, 감시, 권력 집중, 사회 불안정 같은 위험도 함께 키울 수 있다고 보는 것이죠. 결국, 아모데이의 핵심 메시지는 ‘이번 기술은 너무 강력하고 너무 빨리 오기 때문에, 기존 사회 시스템이 따라잡기 전에 안전장치를 먼저 세워야 한다’는 쪽에 가깝습니다.

여기서 아모데이의 첫 번째 관점은 AI를 역사 속 다른 위험 기술과는 질적으로 다른 존재로 본다는 점이라고 할 수 있을 것 같습니다. 핵기술이나 생화학 무기처럼 위험한 기술이 과거에도 있었지만, AI는 그보다 더 범용적이고 더 빠르게 확산될 것이고, 한 번 임계점을 넘으면 거의 모든 지식노동과 전략 기능에 침투할 수 있다고 보는 겁니다. 쉽게 말해서, “이번엔 과거와 다르다”는 예외론 위에 서 있는 셈이죠. 독자 입장에서 번역하면, “핵은 무기였지만, AI는 무기이면서 동시에 연구원이고, 분석가이고, 엔지니어이고, 선전 도구이고, 감시 시스템이기도 하다”는 겁니다. 아모데이의 글이 계속해서 위기의 밀도를 높여 보이는 이유가 여기에 있습니다.

두 번째로, 아모데이는 이런 위험을 막기 위한 주체로 국가만이 아니라 AI 기업 자신도 전면에 서야 한다고 봅니다. 아모데이의 관점에서, ‘안전’은 사후 규제가 아니라 ‘사전 통제의 문제’이고, 그래서 모델의 사용을 어디에 허용하고 어디에 금지할지에 대해 기업이 선을 그을 수 있어야 한다는 태도를 보입니다. 앤쓰로픽의 공식 입장도 비슷합니다. 이 회사는 자사 AI의 국가안보 활용 자체를 거부하는 것이 아니라, 대규모 국내 감시와 완전 자율무기 같은 특정 사용처에는 반대한다고 공개적으로 밝혔습니다. 즉, “우리는 국가를 돕지만, 어디까지 허용할지는 우리도 판단하겠다”는 식인 거죠. 이 대목이 바로 아모데이 글의 실질적인 정치성을 드러내는 지점입니다. 기술 기업이 단순한 공급업체를 넘어서, 허용 가능한 권력 사용의 경계를 함께 정하려 하게 되는 셈이기 때문이죠.

벤 톰슨의 비판은 여기서 시작됩니다. 벤 톰슨은 AI로부터 초래될 수 있는 위험에 대한 아모데이의 인식 자체를 전면 부정하기보다는, 그 위험에 대한 인식이 논리적으로 어디를 향하고 있는지 끝까지 밀어붙여 본다면, 앤쓰로픽의 입장은 버티기 어렵다고 보는 겁니다.

벤 톰슨의 첫 번째 비판은, AI를 그렇게까지 중대한 전략 자산으로 묘사해 놓고, 그 사용처의 최종 결정권은 왜 선출되지 않은 민간 기업 경영진이 쥐어야 하느냐는 겁니다. 감시와 무기 사용 같은 문제는 원래 민주주의 체계에서 의회, 법원, 행정부가 다투고 조정해야 할 사안인데, 아모데이식 접근은 그 판단의 일부를 기업 윤리와 내부 원칙으로 끌어옵니다. 벤 톰슨이 보기에 이것은 안전의 문제가 아니라, 정당성의 문제입니다. “무엇이 허용되고 무엇이 금지되는가”를 결정하는 권한은 기술적 전문성만으로 얻어지는 것이 아니기 때문이라는 것이죠.

두 번째 비판은 더 날카롭습니다. 벤 톰슨은 아모데이의 글이 위험은 거의 문명사적·우주사적 규모로 키워 말하면서, 정작 해결책은 지나치게 약하고 사적인 수준에 머무르고 있다고 봅니다. 쉽게 말해서, AI를 인류 전체의 질서를 뒤흔들 수 있는 힘으로 묘사해 놓고도, 대응은 기업의 자율적 안전 약속, 보고 체계, 제한적 가이드라인 같은 수준에 머문다는 거죠. 이 불균형이 벤 톰슨에게는 결정적으로 이상하게 보인다는 건데, 정말 그렇게 위험하다면, 그 위험에 대한 대응도 헌정 질서나 국가 체계 수준이어야 맞는데, 아모데이의 글은 위험의 스케일에 비해 처방이 너무 기업 중심적이라는 겁니다. 그래서 벤 톰슨은 앤쓰로픽의 접근이 ‘현실과 어긋난 정렬’이라고 비판하는 것이구요. AI가 정말 국가급 힘이라면, 결국 국가는 그 통제권을 민간에 오래 맡겨두지 않을 것이라는 게 그의 냉정한 현실주의입니다.

세 번째 비판은 권력 집중의 문제입니다. 아모데이식 안전론은 표면적으로는 책임과 신중함의 언어를 사용하지만, 구조적으로 보면 “강력한 AI는 소수의 책임 있는 주체만이 다뤄야 한다”는 결론으로 기울기 쉽습니다. 그런데 벤 톰슨은 바로 그 구조가 위험하다고 봅니다. 왜냐하면 그 구조는 필연적으로 AI의 안전을 명분으로 해서 강력한 모델과 그 운영의 권한을 몇몇 소수의 폐쇄형 기업에 집중시키는 결과를 낳게 될 것이기 때문이죠. 간단히 말하자면, “우리가 더 도덕적이니 우리가 더 많이 통제해야 한다”는 논리가 됩니다. 벤 톰슨의 눈에 이건 기술적 전문성이 정치적 정당성으로 슬쩍 바뀌는 순간입니다. 민주사회에서 가장 경계해야 하는 건 ‘선의의 독점’인데, 앤쓰로픽의 안전 담론이 그 방향으로 흘러간다는 겁니다.

결국 이 논쟁의 본질은 “AI가 위험하냐 아니냐”가 아닙니다. 아모데이는 위험을 강조하고, 벤 톰슨도 그 위험의 전략적 무게 자체를 가볍게 보지는 않습니다. 진짜 쟁점은 그 위험을 누가 정의하고, 누가 허용 가능한 사용 범위를 정하고, 누가 최종 거부권을 갖느냐입니다. 아모데이는 ‘책임 있는 관리자’를 상상하는 반면, 벤 톰슨은 “그 순간 기업은 더 이상 기술 회사가 아니라 준정치 권력이 된다”고 이야기합니다. 그래서 벤 톰슨의 비판은 단순한 반대가 아니라, 아모데이의 글 속에 숨어 있는 구조적 전제, 구조적 오만을 드러내는 작업에 가깝습니다.

비단 아모데이의 경우 뿐이 아니라, EA(효과적 이타주의)의 흐름 안에서 실리콘밸리의 폐쇄적인 커뮤니티 내부로부터 형성된 '정답'을 인류 전체에 알게 모르게 강요하는 행태는 계속해서 존재해 왔습니다. 기술적 전문성이 곧 정치적 정당성으로 이어진다고 생각하는 착각 말이죠. 하지만 뭐가 합법적 감시인지, 어느 정도가 정당한 방어인지 결정하는 권한은 알고리즘이 아니라 사회적 합의와 법의 지배에서 나와야 합니다. 그런 관점에서, 아모데이의 150페이지 에세이는 기술의 사춘기가 아니라, 비대해진 권력을 감당하지 못하는 '기업 권력의 사춘기'를 적나라하게 보여주고 있다고 볼 수도 있겠습니다.

국가도, 기업도 아닌 제 3의 해법

그렇다면 질문은 자연스럽게 다음 단계로 넘어가겠죠.

국가도 완전히 믿기 어렵고, 기업의 선의에도 통제권을 맡길 수 없다면, 우리는 무엇으로 AI 권력을 견제해야 할까요? 정답이 있는 건 아니겠지만, 이 지점에서 보험제도, 오픈소스 같은 것들이 제도적 대안이 될 수 있어 보입니다.

보험은 ‘안전’을 추상적인 윤리 선언이 아니라 가격이 매겨지는 위험으로 바꿔서, 기업이 스스로 안전 비용을 떠안게 만드는 장치죠. 반면에 오픈소스는 소수의 기업이 안전의 이름으로 기술과 통제권을 독점하는 흐름에 맞서, 검증과 방어 역량을 사회 전체로 분산시키는 방식이라고 볼 수 있습니다. 하나는 자본의 논리로 기업을 묶고, 다른 하나는 기술의 분산으로 권력을 쪼갭니다.

결국 이 두 가지의 접근은 공통된 문제의식에서 출발합니다. 아무도 완전히 믿을 수 없기 때문에, 서로를 견제하게 만드는 구조를 설계해야 한다는 겁니다. 아모데이가 ‘책임 있는 관리자’를, 벤 톰슨이 ‘민주적 정당성’을 말한다면, 보험과 오픈소스는 그 사이에서 보다 차갑고 현실적인 해법이 될 수 있습니다. 선의가 아니라 유인으로, 도덕이 아니라 구조로 AI 안전을 강제하는 방식 말이죠.

대안 시나리오 #1: 'AI 안전 보험 체계' 구축

국가가 기술을 이해하지 못해서 규제에 실패하고, 기업의 도덕적 선의를 믿을 수 없다면, 우리는 '자본의 논리'를 역이용할 수 밖에 없습니다. 그 구체적인 대안 중 하나가 바로 'AI 안전 보험 체계(AI Safety Insurance Framework)'입니다. 이건, 관료의 도장과 허락이 아니라, 보험사의 손해율 계산기를 규제의 핵심 동력으로 삼는 전략입니다.

위험의 계량화와 민간으로의 전이

정부가 AI 모델의 소스코드까지 들여다보면서 일일이 간섭하는 대신에, 모든 AI 개발사에 '실존적 위험 보험' 가입을 의무화합니다. 보험사는 모델이 출시되기 전에, 독립적인 레드팀(Red Team)을 가동해서 해당 모델이 생화학 테러를 돕거나 사이버 공격을 수행할 가능성을 정밀하게 측정하고, 위험도가 높을수록 보험료는 천문학적으로 치솟게 될 겁니다.

보험사의 기술적 감시

보험사는 막대한 보험금을 지불하지 않기 위해서 국가보다 훨씬 더 집요하게 기업을 감시하겠죠. 기업 내부의 안전 장치가 제대로 작동하는지, 데이터 학습 과정에서 오염이 없는지를 실시간으로 모니터링하는 기술적 권한을 계약 조건으로 내걸 수도 있을 겁니다. 국가의 규제는 '법'이라는 느린 수단에 의존하지만, 보험사의 규제는 '이익'이라는 가장 빠른 수단에 의존하게 됩니다.

징벌적 손해배상과 무한 책임

만약 AI로 인한 사고가 발생할 경우에, 보험사와 기업이 연대해서 피해자에게 징벌적 수준의 보상을 하도록 법제화를 할 수도 있을 겁니다. 이런 체계 아래서는 아모데이가 말한 '가벼운 규제'는 설 자리가 없습니다. 사고 한 번에 기업의 존립이 위태로워지는 시스템이 구축될 때, 비로소 기업은 '선의'가 아닌 '생존'을 위해서 기술의 안전성에 사활을 걸게 되겠죠.

대안 시나리오 #2: '오픈소스 방어 전략'과 기술적 다극화

앤스로픽이나 OpenAI 같은 거대 기업들이 '안전'을 명분으로 모델을 폐쇄화(Closed Source)하는 것은 결국 또 다른 형태의 권력 독점으로 이어질 겁니다. 그런 회사들은 자기들만이 안전하게 ‘불’을 다룰 줄 안다고 주장하지만, 그것도 사실인지 의구심이 들 뿐더러, 그런 이야기는 곧 자기들만 불을 독점하겠다는 선언이나 다름없습니다. 이에 대응하는 제3의 대안이 바로 '오픈소스 방어 전략(Open-Source Defense Strategy)'입니다.

기술적 견제와 균형 (Checks and Balances)

힘이 한곳에 집중되면 반드시 부패하거나 폭주합니다. 강력한 오픈소스 AI 모델이 전 세계에 퍼져 있다면, 특정한 거대 기업이 AI를 이용해서 사회를 조작하거나 공격하려고 할 때 이를 기술적으로 방어할 수 있는 수단 역시 널리 보급될 수 있을 겁니다. 냉전 시대의 핵 억지력(Mutual Assured Destruction)과 유사한 원리로, 누구도 기술적 우위를 바탕으로 상대방을 압도하지 못하게 만드는 '기술적 다극화' 상태를 지향하는 겁니다.

투명성을 통한 버그 및 위협 탐지

다리오 아모데이가 주장하는 '헌법적 AI'는 그 원칙이 블랙박스 안에 갇혀 있습니다. 반면에, 오픈소스 전략은 전 세계 수만 명의 개발자가 코드를 검증하고 취약점을 찾아냅니다. "많은 눈이 있으면 모든 버그는 얕아진다"는 리누스의 법칙(Linus's Law)을 AI 안전에 적용하는 거라고나 할까요? 폐쇄적인 모델이 숨길 수 있는 편향성이나 위험한 유도 질문 차단 방식을 공론장에서 검증하겠다는 의지로, 기술의 민주적 정당성을 확보할 수 있게 될 겁니다.

데이터 주권의 기술적 방어 (The Resistance)

거대 AI 기업이 전 세계의 데이터를 긁어모아 소위 말하는 '천재'가 되는 것을 막기 위해서, 시민들에게 데이터를 방어할 수 있는 기술적 도구를 오픈소스로 배포합니다. AI의 무단 학습을 방해하는 '데이터 노이즈' 생성 툴, 개인정보를 익명화하는 분산형 저장 체계 등이 그 예라고 할 수 있습니다. 국가의 법적 보호를 기다리는 대신, 시민들이 직접 '기술적 마찰(Friction)'을 일으켜서 AI의 진화 속도를 사회가 감당할 수 있는 수준으로 강제 조정하는 방식입니다.

국제 정치적 정렬(Alignment): 과연 가능할까?

다시 벤 톰슨의 냉혹한 지적으로 돌아와 봅니다 - 인류 사회에서 최후의 조정자는 결국 '힘'을 가진 국가입니다. 아모데이가 아무리 도덕적 가치를 내세워도, 앤쓰로픽이 미국 기업인 이상 미국의 국가 안보 시스템에서 완전히 독립적으로 움직일 수는 없습니다. 만약 미국 기업들이 자국 정부의 정당한 요구(예: 적대국의 테러 방지 등)를 거부한다면, 국가는 생존을 위해 그 기업을 해체하거나 경영진을 교체하겠죠. 그게 잘못된 거라고 생각하지도 않습니다.

그렇게 생각해 보면, 결국 AI 정렬(Alignment)의 진정한 의미는, 모델을 인간의 가치에 맞추는 기술적 작업을 넘어서, '기술 권력을 민주적 절차와 국제 질서에 정렬시키는 것'에 있는 것인가 싶기도 합니다. 다리오 아모데이는 기술이 사춘기를 지나 성숙기로 가야 한다고 했지만, 그 성숙의 징표는, 고통스럽지만 '기업의 자율성'이 아니라 '사회적 책임과 법적 통제'를 기꺼이 받아들이는 자세일지도 모릅니다. 벤 톰슨의 말처럼 "현실 세계에는 총과 미사일, 그리고 핵무기를 가진 사람들이 존재하고, 이들이 국제법의 최종 집행자"라는 사실을, 그 냉혹한 현실을 잊어버리면 안 될 것 같습니다.

맺으며: 누가 AI의 스위치를 눌러야 하는가?

다리오 아모데이의 150페이지 에세이, 이 글은 훌륭한 통찰과 위험한 독단을 동시에 담고 있습니다. 모두들 꼭 한 번 읽어보시기를 권합니다. 아모데이는 AI의 위험을 경고해서 인류의 경각심을 일깨우고자 했겠지만, 동시에 그 해결책으로 선출되지 않은 기술 엘리트주의를 섣불리 맨 앞에 내세우면서, 어찌보면 우리가 오랜 기간 만들어 온 민주주의에 도전장을 내미는 선언을 한 셈이 됐습니다. 명심해야 합니다 - 국가의 규제는 여전히 너무 느리고 무능하고, 동시에 기업의 선의는 이윤과 오만함 앞에서는 말할 수 없이 가변적이라는 것을요.

우리가 가야 할 길은 명확합니다. 국가의 자비나 기업의 도덕성에 기댈 것이 아니라, '서로가 서로를 믿지 못하는 상태에서도 안전이 보장되는 시스템'을 설계해야 합니다. 그 예가 바로 AI 안전 보험이든, 오픈소스 전략이든간에, 자본이 스스로를 감시하게 만들고, 권력이 시장 지향적으로 분산되게 하고, 기술적 방어 수단을 적극적으로 대중화시킬 수 있는 메커니즘들이 필요합니다.

AI의 사춘기를 지혜롭게 넘기는 방법은, 한 명의 천재적인 관리자를 찾는 게 아닙니다. 어렵고 때로는 귀찮겠지만, 우리 모두가 각자의 손에 작은 고삐 하나씩을 나누어 쥐는 것입니다. 그 길이, 바로 기술 권력의 폭주를 막고, 인류의 미래를 샌프란시스코의 회의실이 아닌 광장의 합의로 되찾아오는 유일한 길이 아닐까요?

*읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요.