OpenAI가 9월 3일 GPT-6 Astra를 공개했습니다. 발표 자리에서 그레그 브록만은 "Welcome to the AGI era"라는 말로 Astra에 대한 자신감을 드러냈고, ARC-AGI-3 99.9%, FrontierMath Tier 4 97.6% 같은 숫자가 헤드라인을 채웠습니다.

아직 좀 이르긴 하지만, Astra에 대한 반응은 두 갈래로 갈리고 있습니다(사실 이런 현상은 어떤 모델이 나오든 마찬가지긴 했지만요). 한쪽은 '정말 AGI의 시대가 열렸다', 다른 한쪽은 '종합적인 지능 지수로 보면 전작과 별 차이가 없다'면서 여전한 마케팅 스턴트에 가깝다고 하고 있습니다. 그런데 Astra가 진짜 AGI냐 아니냐, 성능이 정말 엄청난 향상을 이룬 것이냐 아니냐 하는 논점 외에, 우리가 한 번 생각해 봐야 할 대목이 하나 있다고 생각합니다.

위 그림은 ARC Prize가 GPT-6 Astra를 ARC-AGI-3에서 측정한 결과입니다. 가로축의 '추론 High/XHigh/Max/None'은 모델에게 얼마나 오래 생각하게 할지 지정하는 추론 노력(Reasoning Effort) 설정입니다. ARC-AGI-3는 규칙도 목표도 알려주지 않은 낯선 게임 같은 환경에 에이전트를 떨어뜨려 놓고, 스스로 이것저것 해보면서 규칙을 알아내 문제를 풀게 하는 벤치마크입니다. Semi-Private 세트는 모델 학습에 노출되지 않도록 공개하지 않고 관리하는 문제 묶음이구요.

여기에 똑같은 GPT-6 Astra를 두 가지 하네스로 돌렸더니, 표준 하네스에서 62.7%, OpenAI의 Provider Adapter에서 99.9%가 나왔습니다. 모델은 하나인데 점수가 두 개인 셈입니다.

하네스는 모델을 감싸는 실행 환경입니다. 모델에게 무엇을 보여줄지, 무엇을 기억하게 할지, 도구를 어떻게 쓰게 할지, 실패하면 어디서부터 다시 시도할지를 정하는, 모델 바깥에서 실행을 관리하는 소프트웨어 층이라고 보시면 됩니다.

ARC Prize의 표준 하네스는 모든 모델에게 똑같은 조건을 줍니다. 환경의 현재 상태와 취할 수 있는 행동 목록만 건네줄 뿐, 규칙이나 목표를 알려주지도 않고 따로 기억할 장치를 붙여주지도 않습니다. 앞 단계에서 무엇을 알아냈는지 기억하려면 모델이 스스로 메모로 적어두어야 하고, 다음 단계에는 그 메모만 다시 받습니다. 사람으로 치면 매번 기억이 지워진 채 자기가 남긴 쪽지만 들고 다시 들어가는 셈입니다.

반면에 Provider Adapter는 OpenAI가 자사 모델에 맞춰 직접 만든 하네스입니다. 모델이 문제를 풀어가면서 쌓아둔 추론 상태를 요청과 요청 사이에 그대로 보존해 주는데, 이건 밖으로 드러나지 않는 내부 상태라서 다른 회사가 똑같이 흉내 내기 어렵고, 대화가 길어지면 알아서 압축해 주기 때문에 앞서 해둔 작업을 다시 꺼내 쓸 수도 있습니다.

여기서 이런 반론이 가능합니다. 두 점수는 추론 노력 설정도 다르니(62.7%는 max, 99.9%는 high) 하네스 때문이라고 단정할 수 없지 않느냐는 것이죠. 그래서 표준 하네스에서 추론 노력만 올려가면서 잰 점수를 보면, High 54.82%, XHigh 59.34%, Max 62.71%입니다. 즉 표준 하네스에서는 생각을 아무리 오래 시켜도 62.7%가 가장 높은 수치였습니다. 99.9%는 추론 설정만으로 설명되지 않는 숫자인 것이죠.

거꾸로도 확인됩니다. Provider Adapter에서는 추론 노력을 아예 none으로 꺼도 96.7%가 나옵니다. 표준 하네스에서 생각을 최대로 시킨 62.7%보다 34점이나 높습니다. 적어도 이 평가에서는 얼마나 오래 생각하게 하느냐보다 어떤 실행 환경에 올려놓느냐가 성능을 더 크게 갈랐습니다.

물론 이 차이 전체가 OpenAI만 만들 수 있는 고유한 하네스의 몫이라는 뜻은 아닙니다. 표준 하네스는 공정한 비교를 위해 기능을 최소화한 환경이고, Provider Adapter에는 여러 기능이 함께 들어가 있으니까요. 여기서 분명하게 확인되는 것은 더 단순합니다. 모델 이름이 같아도 실행 조건이 달라지면 결과가 크게 달라질 수 있다는 사실입니다.

비용은 성능과는 반대의 결과를 보여주고 있습니다. 62.7%가 나온 표준 하네스 쪽은 벤치마크를 한 번 도는 데 26,098달러가 들었는데, 99.9%가 나온 Provider Adapter 쪽은 18,817달러가 들었습니다. 점수가 높은 쪽이 오히려 더 쌌던 것이죠. 두 방식이 공통으로 풀어낸 167개 과제를 비교해 보면 Provider Adapter 쪽이 3.66배 빨리 끝냈고, 토큰도 절반 가까이 덜 썼습니다.

기사에 많이 실린 숫자는 99.9%였습니다만, 정작 눈여겨볼 것은 두 점수 사이에 생긴 구간이라고 생각합니다. 그동안 '모델 성능'이라고 한 덩어리로 불러온 결과를 모델 이름만으로는 설명할 수 없다는 뜻이니까요.

또 한 가지, 이번 발표를 두고 '모델이 에이전트를 삼키기 시작했다'는 식의 설명을 하는 사람들이 있는 것 같기도 합니다. 그동안 에이전트 개발사들이 모델 외부에 붙여오던 기능을 모델 제공사가 가져가기 시작했다는 의미로는 이해할 수 있습니다. 다만 '흡수'라는 표현만으로는 기능이 모델 자체에 들어간 것인지, 벤더가 제공하는 실행 환경에 들어간 것인지 제품의 경계를 설명하기 어렵습니다. Astra의 두 점수는 그 경계를 구분해서 볼 필요가 있다는 점을 보여줍니다.

8월 21일 NVIDIA가 내놓은 AVO 결과도 이 문제를 다른 각도에서 보여줍니다. ARC Prize가 단독으로 측정한 Claude Opus 5의 ARC-AGI-3 점수는 30.2%였고, NVIDIA는 같은 모델에 지속 메모리(Persistent Memory)와 감독 에이전트, 실패 시 복구 루프를 붙인 AVO라는 에이전트 아키텍처로 25개 환경 183개 레벨을 모두 통과했다고 발표했습니다. NVIDIA도 추론 설정과 평가 환경이 달라 두 측정치를 직접 비교하기 어렵다고 단서를 달았기 때문에, 30.2%와 만점의 차이를 AVO의 순수한 기여분이라고 말할 수는 없지만, 모델을 단독으로 평가한 결과만으로 그 모델을 사용한 에이전트 시스템의 성능을 예측하기 어렵다는 사례로는 볼 수 있습니다.

여기에 가장 강한 반론도 있습니다. 기능을 최소화한 표준 환경과 모델에 최적화된 전체 제품 구성을 비교한 것이니, 이 숫자만으로 OpenAI 고유의 프리미엄이 얼마인지, 다른 업무에서도 같은 격차가 나는지는 알 수 없다는 반론입니다. 맞는 지적입니다. 이 사례가 보여주는 것은 하네스의 보편적인 기여율이 아니라, 모델의 이름과 단독 점수만으로 실제 제품 성능을 판단해서는 안 된다는 점입니다.

사실 OpenAI의 발표 자료만 찬찬히 읽어봐도 알 수 있는 부분인데요. Astra의 Artificial Analysis 종합 지능 지수는 61.2로 전작인 Sol의 60.9와 거의 같고, 같은 표에 나란히 실린 Claude Fable 5.1의 65.7이나 Opus 5의 63.1보다 오히려 낮습니다. 소프트웨어 엔지니어링 과제인 DeepSWE에서도 Astra의 74.1%는 Gemini 3.8 Flash 73.8%, Opus 5 73.7%, Sol 72.7%와 사실상 같은 구간이고, 도구를 쓸 수 있게 한 Humanity's Last Exam에서는 57.2%로 Fable 5.1의 65.0%에 밀립니다. OpenAI가 자기 발표 자료에 직접 그렇게 적어둔 숫자들입니다.

측정 조건도 저마다 다릅니다. 컴퓨터 조작 능력을 보는 OSWorld 2.0 표에는 Claude 점수를 공식 설정으로 쟀고 Fable 5.1 시스템 카드에 있는 수정된 과제와 채점 방식은 쓰지 않았다는 각주가 붙어 있고요. 헤드라인을 장식한 ARC-AGI-3의 99.9%에도 '실제 성능에 더 가깝도록 두 가지 설정을 바꾼' Responses API 하네스로 돌린 결과라는 각주가 달려 있습니다.

ARC Prize도 분명하게 선을 그었습니다. 이 벤치마크에서 만점에 가까운 점수가 나왔다고 해서 AGI가 입증된 건 아니고, ARC-AGI-3는 규칙이 정해져 있고 닫혀 있는 환경이라 변수가 훨씬 많은 현실의 업무를 대신할 수 없다는 겁니다.

그래서 저는 이제 발표 자료를 읽는 방식도 좀 바뀌어야 한다고 생각합니다. '이 모델이 얼마나 똑똑한가'가 아니라, '이 숫자를 우리 환경에서 재현하려면 무엇까지, 어디까지 함께 사야 하는가'를 봐야 하는 것이죠. 이 질문은 곧 그 실행 환경을 누가 제공하고 통제할 것인가로 이어집니다.

제 눈에는 이 파이프라인의 주도권을 두고 지금 두 회사가 서로 다른 방향으로 움직이는 것으로 보입니다. OpenAI는 하네스를 자사 모델에 맞춰 직접 만들고 API 안에 기본으로 넣으려고 하는 움직임일 수가 있을텐데, 결국 AI를 활용해서 최고의 성능을 확보하려는 고객은 OpenAI의 실행 환경 전체를 사용해야만 그게 가능하도록 설계하는 모양새죠. 반면에 DeepSeek는 얼마 전인 8월 13일 자사의 에이전트 하네스 구조를 MIT 라이선스로 공개해버렸는데, 모든 것이 플러그인이고, 심지어는 모델도 꼭 DeepSeek의 모델이 아니라 어떤 모델이든 갈아끼울 수 있게 만들어 두었습니다. DeepSeek가 내세우는 정의도 아주 단순하게, 'Agent = Model + Harness'라는 겁니다.

벤더가 모델과 하네스를 함께 제공하는 방식의 장점은 아주 명확합니다. 고객이 컨텍스트 관리나 복구 구조를 따로 조립하지 않아도 최적화된 구성을 바로 쓸 수 있고, 모델이 업데이트될 때 실행 환경도 함께 개선될 수가 있습니다. 그 과정에서 운영에 대한 부담의 상당 부분을 벤더에게 맡길 수 있다는 것 역시 중요한 가치입니다.

둘 다 의미있는 접근 방식이고, 기업의 입장에서도 지금 필요한 게 '승자가 누구일까?'라는 예측은 아닐 겁니다. 하지만 꼭 알아야 할 건, 우리가 확보한 성능 가운데 어느 부분이 특정한 실행 환경에 의존하는지입니다. 그 환경을 떠나는 순간 같은 조건을 유지할 수 없고, 다른 환경이 그 차이를 얼마나 메워줄지는 다시 측정해야 하니까요.

그러니까, 지난 2년 동안 에이전트 개발사들이 쌓아온 '능력'이 사라진 게 아니라 그 영역을 놓고 이제 모델 제공사와도 경쟁해야 할 수 있는 상황이 되어가고 있는 겁니다. 서드파티가 만들던 파이프라인을 이제 모델 회사가 직접 만들어 번들로 팔기 시작한 것이라고 할 수 있으니까요. 여전히 이 파이프라인은 아주 중요한 필수 기능인데, 이제 공급자가 하나 둘 늘어나면서 그 값어치를 견줘볼 수 있는 상황이 만들어지기 시작한 겁니다.

실행 환경을 모델과 한 덩어리로 보고 별도의 평가 대상에서 빼버리면 이 영역은 그냥 벤더에게 맡길 수 밖에 없는 일이 됩니다. 반대로 여러 공급자가 제공하는 별도의 제품 영역으로 보면, 어느 정도 가치가 있고 얼마를 지불할 것인지 따져볼 수 있게 됩니다.

마땅한 이름이 없어서, 저는 이걸 '하네스 프리미엄'이라고 불러보려고 합니다. 특정한 벤더의 실행 환경 안에서 두드러지고, 그 환경을 떠날 때 그대로 따라온다고 장담할 수 없는 성능 구간이라는 뜻입니다. 앞에서 이야기했던 62.7%와 99.9% 사이에서 드러난 구간이 Astra의 하네스 프리미엄을 생각하게 만드는 사례인 셈입니다. 그 구간 전체가 OpenAI에만 귀속된다는 뜻은 아닙니다. 자사 업무에서 관측되는 프리미엄은 다른 하네스가 그 차이를 얼마나 메우는지 비교해야 알 수 있습니다.

당연하게도 아직은 자기 회사의 업무에 대해서 이런 하네스 프리미엄을 측정하기 시작한 기업도 거의 없을 겁니다. 일단은 ARC Prize에서 보여준 비교를 회사의 실제 업무에 맞게 옮겨보면 됩니다.

실제로 측정을 해보실 때 유의할 점을 두 가지만 덧붙여보면, 우선 하나는, 생각을 오래 시킬수록 비용이 올라갈 거라고 지레짐작하지 마시라는 겁니다. 앞의 26,098달러와 18,817달러가 보여주듯이, 추론 노력을 높이면 모델이 더 적은 횟수로 과제를 끝내기 때문에 호출 수와 토큰이 함께 줄어서 총비용이 오히려 내려가는 경우가 있습니다. 싼 설정이 늘 싼 게 아닌 것이죠.

(한 가지 짚어두자면, 26,098달러와 18,817달러는 하네스가 서로 다른 상황에서의 결과이지 추론 노력만의 효과는 아닙니다. 추론 노력을 높일수록 오히려 총비용이 내려갈 수 있다는 것은 ARC Prize가 별도로 언급한 내용입니다.)

다른 하나는 속도입니다. Astra는 가장 높은 설정에서 첫 응답이 나오기까지 수백 초가 걸립니다. 사람이 화면 앞에 앉아서 기다리는 방식이 아니라, 일을 맡겨두고 나중에 결과를 받아 검토하는 방식으로 써야 한다는 뜻인데요. 그래서 이런 모델의 도입은 쓰던 모델을 바꾸는 일이라기보다, 업무가 흘러가는 방식 자체를 다시 짜는 일에 가깝다고 생각합니다.

물론 이런 비교가 늘 깔끔하게 되는 건 아닙니다. 벤더가 제공하는 컨텍스트 관리 기능은 API에 붙어 있어서 따로 떼어내기 어려운 경우가 많으니까요. 그래도 그 기능을 끄고 한 번 재보는 건 가능합니다. 다만 이 값은 현재 벤더의 특정 기능에 얼마나 의존하는지 살펴보는 진단값이지, 대안 하네스의 성능은 아닙니다. ARC Prize의 표준 하네스 점수는 공통 조건에서 확인한 기준값이고, 실제 대안 하네스의 값은 그 하네스를 직접 돌려봐야 얻을 수 있습니다. 이 세 값을 같은 기준선처럼 읽어서는 안 됩니다.

이런 숫자들을 - 아주 정확한 숫자가 아니라도, Ballpark로 범위라도 - 갖고 있으면 벤더와 마주 앉았을 때의 질문, 내가 해야 할 고민이 달라질 겁니다. "어느 모델이 제일 좋습니까"가 아니라 "이 성능 가운데 무엇을 다른 환경에서도 다시 확보할 수 있습니까"를 묻게 되니까요.

프리미엄이 크게 나온다면 그건 나쁜 소식이라고 생각할 필요는 없고 ‘정확한 정보’를 얻었다고 생각하면 됩니다. 우리가 모델만 고른 게 아니라 그 벤더의 실행 환경까지 함께 골랐다는 뜻이고, 계약 조건과 종속 리스크를 거기에 맞춰 다시 짜면 되는 일이니까요.

그렇다면 아예 반대로, 하네스는 우리가 쥐고 모델만 갈아 끼우는 구성은 어떨까요. 앞서 이야기한 DeepSeek의 방식이 그런 교체 비용을 낮추려는 그림이고, 충분히 유효한 선택지라고 생각합니다. 다만 여기서 오해하지 말아야 할 게, 이게 하네스를 처음부터 우리가 직접 만들어야 한다는 뜻은 아닙니다. 공개된 하네스를 가져다 쓸 수도 있고 상용 제품을 쓸 수도 있으니까요. 대신 우리 환경에 맞춰 손보고 버전을 따라가는 일, 그리고 보안 검토 등의 작업이 기업의 몫이 됩니다. 결국 벤더에게 내던 사용료가 사라지는 게 아니라, 우리 쪽 운영 부담과 책임으로 자리를 옮기는 셈입니다.

좋은 하네스가 모델 교체 비용을 낮출 수 있다는 근거는 ARC-AGI-3의 격차나 AVO의 개선 폭 같은 성능 비교가 아니라, DeepSeek가 하네스와 모델을 분리된 구성 요소로 설계했다는 데 있습니다. 같은 하네스 위에 여러 모델을 올려놓고 우리 업무로 비교할 수 있는 기반을 만드는 것이죠. 다만 모델을 바꿔도 성능이 그대로 유지된다는 뜻은 아닙니다. 모델마다 다시 조정하고 검증해야 하고, 좋은 하네스를 확보하고 유지하는 일도 우리 몫입니다. 종속성이 사라지는 게 아니라, 모델 벤더에 대한 종속이 우리가 택한 하네스와 그것을 다룰 역량에 대한 의존으로 옮겨가는 셈입니다.

그래서 결국은 우리 업무에서 잰 하네스 프리미엄이 얼마나 되고, 그만큼이 우리에게 꼭 필요한 성능이냐가 판단 기준이 될 텐데요. 격차가 크지 않거나 그 정도로도 업무가 충분히 돌아간다면 모델 교체가 쉬운 중립적인 하네스가 더 합리적일 거고, 그 차이가 사업의 성패를 가르는 업무라면 종속을 감수하는 편이 나을 수도 있습니다. 어느 쪽을 택하든 그 판단을 하려면 앞에서 이야기한 측정값, 그에 대한 감각이 먼저 있어야 하겠죠.

기업에서 AI 도입을 책임지는 분들이라면 적어도 다음 세 가지를 직접 고민하고 확인해야 합니다.

Astra의 99.9%. 이 숫자는 모델 하나의 지능 지수가 아니라 모델과 실행 환경을 합친 제품 전체의 성적표에 가깝습니다. 그렇다고 그 숫자가 쓸모없다는 뜻은 아닙니다. 다만, 그 성적표가 우리 회사에서도 재현되는지, 그중 무엇이 다른 환경에서도 유지되는지는, 우리 스스로의 고민과 숙제를 해 가면서 직접 대답해야 할, 별도의 질문입니다.

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!