AI, 그리고 AI 에이전트의 도입 열풍이 정말 거센 것 같습니다. 이사회에서는 AI 전략이 뭐냐고 경영진에게 질문하고, 경쟁사는 이미 뭔가를 시작했다는 소식이 들려오고, 팀원들은 너도나도 ChatGPT와 코파일럿을 쓰고 있습니다.

그런데 막상 회사 차원에서 본격적으로 AI를 도입해보려고 하면, 생각만큼 잘 되는 경우는 많지 않죠. 데모에서는 분명 놀라운 성능을 보여줬는데, 실제 업무에 붙여보면 기대에 못 미치고, 파일럿은 파일럿으로 끝나고, 투자한 것 대비 눈에 띄는 변화가 없는 경우가 많다는 소식도 들립니다. 도대체 왜 그럴까요?

이번 에피소드에서는 도대체 회사 차원의 본격적 AI 도입이 잘 되지 않는, 또는 그렇게 느껴지는 이유를 한 번 짚어봅니다. 문제는 모델의 성능이 아니라, AI를 받아들일 준비가 되어 있지 않은 조직 그 자체라고 생각합니다.

NVIDIA, CodeRabbit, Cursor 등 현장에서 AI를 가장 깊이 다루고 있는 사람들의 이야기를 바탕으로 해서, 진짜 성과를 내는 기업들이 AI를 도입하거나 확산할 때 뭘 신경쓰고 남들과는 다르게 하는지, 그리고 여러분의 회사에서는 지금 당장 뭘 바꿔봐야 할지 함께 살펴보겠습니다.

오늘 에피소드에서 다룰 내용:

조직의 준비도가 항상 AI의 발전 속도보다 뒤쳐지는 이유

지난 2년간 AI 업계를 관통한 핵심 화두는 ‘기술적인 문제’였습니다. 바로 “모델의 성능이 어디까지 올라왔는가?”라는 질문이었죠. 물론 이 질문은 지금도 중요하지만, 상당수의 기업들에게 이제 모델 성능은 더 이상 본질적인 고민이 아닙니다.

AI 기술 그 자체의 역량은, 대부분의 조직이 이를 수용하고 소화할 수 있는 속도보다 훨씬 빠르게, 엄청나게 발전하고 있습니다. 추론과 검색, 코딩, 요약은 물론이고, 갈수록 길고 복잡해지는 업무 체인을 수행하는 능력까지도 몰라보게 정교해졌죠.

지난 GTC 2026 현장 역시 이런 흐름을 확인할 수 있는 자리였구요. 젠슨 황은 NVIDIA를 아예 “토큰 공장”으로 재정의했고, 모든 세션이 각각 다른 각도에서 하나의 메시지를 던졌습니다 - 바로 ‘지능(Intelligence)’이라는게 기업이 대규모로 생산하고 유통하고, 관리하고 소비하는 핵심적인 ‘운영 자원’이 되고 있다는 겁니다.

하지만 정작 대다수 기업의 내부를 들여다보면, 실제 업무 구조는 여전히 파악하기 어렵고 검증조차 쉽지 않습니다. 우리가 기계를 신뢰할 수 있게끔 작동하도록 업무 프로세스를 변환하는 일은 더더욱 난제겠죠.

여기서 AI 도입을 놓고 벌어지는 수많은 논의가 길을 잃고 떠돌게 됩니다. 기업들에서는 AI를 원한다고 말하지만, 실상은 그저 화제가 되다 보니 뒤처지는 것이 두렵다, 그래서 뭔가 해 보고 싶다는 경우가 많습니다. 정작 기업의 관점에서 필요한 건, ‘우리 회사의 일이 실제로 어떻게 돌아가는가’에 대한 명확한 이해인 경우가 많다고 생각합니다.

깔끔하게 정리된 프로세스 맵도, 명확한 예외 처리 기준도, 신뢰할 수 있는 책임 소재나 탄탄한 피드백 루프도, 사실 부족한 경우가 많습니다. 심지어는 기계가 따를 수 있는 형태로 ‘제대로 된 실행을 한다’는게 뭔지를 정의한 공통의 기준조차 찾아보기 힘들 때도 있어요. 그저 같은 일을 해오던 습관과 암묵지, 현장의 판단력, 문서화되지 않은 임시방편들, 그리고 뭔가 잘못되었을 때 즉시 알아차릴 수는 있지만 정작 왜 그런지는 설명하지 못하는 베테랑 직원들 뿐인 경우가 부지기수예요.

물론, 지식은 분명히 존재합니다. 문제는, 그 지식이 시스템이 아니라 사람의 머릿속 안에 머물러 있을 뿐이라는 것이죠.

그래서, 지금 기업 내부에서 일어나는 가장 중요한 AI 작업은 모델을 고르는 일이 아닙니다. 바로 조직 차원의 일종의 ‘번역 작업’입니다. 핵심은 흩어져 있는 현장의 경험들을 AI가 이해할 수 있는 지침으로 정리하고, 이걸 실제 업무 지시로 연결하고, 사람이 잘못된 부분을 바로잡아 주면 AI가 이걸 다시 배우는 선순환 구조를 만드는 겁니다.

역사적인 비유를 하나 들어보겠습니다. 전기 모터가 공장에 처음 등장한 것은 1880년대였지만, 실제로 생산성이 크게 오른 것은 그로부터 40년이나 지난 1920년대에 이르러서였다고 해요.

초기에 도입했던 곳들은, 증기기관 시대의 공장 구조를 그대로 둔 상태에서 동력원만 전기로 갈아 끼우는 수준에 머물렀기 때문입니다. 진정한 혁신은 한참 뒤에야 일어났는데, 전력의 특성에 맞춰서 공장의 배치를 전면 수정하고, 업무 흐름과 자동화에 대한 전제 자체를 뿌리부터 재설계했을 때 비로소 폭발적인 성과가 나타났다고 합니다.

증기기관 시대의 전기 모터 배치: 구시대적 배열 vs. 전기의 특성에 맞춘 배열. Image Credit: 튜링포스트

이제 AI는 기업들을 과거와 똑같은 임계점으로 몰아넣고 있습니다. 혁신적인 기술을 그저 낡은 조직 구조에 얹기만 하면 마법 같은 결과가 나올 거라 기대하는 것은, 정말 요행일 뿐입니다.

진정한 결실은, AI가 열어줄 새로운 가능성을 전제로 조직의 시스템 자체를 완전히 재설계할 때 비로소 맺어질 겁니다.

대부분의 기업이 아직 해결하지 못한, ‘숨겨진 병목’의 지점

현재 대부분의 기업은 기계가 진짜 구체적인 업무 맥락을 해독하기 힘든 '먹통' 상태라고도 할 수 있을 겁니다.

이 말이 다소 추상적으로 들릴지 모르지만, 사실 기업들이 매일같이 겪는 아주 구체적인 고통입니다. 기업 내부의 업무를 들여다보면 불완전한 문서, 조직 내 전설처럼 내려오는 관행, 누구 책임인지 모호한 일들, 그리고 끝도 없는 '이번만 봐주는' 예외 처리들로 굴러갑니다. 팀마다 정해진 프로세스가 있다고는 말하지만, 실상은 그때그때 눈치껏 대응하는 '숙련된 임시방편'의 반복 요소도 못지 않게 많습니다. 인간은 그 혼란스러운 환경에서도 동료들의 눈치를 살펴가면서 맥락을 흡수하기 때문에 일을 해낼 수 있습니다. 누구에게 물어봐야 답이 나오는지, 어떤 지름길이 허용되는지, 어떤 대시보드 수치가 엉터리인지, 그리고 어떤 규정은 무시해도 되는지 본능적으로 알기도 하고, 업무를 하면서 배워가기도 하기 때문입니다. 하지만 똑같은 환경에 던져진 AI 모델은, 그저 의미를 알 수 없는 데이터 파편들만을 마주할 뿐이죠.

수없이 많은 AI 프로젝트가 데모에서는 화려해 보이다가도, 실제 현장에만 투입되면 꽤 많은 경우에 맥없이 무너지는 이유가 바로 여기에 있습니다. 모델은 교과서적인 업무는 처리할 수 있을지 몰라도, 실제 워크플로우는 문서화된 적 없는 복잡한 관계와 비공식적인 규칙, 그리고 시스템에 기록되지 않은 베테랑들만의 품질 기준으로 가득 차 있기 때문입니다. 기업들은 최첨단 지능을 샀다고 믿었지만, 정작 ‘자신들의 업무가 AI에게 시킬 수 있을 만큼 명확하게 정의된 적이 단 한 번도 없었다’는 사실을 깨닫게 되는 순간을 마주하게 되죠.

결국, 이건 '업무를 어떻게 언어화(표현)하느냐'의 문제로 귀결됩니다.

업무의 실체가 시스템이 접근하고, 대조하고, 검증하고, 직접 행동으로까지 옮길 수 있는 '명세'의 형태로 기술되어 있지 않다면, 아무리 똑똑한 모델을 가져와도 생각보다 큰 도움이 되지 않겠죠. AI의 추론 속도가 빨라지고 시각 기능이 추가된다 한들, 이 근본적인 불통의 문제는 자동적으로 해결되지 않습니다. 기계는 사람 머릿속에만 갇혀 있는 '감'이나 '눈치' 같은 정보로는 결코 신뢰할 수 있게 작동할 수 없습니다.

지난 GTC에서도 아주 인상적인 사례 하나가 공유되었습니다. NVIDIA의 칩 설계팀이 2023년, 야심 차게 준비했던 '반도체 설계 특화 모델'이 첫 시도에서 처참히 실패했다고 털어놓았던 건데요. 모델 자체의 성능이 떨어져서가 아니었습니다. 0.1mm의 오차도 허용하지 않는 하드웨어 엔지니어링 세계에서, 출처조차 알 수 없는 AI의 답변은 그저 '예쁜 쓰레기'에 불과했기 때문입니다. 근거를 명확히 입증하지 못하는 시스템을 신뢰할 엔지니어는 어디에도 없었습니다.

이 뼈아픈 실패 이후에 결정적인 변화가 일어났습니다. 물론 AI 모델도 발전했지만, 핵심은 모델과 기업 내에 존재하는 지식 사이의 '관계'를 뿌리부터 재정의했다는 겁니다. 엔지니어들이 직접 나서서 AI가 학습하기 좋게 문서를 정제하고 분류하기 시작했고, 모든 응답은 즉시 원문을 확인할 수 있도록 설계되었습니다. 이제 '검증 가능성'은 있으면 좋은 부가 기능이 아니라, 시스템 설계에서 결코 타협할 수 없는 제1원칙이 되었다고 합니다.

"우리는 추적 가능성과 검증 가능성의 문제를 해결했고, 그게 바로 엔지니어들이 AI가 만들어낸 답을 신뢰할 수 있게 하는 기반이 되었습니다. 그 신뢰가 실제 AI의 현장 도입을 이끌어 낸 핵심이었구요.”

Shraddha Sridhar, NVIDIA AI for Chip Design 프로덕트 리드

‘코파일럿’ 형태의 AI 도입이 만족스럽지 못한 결과를 낳는 이유

상당 기간, 기업용 AI는 주로 챗봇이나 요약, 코딩 보조, 검색 같은 단순 자동화 기능을 제공하고 '곁에서 거드는 보조 도구'라는 프레임 안에 머물러 있었습니다. 시간을 아끼고 업무량을 늘리는 동시에, 일 처리의 번거로움을 줄이는 게 명확한 목표였기 때문입니다.

지금도 대다수 기업이 'AI를 써서 시간을 얼마나 단축했는가'를 핵심 잣대로 평가하곤 하는데, 이건 측정하기도 가장 쉽고 투자 대비 효율(ROI)을 설명하기도 명쾌한 방식이라, 어찌 보면 당연한 일일지 모릅니다. 하지만 이런 관점에만 매몰되면 역설적으로 AI의 잠재력을 지나치게 좁게 해석하는 우를 범할 수 있습니다. 기존의 일을 그저 30% 정도 빨리 끝내는 데 만족한다면 당장의 속도는 높아질지 몰라도, 진정한 가치를 만들어낼 근본적인 변화를 담아내기에는 턱없이 부족한 인프라를 구축하게 될 뿐이니까요.

우리가 코파일럿을 쓰면서 자주 실망감을 느끼는 이유도 바로 여기에 있습니다. 특정한 작업에서 반짝 성과를 낼 수는 있어도 일하는 방식 자체를 바꾸는 수준까지는 나아가지 못하기 때문입니다. 기업들이 업무의 판을 새로 짜는 대신 도구만 하나 더 얹는 식으로 대응하다 보니, 시간이 흐를수록 시너지가 축적되는 '시스템'이 만들어지기보다 여기저기 조각난 생산성 향상에만 머물게 되는 거라고 할 수 있죠.

결국, 우리가 던져야 할 진짜 질문은 “AI가 시간을 아껴주느냐”가 아닙니다. 때로는 시간을 아껴주겠지만, 초기에는 오히려 손이 더 많이 갈 수도 있기 때문입니다. 정작 본질적으로 중요한 것은 AI가 조직이 수행하는 업무의 타이밍과 범위, 그리고 구조 자체를 근본적으로 뒤바꾸고 있느냐입니다.

사실 현장의 수많은 워크플로우에서 발생하는 고질적인 문제는, 절대적인 업무량이 아니라 필요한 정보가 제때 전달되지 않거나 의사결정이 너무 느리고 부서 간 조율이 지나치게 어렵다는 데 있습니다. AI가 이 고리를 끊어낼 때 그 가치는 단순히 속도가 빨라지는 데서 그치지 않겠죠. 과거에는 적절한 타이밍에 도저히 엄두도 낼 수 없었던 일들을 '실제로 가능하게 만드는 역량' 자체를 갖게 되는 것이 핵심입니다.

이런 차이를 명확히 인식하느냐에 따라, 앞으로 기업이 뭘 위해서, 무슨 목표로 어떤 시스템을 구축해야 할지가 완전히 달라질 겁니다.

"AI를 챗봇으로 생각한다면, 그건 소프트웨어 구매지만, 더 멀리, 더 깊이 보고 구조적 변화를 만들어 내려고 한다면, 워크플로우를 재설계해야 합니다."

Shraddha Sridhar, NVIDIA AI for Chip Design 프로덕트 리드

NVIDIA의 Shraddha Sridhar는 AI 도입 단계를 아래와 같은 세 가지로 명확히 구분합니다.

  • 개인 생산성 — 엔지니어 개인이 에이전트를 활용해 더 빠르게 움직이는 단계.

  • 팀 수준으로 그 패턴을 확장하는 단계.

  • 역량 확장 — 여기서부터 진짜 흥미로운 변화가 일어납니다. Sridhar가 든 예시는 기존 작업을 단순히 빨리 처리하는 데 그치지 않고, 중요한 정보가 공유되는 '시점' 자체를 바꿔버린 '파워 인사이트 에이전트'였습니다. 이전에는 정보가 너무 늦게 공유되는 바람에 정작 칩 설계에는 아무런 영향을 줄 수 없었지만, 이제는 그 타이밍이 몇 달이나 앞당겨졌습니다. 엔지니어들이 아직 손을 쓸 수 있을 때 정보가 손에 잡히게 된 거죠. 이건 결과물 자체가 달라지는, 전혀 다른 차원의 워크플로우가 만들어진 거라고 할 수도 있습니다.

젠슨 황이 OpenClaw 이야기를 꺼내면서, 모든 기업이 "OpenClaw 전략"을 갖춰야 한다고 강조한 것도 바로 이런 맥락입니다. 요점은 모든 회사가 그저 낡은 시스템 위에 어시스턴트 하나를 더 얹는 데 그쳐서는 안 된다는 것일 겁니다. AI가 기업 운영의 진정한 레이어로 자리 잡게 되면, 이제 워크플로우 자체를 재설계하는 게 바로 우리의 핵심 과제가 될 겁니다.

튜링 포스트 코리아는 독자들의 응원으로 만들어집니다. 가치있는 컨텐츠를 지속적으로 여러분과
공유할 수 있도록, 커피 한 잔으로 힘을 보태주세요 ☕

AI가 현장에서 제 구실을 하기 위한 설계 원칙

어떤 분야든지간에, 소위 '잘 돌아간다'는 AI 시스템들을 뜯어보면 공통된 흐름이 보입니다. 화려한 기술 뒤에 숨겨진, 지극히 현실적이고 일관된 AI 시스템 설계의 네 가지 원칙을 뽑아봤습니다:

우선, 무작정 정보를 들이붓는 게 능사가 아닙니다. 프롬프트에 온갖 내용을 다 집어넣는다고 AI가 똑똑해지지 않습니다. 핵심은 오히려 맥락을 얼마나 날카롭게 좁혀주느냐에 있는데, 즉, 꼭 필요한 순간에 딱 맞는 문서와 신호만 골라주는 정교함이 필요합니다. 정보가 너무 많으면 AI는 오히려 갈피를 못 잡고 엉뚱한 소리를 하기 때문이죠. 지난 GTC에서 코드래빗(CodeRabbit)이 보여준 사례도 같은 맥락인데, 무거운 모델이 전체 코드를 다 훑는 대신, 가벼운 모델들이 팀의 작업 관행이나 이전 작업 이력 같은 '진짜 핵심'만 기가 막히게 찾아오게 만든 것이 성공의 비결이었습니다.

둘째, "왜 이런 답이 나왔는지"를 누구나 확인할 수 있어야 합니다. 실력이 좋은 전문가일수록 AI가 내놓은 결과만 보고 덥석 믿지 않습니다. 근거가 뭔지, 어떤 가정을 세웠는지 눈으로 확인하고 싶어하죠. 특히 한 치의 오차도 허용되지 않는 현장에서는 더더욱 그렇군요. 엔비디아의 칩 설계팀도 처음에는 이 벽에 부딪혔지만, 엔지니어들이 답변의 출처를 직접 추적하고 검증할 수 있게 시스템을 바꾸고 나서야, 비로소 AI를 믿고 실무에 쓸 수 있게 되었다고 합니다.

셋째, 현장의 안목을 시스템에 녹여내는 과정도 필수적입니다. 어떤 문서가 진짜고 어떤 정보가 낡았는지, 그리고 어떤 예외 상황이 위험한지를 가장 잘 아는 사람은 결국 현장의 전문가입니다. 이들이 설계 단계에서 소외되면 시스템은 금세 껍데기만 남게 됩니다. 엔지니어는 단순히 AI가 주는 답을 받아먹는 사용자가 아니라, AI가 학습할 지식의 토대를 직접 다듬고 관리하는 주체가 되어야 합니다. 결국 시스템의 수준을 결정하는 것은 여전히 엔지니어의 통찰력이니까요.

마지막으로, 잘못된 점이 보인다면 올바른 방법을 가르쳐서, 스스로 개선할 수 있게끔 만들어야 합니다. 한 번 쓰고 마는 도구가 아니라 시간이 갈수록 진화하는 시스템이 되려면, 피드백이 정교하게 돌아가야 합니다. 단순히 "틀렸다"는 말로는 아무것도 바뀌지 않습니다. 무엇이 틀렸고 어떻게 고쳐야 하는지 구체적으로 가르쳐야 검색 로직도, 운영 정책도 바로잡을 수 있습니다. 사실 이건 아주 오래된 원칙이죠. 시스템을 끊임없이 교정하고 가르쳐야 한다는 기본으로 돌아가야 합니다.

그동안 AI를 논할 때 우리 모두 아무래도 '최신 모델'이나 '눈에 보이는 앱'에만 집중하곤 했던 게 사실입니다. 하지만 진짜 가치가 만들어지는 곳은 그 사이의 빈틈, 즉 정보를 골라내고, 근거를 검증하고, 전체 흐름을 조율하는 과정에 있다는 것이 점점 확실해지고 있습니다.

이제는 프롬프트를 잘 쓰는 단계를 지나서, AI가 현실 세계에서 진짜로 제 역할을 할 수 있도록 전체적인 구조(Harness)를 설계하는 단계에 들어서고 있습니다. 모델을 감싸고 있는 이 뼈대를 얼마나 탄탄하게 세우느냐가 앞으로 기업의 진짜 실력이 될 겁니다.

그런데 현장에서 이야기를 나눠 보면, 많은 기업에서 성급하게 'AI가 알아서 다 하는' 자율화 단계로 건너뛸 수 있는지를 물어보시곤 합니다. 개인이 각자 도구를 활용해 보는 수준을 지나자마자, 사람의 감독 없이도 복잡한 업무를 척척 해내는 멀티 에이전트 시스템을 구축하겠다는 야심찬 계획으로 직행하고 싶은 욕망에 휩싸이는 거죠.

기술적인 환상에 부풀어 목표를 크게 잡는 그 마음과 상황은 충분히 이해하지만, 실무적으로는 큰 허점이 있습니다. 바로 앞서 강조한 '신뢰 형성'이라는 중간 과정을 건너뛸 수 있다고 생각하는 믿음입니다.

실제 현장에서 AI가 안착하는 과정은 이론적인 성숙도 모델보다 훨씬 단순하면서도 냉혹합니다.

  • 먼저, 시스템이 실무자에게 '일 잘한다'는 확신을 주어야 합니다. (신뢰 구축)

  • 그 확신이 쌓여야만 비로소 실제 업무 흐름(Workflow)의 한 자리를 내어줄 수 있고, (현장 투입)

  • 그제야 비로소 AI에게 판단과 실행의 핸들을 맡길 수 있습니다. (권한 위임)

하지만 대다수 기업은 특히 이 첫 번째 '신뢰' 단계를 생략하고 싶어합니다. 과정이 더디고, 운영 면에서 지저분한 뒷일도 많구요, 무엇보다 경영진에게 보여줄 데모 화면이 그리 화려하지 않기 때문이죠. 그렇지만 이 기초 공사를 단단히 하지 않고서는, 성과가 스스로 불어나는 '플라이휠'은 결코 만들어지지 않습니다. 껍데기뿐인 파일럿 프로젝트와 파편화된 솔루션, 그리고 실현 가능성 낮은 장밋빛 미래 계획서만 캐비닛에 쌓일 뿐이죠.

신뢰를 중심으로 사용자 피드백을 활용한 지속적 개선이 없이는, 플라이휠은 만들어지지 않습니다.
Image Credit: 튜링포스트

이런 상황에서 NVIDIA의 Shraddha Sridhar는 복잡한 컨설팅 도표보다 훨씬 본질적인 세 가지 질문을 던집니다:

  1. 사용자와 어떻게 신뢰를 쌓고 있습니까? 단순히 기능을 제공하는 것을 넘어, 사용자가 AI의 답변을 검증하고 믿을 수 있게 만드는 장치가 있느냐는 뜻입니다.

  2. 실무자의 머릿속에만 있는 '진짜 노하우'를 받아낼 준비가 됐습니까? 문서화되지 않은 전문가의 직관과 피드백을 시스템으로 끌어들일 통로가 확보되어야 합니다.

  3. 그렇게 얻은 피드백을 시스템 개선에 실제로 써먹고 있습니까? 포착된 데이터가 검색 로직이나 운영 정책에 즉각 반영되어 '어제보다 똑똑한 시스템'을 만들고 있느냐는 질문입니다.

결국 이 질문들에 명확히 답할 수 없다면, 우리가 꿈꾸는 '자율 AI'의 길은 열리지 않습니다. 적어도 지금 당장은 말이죠.

이제 ‘경영의 문제’가 된 AI 기반 혁신

이런 맥락에서 볼 때, 지금의, 그리고 앞으로의 AI 기반 전환은 단순한 기술 도입이 아닙니다. 엔지니어링의 문턱을 넘어 경영의 핵심을 정면으로 겨냥하고 있죠.

일상적인 업무를 시스템이 대신 실행하기 시작하면, 조직 내에서 가장 귀하게 대접받던 자산의 무게 중심이 이동하게 되죠. 업무의 병목 구간이 '누가 더 빨리 숙제를 해내는가'에서 벗어나기 때문에요. 이제 진짜 실력은 무엇을 할지 명확히 정의하고(명세화), 경계를 정하고, 예외 상황을 골라내면서 결과물의 수준을 가늠하는 '안목'에서 나옵니다. 실행할 수 있는 자원이 흔해질수록, 정작 "무엇을 해야 하는가"를 결정하는 능력의 가치는 더욱 치솟아 오르게 되는 겁니다.

이런 변화는 조직 내부의 권력 지형까지도 바꿀 수 있습니다. 현장의 비즈니스 문제를 꿰뚫고 있는 실무 전문가들이 전략적으로 훨씬 중요해지는 시대가 올 수 있으니까요. 본질인지 무엇인지 규정하고, 시스템이 놓칠 수 있는 엣지 케이스를 찾아내고, AI가 올바른 문제를 풀고 있는지 평가할 수 있는 역량이 바로 그 분들에게 있다는 것 때문입니다.

제품을 보는 눈, 현장 감각, 전문적 판단력은 결코 가벼워지지 않고, 오히려 이전보다 훨씬 더 결정적인 변수가 됩니다. 엔지니어링도 물론 여전히 필수적이지만, 그 역할은 이제 ‘전문가들의 날카로운 판단이 안전하고 반복 가능하게 구현될 수 있도록 단단한 토대를 만드는 일’로 진화하게 됩니다.

이 과정에서 '대충 이 정도면 되겠지'라는 모호한 생각은 아주 비싼 대가를 치르게 될 겁니다. 사실 인간 조직은 역사적으로 모호함이라는 것에 꽤 관대했습니다. 사람이 알아서 그 빈틈을 메우는 데 능하기 때문이었죠. 리더가 대략적인 방향만 던져줘도, 숙련된 직원이 의도를 찰떡같이 알아듣고 어떻게든 일을 완수해 왔습니다.

하지만 기계 시스템은 결코 관대하지 않습니다. 모호함을 스스로 해결해주지도 않습니다. 불확실성은 고스란히 실패나 환각, 시스템의 이탈로 이어지고, 결국 워크플로우 전체를 위태롭게 만듭니다.

따라서, 조직에서 AI를 도입할 때 맞이할 진짜 도전은 단순히 AI를 들여오는 것에 있지 않습니다. 회사가 실제로 어떻게 돌아가는지, 품질의 기준은 무엇인지, 권한은 어디에 있고 어떤 예외가 결정적인지, 그리고 수정 사항이 어떻게 시스템에 환류되는지를 이전보다 훨씬 더 투명하고 명시적인 정보로 만들어가는 작업이 정말 어려운 작업입니다. 우리 업무의 상당 부분이 애초에 체계적으로 정립된 적이 없었다는 민낯을 마주해야 할 수도 있는, 꽤 고통스러운 과정이 될 수 있습니다.

지난 GTC에서도 이런 ‘역할의 재편’을 암시하는 날카로운 통찰력있는 말들이 오고갔습니다:

"에이전트가 당분간 가지지 못할 능력은, 바로 ‘무엇을 만들어야 할지 결정’하는 실질적인 주체성입니다. 세상에 필요한 옳은 것들을 만들겠다고 결정하는 것, 그게 가장 핵심적인 부분입니다."

Aman Sanger, Cursor 공동창업자

이런 통찰력은 소프트웨어 개발의 범위를 넘어서 비즈니스의 전반에 통용됩니다. ‘실행의 비용’이 저렴해질수록, ‘무엇이 중요한지 결정’하는 가치는 훨씬 더 올라갑니다. Mira Murati 역시 같은 경제적 관점을 제시했습니다. 지능의 단위 비용은 계속 떨어지고 있지만, 그 지능에 대한 수요는 오히려 폭발하고 있습니다. 지능이 흔해질수록 병목 지점은 그 상류, 즉 '무엇을 어떻게 할지 정의하는 단계(명세화)'로 이동합니다.

결국, 지능이 저렴해지는 것만으로는, 경영이 수없이 고민해 온 숙제를 자동적으로 해결할 수는 없다는 겁니다. 거꾸로, 우리가 그동안 얼마나 모호하게 경영을 해 왔는지를 투명하게 드러낼 뿐이예요.

맺으며: 진짜 격차

한동안 AI의 격차는 오로지 기술력에 달려 있는 것처럼 보였습니다. 누가 더 뛰어난 모델을 가졌는지, 컴퓨팅 자원은 얼마나 확보했는지, 연구진과 데이터의 수준은 어떤지가 성패를 가르는 잣대였죠.

물론 기술은 여전히 중요합니다. 하지만 이제는 또 다른 차원의 격차가 선명해지고 있습니다. 어쩌면 대다수 기업에게는 기술보다 이 격차가 훨씬 더 결정적일지 모릅니다. 바로 '자기 조직의 일하는 방식을 기계가 읽을 수 있는(Machine-readable) 구조로 설계할 수 있는가'의 차이예요.

AI를 그저 기존 업무를 좀 더 빨리 끝내게 돕는 도구로 보는 낡은 프레임은 이제 한계에 다다랐습니다. 마치, 공장 지하실에 최신 엔진만 새로 들여놓고, 나머지 낡은 설비들은 그대로 둔 채 돌아가길 바라는 것과 같아요. 이런 식으로는 지엽적인 성과를 낼 순 있어도, 근본적인 변화라는 더 큰 기회는 절대 잡을 수 없습니다.

이제는 지능을 하나의 '인프라'로 바라보는 새로운 프레임이 필요합니다. 관점을 바꾸면 질문도 달라집니다. 단순히 "AI가 어디에 도움이 될까?"를 넘어서, "AI를 제대로 활용하기 위해서 우리 조직은 어떤 형태를 갖춰야 하는가?"라는 훨씬 더 본질적이고 어려운 질문을 마주하게 됩니다.

결국 앞서나가는 기업들은 다음 세 가지에 집중할 겁니다.

  1. 암묵적 지식을 구조화된 맥락(Context)으로 바꿉니다. 현장에 흩어진 노하우, 숨겨진 예외 상황, 조직의 파편화된 기억들을 시스템이 즉시 활용할 수 있는 형태로 정제해야 합니다. 기업의 작동 원리를 기계가 이해할 수 있게 만드는 과정입니다.

  2. 그 맥락을 검증 가능한 행동으로 연결합니다. 결과물을 끝까지 추적하고 확인할 수 있는 구조를 짜야 합니다. 실제 비즈니스 의사결정과 실행을 전적으로 맡길 수 있을 만큼, 충분히 신뢰할 수 있는 워크플로우를 구축하는 단계입니다.

  3. 사람의 수정을 시스템의 피드백 루프로 전환합니다. 실무자의 일상적인 사용과 전문가의 피드백이 고스란히 시스템의 학습 데이터로 쌓이게 만듭니다. 도구를 쓰는 행위 자체가 시스템을 더 똑똑하게 만드는 선순환 구조를 설계하는 것입니다.

결국 다음 세대의 성과는, 기술 그 자체보다 자신들의 업무를 명확히 설명하고 구조화하고 재설계하는 법을 먼저 깨우치는 기업들의 몫이 될 것입니다.

튜링 포스트 코리아는 독자들의 응원으로 만들어집니다. 가치있는 컨텐츠를 지속적으로 여러분과
공유할 수 있도록, 커피 한 잔으로 힘을 보태주세요 ☕

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!

Reply

Avatar

or to participate

Keep Reading