🦸🏻#16: '도구'로서의 인간? - 에이전틱 워크플로우에서 HITL의 진화

들어가며

튜링 포스트 코리아의 ‘AI 에이전트’ 시리즈에서는 지금까지 추론, 기억, 성찰, 행동, 도구의 통합, MCP, A2A 등 에이전트와 관련한 다양한 토픽을 다뤘습니다.

오늘은, 조금 다른 관점이지만 역시 못지않게 중요한 근본적인 주제에 한 번 접근해 볼까 합니다: 바로, 사람이 에이전트의 워크플로우에 어떻게 참여할 것인가, 사람과 에이전트가 어떤 구조로 어떻게 협력할 것인가 하는 문제, Human-AI Co-Agency입니다.

위 그림에서 보듯, 미국의 철학자 헨리 데이비드 소로는 1845~1847년에 "인간이 자신의 도구들의 도구가 되었다"라는 문구를 썼습니다. 바로 철도, 전신 (Telegram), 농기구 같은 19세기의 기술에 대해서 이야기하면서 한 말인데요. 이런 기술, 도구들은 사람을 위해서 만들어진 것인데도, 소로는 사람들이 ‘도구를 중심으로 스스로의 삶을 재구성’하는 모습을 본 것이죠. 진짜 두려워해야 할 것은, 새로운 기술 그 자체가 아니라, 우리가 만든 시스템에 주도권을 잃는 것이었다는 겁니다.

헨리 데이비드 소로의 말을 곱씹어 보면, 이런 두려움은 새로운 게 아니고 항상 신기술이 등장할 때마다 반복되어 온 거라는 걸 깨닫게 됩니다. 다만, AI의 물결이 강하게 몰아치는 지금이 과거와 다른 점은, 역사상 처음으로 ‘우리가 만든 도구가 실제로 의미있는 답변을 하고 결정마저 내릴 수 있다’는 것일 겁니다. 바로 이 때문에, Co-Agency, 즉 AI와 함께 살아가면서 협력하고 공동의 주도권 하에서 의사결정을 하는 방법에 대해서, 그 구조와 기제 (Mechanism)에 대해서 깊이 생각해야 합니다.

Co-Agency에 접근할 때, 두 가지의 관점이 있을 텐데, 두 가지 모두 아주 깊은 역사적인 맥락을 갖고 있습니다:

• 첫째, 실용적이고 구조적인 Co-Agency
  
  이게 바로 흔히 이야기하는 HITL (Human in the Loop) 인데요. 종종, 도구를 호출 (Tool Calling)한다는 맥락에서 ‘사람이 도구로서의 역할’을 하는 겁니다.
  
  맞아요. 어떻게 보면, ‘최종 의사결정자’였던 사람이, 에이전트의 도구 상자 (Tool Box) 안에 있는, 그저 ‘필요에 따라 호출할 수 있는 함수’처럼 역할을 하게 되는 거죠. 일종의 ‘전락’이라고 해야 할까요?
  
  물론, 항상 그런 것도, 모든 경우에 그런 것도 아니지만, 이런 설정이 점점 일반화될 수 밖에 없을 거라고 봅니다. 이 세팅이 바로 오늘 깊이 들여다보려고 하는 내용입니다.

• 둘째, 경험적인, 대화형의 Co-Agency
  
  HITL과는 좀 다른 맥락에서, AI와 사람이 소통하는 방식, 그 인터페이스 (UX)가 혁신적으로 변화하고 있죠. 예를 들면, 음성 기반의 상호작용이라든지, 시각적으로 AI의 사고 과정을 보면서 중간 중간 지시사항을 변경한다든지 하는 것들이요.
  
  마치 인터넷의 확장성을 극대화한 ‘하이퍼링크’라든지, ‘마우스’의 발명 같은 것들이 비슷한 맥락이라고 할 수 있다고 생각하는데요. 이런 내용들은 별도의 에피소드로 다뤄 보도록 하겠습니다.

자, 그럼 HITL이 어떤 모습으로 변화하고 있는지, AI 에이전트가 중심이 될 워크플로우에서 사람의 위치는 어디쯤일지 살펴볼 준비가 되셨나요?

오늘 에피소드에서는 다음과 같은 내용을 커버합니다:

• ‘에이전틱 워크플로우’의 맥락에서 HITL이란 무엇인가?

• HITL의 진화 과정

  • HITL 1.0: ‘문지기 (Gatekeeper)’로서의 인간

  • HITL 2.0: ‘루프’ 안의 군중 (Crowd)

  • HITL 3.0: ‘레이블링’에서 ‘선호도에 대한 피드백’까지

  • HITL 4.0: ‘도구’로서의 인간

  • HITL 5.0: Co-Agency

• HITL이 현대적인 AI 에이전트의 행동에 어떤 영향을 주는가

• HITL의 발전 방향

• 맺으며

• 보너스: 참고자료

‘에이전틱 워크플로우’의 맥락에서 HITL이란 무엇인가?

‘AI 에이전트’ 시리즈의 지난 에피소드들을 통해서, ‘에이전트가 UI 또는 API를 통해서 어떻게 행동 (Action)을 할 수 있게 되는지’, 그리고 ‘MCP라는 프로토콜이 이런 행동 (Action)을 어떻게 표준화, 구조화해 주는지’ 말씀드렸습니다. 에이전트에게 ‘자율성’을 비교적 쉽게 부여할 수 있게 되었고, ‘행동’도 원활하게 할 수 있는 환경이 만들어졌습니다.

이 말을 다르게 해석하면, 이제 에이전트를 둘러싼 ‘조정 (Orchestration)’은 ‘사람의 문제’로 치환되었다는 뜻이기도 합니다.

HITL (Human-in-the-Loop )은 한 마디로 하자면 ‘AI 에이전트’ 시스템을 현실 세계에서 사용할 수 있게끔 해 주는 안전 장치 (Safety Net)’이라고 할 수 있습니다.

AI 에이전트가 더 많이 자율적으로 여러 단계를 거치는 작업을 맡게 되면서, 공통의 문제들에 부딪히게 되는데요: 바로 환각 (Hallucination), 불안정한 추론, 예측하기 힘든 비상식적인 결정 같은 것들이죠. 완벽하지는 않지만, HITL가 그런 문제들을 사전에 방지하거나 해결하는데 도움을 주는 하나의 해결책이 됩니다.

HITL은 문제를 해결하기 위해서 급조된 미봉책이 아니라, 반복해서 참고하고 적용할 수 있는, 일종의 ‘디자인 패턴’으로 바라봐야 합니다: 결과를 검증하고, 행동을 조정하고, 필요한 경우에는 시스템의 작동과 의사결정을 무시하거나 기각할 수 있도록, 사람을 ‘의사결정 과정, 즉 루프’에 관여하게 하는 겁니다.

질문이 애매할 때 챗봇이 결과를 지어내지 않도록 질문을 명확하게 하기 위해서 잠깐 멈춰 질문을 한다거나, AI가 실제 작업을 시작하기 전에 사람이 승인하게끔 기다리는 워크플로우, 또는 자율주행차가 일상적 상황에서는 알아서 운행하다가 예상치 못한 상황에서는 사람이 개입할 수 있게끔 하는 것 등, 다양한 시나리오가 있을 수 있을 겁니다.

그런데 사실 실제 상황은, 생각보다는 다루기 까다로울 수도 있죠: 자율주행차의 경우, 어떤 정도로 예상치 못한 상황이어야 제어권을 사람에게 줬다가 다시 차량이 가져오고 하는 흐름이 원활하면서도 사람에게 불편하지 않게 하는 수준일까요? 결국 HITL은, ‘균형의 문제’이기도 합니다.

그리고, 특히 멀티 에이전트 시스템에서 HITL을 설계의 요소로 포함하는 걸 잊기가 쉽습니다.

HITL의 진화 과정

J. C. R. Licklider의 1960년 작품 Man-Computer Symbiosis를 읽으면서, 정말 예전의 글들을 다시 볼 때마다 새로운 생각을 하게 된다는 걸 깨달았는데요.

이 글에서, Licklider는 ‘기계가 언젠가 인간의 인지 능력을 넘어설 수 있다’는 점을 인정하기는 했지만, ‘공생’을 반드시 거쳐야 하는 중간 단계로 보고 있습니다 – 그리고 이 ‘공생’의 단계가, 어쩌면 인류의 역사상 가장 지적으로 풍부하면서도 생산적인 단계일 거라고 이야기하고 있어요. 지금 우리는, 막연하게 떠올리는 ‘AGI’에 대해서는 그렇게 갑론을박이 많은데, 이런 ‘공생’의 구조와 이슈에 대해서는 별 이야기가 없는 걸까요?

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!