튜링 포스트 코리아의 ‘AI 에이전트’ 시리즈에서는 지금까지 추론, 기억, 성찰, 행동, 도구의 통합, MCP, A2A 등 에이전트와 관련한 다양한 토픽을 다뤘습니다.

오늘은, 조금 다른 관점이지만 역시 못지않게 중요한 근본적인 주제에 한 번 접근해 볼까 합니다: 바로, 사람이 에이전트의 워크플로우에 어떻게 참여할 것인가, 사람과 에이전트가 어떤 구조로 어떻게 협력할 것인가 하는 문제, Human-AI Co-Agency입니다.

위 그림에서 보듯, 미국의 철학자 헨리 데이비드 소로는 1845~1847년에 "인간이 자신의 도구들의 도구가 되었다"라는 문구를 썼습니다. 바로 철도, 전신 (Telegram), 농기구 같은 19세기의 기술에 대해서 이야기하면서 한 말인데요. 이런 기술, 도구들은 사람을 위해서 만들어진 것인데도, 소로는 사람들이 ‘도구를 중심으로 스스로의 삶을 재구성’하는 모습을 본 것이죠. 진짜 두려워해야 할 것은, 새로운 기술 그 자체가 아니라, 우리가 만든 시스템에 주도권을 잃는 것이었다는 겁니다.

헨리 데이비드 소로의 말을 곱씹어 보면, 이런 두려움은 새로운 게 아니고 항상 신기술이 등장할 때마다 반복되어 온 거라는 걸 깨닫게 됩니다. 다만, AI의 물결이 강하게 몰아치는 지금이 과거와 다른 점은, 역사상 처음으로 ‘우리가 만든 도구가 실제로 의미있는 답변을 하고 결정마저 내릴 수 있다’는 것일 겁니다. 바로 이 때문에, Co-Agency, 즉 AI와 함께 살아가면서 협력하고 공동의 주도권 하에서 의사결정을 하는 방법에 대해서, 그 구조와 기제 (Mechanism)에 대해서 깊이 생각해야 합니다.

Co-Agency에 접근할 때, 두 가지의 관점이 있을 텐데, 두 가지 모두 아주 깊은 역사적인 맥락을 갖고 있습니다:

자, 그럼 HITL이 어떤 모습으로 변화하고 있는지, AI 에이전트가 중심이 될 워크플로우에서 사람의 위치는 어디쯤일지 살펴볼 준비가 되셨나요?

오늘 에피소드에서는 다음과 같은 내용을 커버합니다:

‘AI 에이전트’ 시리즈의 지난 에피소드들을 통해서, ‘에이전트가 UI 또는 API를 통해서 어떻게 행동 (Action)을 할 수 있게 되는지’, 그리고 ‘MCP라는 프로토콜이 이런 행동 (Action)을 어떻게 표준화, 구조화해 주는지’ 말씀드렸습니다. 에이전트에게 ‘자율성’을 비교적 쉽게 부여할 수 있게 되었고, ‘행동’도 원활하게 할 수 있는 환경이 만들어졌습니다.

이 말을 다르게 해석하면, 이제 에이전트를 둘러싼 ‘조정 (Orchestration)’은 ‘사람의 문제’로 치환되었다는 뜻이기도 합니다.

HITL (Human-in-the-Loop )은 한 마디로 하자면 ‘AI 에이전트’ 시스템을 현실 세계에서 사용할 수 있게끔 해 주는 안전 장치 (Safety Net)’이라고 할 수 있습니다.

AI 에이전트가 더 많이 자율적으로 여러 단계를 거치는 작업을 맡게 되면서, 공통의 문제들에 부딪히게 되는데요: 바로 환각 (Hallucination), 불안정한 추론, 예측하기 힘든 비상식적인 결정 같은 것들이죠. 완벽하지는 않지만, HITL가 그런 문제들을 사전에 방지하거나 해결하는데 도움을 주는 하나의 해결책이 됩니다.

HITL은 문제를 해결하기 위해서 급조된 미봉책이 아니라, 반복해서 참고하고 적용할 수 있는, 일종의 ‘디자인 패턴’으로 바라봐야 합니다: 결과를 검증하고, 행동을 조정하고, 필요한 경우에는 시스템의 작동과 의사결정을 무시하거나 기각할 수 있도록, 사람을 ‘의사결정 과정, 즉 루프’에 관여하게 하는 겁니다.

질문이 애매할 때 챗봇이 결과를 지어내지 않도록 질문을 명확하게 하기 위해서 잠깐 멈춰 질문을 한다거나, AI가 실제 작업을 시작하기 전에 사람이 승인하게끔 기다리는 워크플로우, 또는 자율주행차가 일상적 상황에서는 알아서 운행하다가 예상치 못한 상황에서는 사람이 개입할 수 있게끔 하는 것 등, 다양한 시나리오가 있을 수 있을 겁니다.

그런데 사실 실제 상황은, 생각보다는 다루기 까다로울 수도 있죠: 자율주행차의 경우, 어떤 정도로 예상치 못한 상황이어야 제어권을 사람에게 줬다가 다시 차량이 가져오고 하는 흐름이 원활하면서도 사람에게 불편하지 않게 하는 수준일까요? 결국 HITL은, ‘균형의 문제’이기도 합니다.

그리고, 특히 멀티 에이전트 시스템에서 HITL을 설계의 요소로 포함하는 걸 잊기가 쉽습니다.

J. C. R. Licklider의 1960년 작품 Man-Computer Symbiosis를 읽으면서, 정말 예전의 글들을 다시 볼 때마다 새로운 생각을 하게 된다는 걸 깨달았는데요.

이 글에서, Licklider는 ‘기계가 언젠가 인간의 인지 능력을 넘어설 수 있다’는 점을 인정하기는 했지만, ‘공생’을 반드시 거쳐야 하는 중간 단계로 보고 있습니다 – 그리고 이 ‘공생’의 단계가, 어쩌면 인류의 역사상 가장 지적으로 풍부하면서도 생산적인 단계일 거라고 이야기하고 있어요. 지금 우리는, 막연하게 떠올리는 ‘AGI’에 대해서는 그렇게 갑론을박이 많은데, 이런 ‘공생’의 구조와 이슈에 대해서는 별 이야기가 없는 걸까요?

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!