🦸🏻#4: '집사'에서 '자비스'로, 그리고 다시 '집사'?

글을 시작하며

자, 오랜만에 만나는 ‘AI 에이전트’ 시리즈의 네 번째 에피소드입니다. 기다려 주셔서 감사합니다!

이번 에피소드는 좀 특별한데요 - 에이전트의 일반적인 역사를 또 다루기보다는, 한 번 방향을 틀어보려고 합니다. 원래는 ‘역사 중심의 에피소드’를 준비했었는데, 구글의 ‘프로젝트 자비스(Project Jarvis)’라든가, Physical Intelligence의 π0 같이 최근에 등장한 새로운 기술을 보면서 생각을 바꾸게 됐습니다.

그래서 오늘은, '그냥 매우 지능적인 시스템 (Just A Rather Very Intelligent System)'이라는 뜻을 가진 J.A.R.V.I.S.(자비스)를 중심으로 이야기를 풀어나가볼까 합니다. 자비스는, 여러분 모두 아시다시피, ‘유능한 AI’를 생각할 때 떠올릴 만한 훌륭한 예시이면서…집사이기도 하죠.

오늘 에피소드에서 다룰 내용들입니다:

• 자비스 (그리고 모두가 잊어버린 H.O.M.E.R.)

• 저커버그의 자비스와 구글의 프로젝트 자비스

• 다시 집사 (Butler)의 본질로

• 다재다능한 로보틱 파운데이션 모델, π0 개요

• 맺으며

자, 함께 들어가 보시죠!

자비스 (그리고 모두가 잊어버린 H.O.M.E.R)

많은 분들에게 익숙할 것 같습니다 - 자비스는 2008년 영화 '아이언맨'에서 영화배우 폴 베타니의 목소리로 첫 영화 데뷔를 했습니다. 그렇지만 원작인 마블 코믹스로 거슬러 올라가면, 자비스는 AI로 출발한 건 아니었어요.

최초의 자비스는, ‘에드윈 자비스’라는 사람이었습니다.

에드윈 자비스는, 하워드 스타크의 집을 관리하고, 어벤저스 맨션을 돌보는, 바로 스타크의 충직한 ‘집사’였죠 - 여러분과 저, 그리고 많은 사람들이 AI에게 맡기고 싶어하는, 그런 일들을 하는 사람이었다고 할까요?

2008년, 마블은 에드윈 자비스의 캐릭터를, 좀 덜 알려진 코믹스 캐릭터인 H.O.M.E.R.(Heuristically Operative Matrix Emulation Rostrum, 휴리스틱 운영 매트릭스 에뮬레이션 로스트럼)와 합치기로 했습니다. H.O.M.E.R.는 초기 프로토타입 스타일의 디지털 비서였습니다. 토니 스타크가 만든 프로그램이었죠.

H.O.M.E.R.는 자비스처럼 대화형으로 상호작용한다는 측면의 매력은 없었지만, ‘데이터 처리’라든가 기타 기본적인 작업을 수행할 수 있었고, 스타크 가(家)의 ‘진화하는 AI 시스템’의 기초가 되었습니다.

‘실용적이지만 제한적’이었던 H.O.M.E.R.는, 엄밀하게 딱 기능적인 (Functional) 수준에서 작동하는 ‘작업 지향적 (Task-Oriented)’ 시스템이었죠 - 이후에 자비스가 구현하게 될 학습, 상호작용 능력 등은 없었습니다.

현재 AI 에이전트를 둘러싼 상황을 대입해 보면:

• H.O.M.E.R.는 우리가 지금 가지고 있는 수준의 AI 에이전트

• 자비스는 미래를 위해서 만들려고 노력해 보고 있는 미래의 AI 에이전트

정도로 이야기해도 될 것 같습니다.

그런데, 우리는 AI가 우리 곁에 항상 있으면서 내 필요를 채워주는, 심지어 물리적인 도움까지 줄 수 있는, ‘집사 (Butler)’처럼 되기를 원하기도 하죠.

저커버그의 자비스와 구글의 프로젝트 자비스

메타 AI

대부분 기억하지 못하시겠지만, 2016년에 당시의 페이스북 CEO, 마크 저커버그는 아이언맨 시리즈의 캐릭터 자비스에서 영감을 받아서 ‘자기 집을 위해서 사용할 AI 비서’를 개발하는 개인 프로젝트를 시작했었죠.

역시 자비스라고 이름 지어진 이 AI는, 조명, 온도, 음악, 보안 시스템을 포함한 다양한 가정 내 기능들을 제어하도록 설계되었습니다. 현관에서 손님을 인식하고, 가전제품을 관리하고, 심지어 저커버그의 딸 맥스를 즐겁게 해주는 친구가 되기도 했습니다. 저커버그는 Python, PHP, Objective-C 같은 프로그래밍 언어로 이 시스템을 구축했고, 자연어 처리 (NLP), 얼굴 인식 등의 다양한 AI 기술도 활용했다고 합니다.

그 때 자비스를 만드는데 100시간 정도를 투자했다고 하는데요, 아주 많은 코딩 어시스턴트들이 나와 있는 오늘 같은 일을 한다면 그 시간이 많이 줄어들지 않을까 싶기도 하네요? 당시 저커버그가 썼던 블로그 글을 한 번 다시 읽어보면, 꽤나 흥미진진합니다:

2016년의 자비스는, 2023년, 메타 AI 에이전트들의 영감이자 기반이 되었습니다.

zuck

View more on Instagram

구글의 프로젝트 자비스

자비스에서 영감을 받은 가장 최근의 프로젝트라고 한다면, 아마 구글의 새로운 AI 에이전트 - 역시 이름은 자비스죠 - 일 것 같습니다.

구글의 자비스는, 웹 브라우저 - 주로 크롬 브라우저 - 와 직접 상호작용하면서 사용자가 원하는 작업을 처리하도록 설계되었습니다. 비즈니스나 코딩 등에 중점을 두고 있는 다른 디지털 AI 에이전트들과는 달리, 구글의 자비스는 항공권 예약, 제품 구매, 반품 관리 등의 일상적인 웹 기반 작업 소비자들을 대신해서 단순화해 줍니다. 구글의 Gemini LLM을 기반으로 하는 자비스는, 브라우저 스크린샷을 해석해서 웹페이지를 탐색하고 버튼 클릭이나 텍스트 입력 같은 작업들을 수행합니다.

The Information에 따르면, 현재는 각 작업을 신중하게 처리하느라 자비스가 다소 느린 속도로 작동한다고 합니다. 초기에는 제한된 커뮤니티를 대상으로 출시될 예정인데, 특히 자비스가 작업을 완료하는 과정에서 민감한 정보에 접근해야 할 수 있기 때문에 ‘사용성’과 ‘개인정보 보호 처리’를 테스트하는 데 초점을 맞출 것으로 보입니다.

다시 집사 (Butler)의 본질로

수많은 디지털 AI 에이전트들이 벌떼같이 등장하고 있는 지금, 저도 그렇고 아마 많은 분들이 의문을 가지고 계실 거예요 - AI가 글쓰기, 그림그리기 같은 창의적인 분야는 그렇게 잘 해내면서, 왜 아직도 빨래 개기나 설거지 같은 작업은 엄두도 못 내고 있을까요? UC 버클리의 교수이기도 하면서 Physical Intelligence의 공동창업자인 세르게이 레빈 (Sergey Levine)의 트윗이 제 눈길을 끕니다:

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!

1  Flow Matching 기술은 AI 학계에서 큰 관심을 받고 있고 이미 다양한 영역에서 인상적인 결과를 만들어내고 있는 기술입니다. 이 기술에 대해서 AI 101에서 곧 다룰 예정입니다.