‘컴퓨터 사용’ AI 에이전트(Computer-use AI agent)는 사람이 컴퓨터를 쓰는 것처럼 화면에 보이는 버튼이나 입력창을 직접 조작하는 AI입니다. API를 호출하는 것에 더해서 그래픽 사용자 인터페이스(GUI)를 직접 다룰 수 있습니다.
화면에 뭐가 떠 있는지 읽고, 커서를 움직여 버튼을 누르거나 글자를 입력합니다. 웹사이트를 돌아보고 데스크톱 앱을 열어 양식을 채울 수도 있죠. 이런 동작을 이어 가면 여러 앱에 걸친 일도 처리할 수 있습니다.
기존 AI 에이전트는 주로 API를 호출하거나, 정해진 형식으로 도구에 요청을 보냅니다. 이런 에이전트를 만드는 프레임워크와 SDK는 도구 호출과 메모리, 여러 작업의 실행 순서를 관리하는 데 쓰입니다. 컴퓨터 사용 에이전트는 웹사이트와 데스크톱 앱, 운영체제, 모바일 기기의 화면까지 직접 다룹니다.
에이전트는 스크린샷이나 다른 시각 정보, 또는 버튼과 입력창의 이름을 알려 주는 접근성 데이터를 통해 현재 상태를 파악합니다. 그다음 뭘 할지 정하고, 한 번 행동한 뒤에 새 화면을 다시 읽습니다. 일이 끝날 때까지 이 과정을 반복하죠. 튜링포스트 코리아의 AI 에이전트 시리즈 두 번째 에피소드에서 설명한 ‘인식–계획–행동’의 반복인데요, 앱끼리 연동하는 기능이 없어도 여러 앱에 걸친 일을 자동화할 수 있는 이유가 여기에 있습니다.
이렇게 사람처럼 컴퓨터를 사용하게 해 주는 도구들이 많은데, 그 중 Stagehand는 브라우저 작업을 자동화할 수 있게 해 주고, AgentCPM-GUI는 안드로이드 화면을 조작할 수 있게 해 주고, ChatGPT Work 같은 완성형 도구에는 파일과 여러 앱에 걸쳐서 처리할 일을 맡길 수 있습니다.
그렇다면 내 컴퓨터에서 처리해야 하는 일과 클라우드에 맡겨도 되는 일을 어떻게 나누고, 어디서 사람의 승인을 받게 해야 할까요? 이번 글에서는 바로 쓸 수 있는 제품부터 개발용 프레임워크와 모델 API까지, 실행 환경과 지원 플랫폼, 가격을 비교하면서 각자의 작업에 맞는 도구를 함께 살펴보려고 합니다.
그리고, ‘Computer Use 에이전트’가 무엇이고 2026년 11월 현재 어떤 종류의 Computer Use 에이전트들이 있는지를 정리한 인포그래픽을 한국어판 PDF로 준비했습니다. 글을 읽기 전에 전체 그림을 먼저 잡아 두시거나, 이후에 참고하면서 활용하시는 데 도움이 될 거라고 생각합니다. 아래 버튼을 눌러 내려받아 보세요.
(PDF가 보이지 않으면 여기를 눌러 받아 보세요)
컴퓨터 사용 AI 에이전트의 기능과 지원 플랫폼
에이전트 | 유형 | 실행 환경 | 지원 운영체제·조작 대상 | 가격·무료 범위 | 적합한 작업 |
|---|---|---|---|---|---|
UI-TARS Desktop | 오픈소스 | 내 컴퓨터 | Windows, macOS, 브라우저 | 데스크톱 화면 조작 | |
Agent S3 | 오픈소스 | 내 컴퓨터 또는 가상 머신 | Windows, macOS, Linux | 데스크톱 에이전트 개발 | |
Browser Use | 오픈소스 및 클라우드 | 내 컴퓨터, 자체 서버 또는 클라우드 | 브라우저 | 브라우저 작업 | |
CUA | 핵심 코드 공개, 구성 요소별 라이선스 | 내 컴퓨터 또는 내 클라우드 가상 머신 | Windows, macOS, Linux. 구성 요소에 따라 다름 | 에이전트 실행 환경 구축 | |
UFO³ | 오픈소스 | 연결한 기기 | Windows, Linux, Android | 여러 기기에 걸친 작업 | |
Stagehand | 오픈소스 및 클라우드 | 내 컴퓨터, 자체 서버 또는 클라우드 | 브라우저 | 코드와 AI를 함께 쓰는 브라우저 조작 | |
Skyvern | 오픈소스 및 클라우드 | 내 컴퓨터, 자체 서버 또는 클라우드 | 브라우저 | 화면을 읽어 처리하는 웹 작업 | |
OpenAdapt | 오픈소스 | 내 컴퓨터 또는 원격 데스크톱 | 데스크톱, 웹, RDP, Citrix | 같은 절차를 반복하는 화면 작업 | |
Agent-E | 오픈소스 | 내 컴퓨터 또는 자체 서버 | Windows, macOS, Linux의 브라우저 | 계획과 실행을 나누는 브라우저 작업 | |
AgentCPM-GUI | 모델·코드 공개 | 자체 추론 서버와 기기 | Android | 모바일 에이전트 개발 | |
nanoMuse | 오픈소스 | 연결한 기기 | Android, Windows, macOS, Linux | 여러 기기에 걸친 개인 작업 | |
OpenGCUA | 오픈소스 프리뷰 | 내 컴퓨터 또는 테스트 환경 | macOS 14 이상. 그 밖의 환경은 SDK로 지원 | 화면 조작과 코드 실행을 결합한 에이전트 개발 | |
ChatGPT Work | 독점 제품 | 클라우드 또는 내 데스크톱 | 웹·모바일 클라이언트, Windows, macOS | 일반 업무 자동화 | |
Claude 채팅 및 Cowork | 독점 제품 | 클라우드. 앱을 통해 로컬 작업도 가능 | 웹·모바일. 데스크톱 접근 범위는 환경에 따라 다름 | 파일과 여러 단계에 걸친 작업 | |
Gemini in Chrome | 독점 제품 | 내 Chrome 또는 클라우드 브라우저 | 데스크톱 Chrome. Android는 순차 출시 중 | Chrome 안에서 하는 작업 | |
Perplexity Personal Computer | 독점 제품 | 내 컴퓨터와 클라우드 서비스 | Windows, macOS. 설치형 앱 조작은 Mac에서 지원 | 로컬 파일과 설치형 앱 | |
Genspark Claw | 독점 제품 | 내 컴퓨터 또는 클라우드 컴퓨터 | Windows, macOS, 클라우드 작업 공간 | 여러 앱에 걸쳐 지속적으로 진행하는 작업 | |
Amazon Nova Act | 독점 서비스, 공개 SDK | 로컬 브라우저 또는 AWS 클라우드 | Python을 통해 Chrome, Chromium 조작 | 개발자의 브라우저 자동화 | |
Manus Browser Operator | 독점 제품 | 내 데스크톱 브라우저 | Chrome, Edge. 모바일에서 원격 제어 | 기존 로그인과 세션을 그대로 쓰는 작업 | |
Grok Bot | 독점 제품, 베타 | 클라우드 컴퓨터 | 클라우드 브라우저·터미널, 데스크톱·모바일 클라이언트 | 여러 앱에 걸쳐 백그라운드에서 진행하는 작업 |
별도 표시가 없는 가격은 미국 달러 기준 월 요금입니다. 사용량 제한이 적용되고, 소프트웨어를 무료로 받아도 모델을 실행하거나 서버에 올리는 데 비용이 들 수 있습니다.
위 표에서 실행 환경은 에이전트가 조작하는 컴퓨터나 브라우저를 가리킵니다. 모델이 추론하는 곳은 당연히 따로 설정될 수 있습니다. 앱이 내 컴퓨터에서 실행되더라도 화면을 캡처해 클라우드 모델에 보낼 수 있고, 데스크톱이나 모바일 앱이 클라우드에서 일하는 에이전트의 리모컨 역할만 할 수도 있습니다.
오픈소스 컴퓨터 사용 AI 에이전트
라이선스와 출시 현황
2026년 11월 8일자 기준입니다. 앱과 SDK, 모델에 각각 다른 버전과 이용 조건이 적용될 수 있습니다.
프로젝트 | 라이선스 | 출시 버전·상태 |
|---|---|---|
UI-TARS | Apache 2.0 | Agent TARS CLI v0.3.1, 10월 8일 |
Agent S3 | Apache 2.0 | 태그가 붙은 릴리스 v0.3.2 |
Browser Use | MIT | v0.13.14, 10월 26일 |
CUA | 핵심 도구는 MIT, Spaces와 Driver Bench는 FSL-1.1-MIT | 현행 SDK와 드라이버 제공, 기존 cua-agent는 지원 중단 수순 |
UFO³ | MIT | v3.0.10, 9월 22일 |
Stagehand | MIT | SDK v3.7.3, 서버 v3.7.7 |
Skyvern | AGPL-3.0 | v1.0.57, 11월 6일 |
OpenAdapt | MIT | Core v1.20.0, Desktop v0.28.1 |
Agent-E | MIT | 커밋 이력과 의존성 확인 |
AgentCPM-GUI | Apache 2.0 | 모델 카드와 배포 요건 확인 |
nanoMuse | GPL-3.0-or-later | v1.0.9, 10월 29일 |
OpenGCUA | Apache 2.0 | 연구용 프리뷰, 2026년 10월 |
라이선스 참고. Skyvern은 AGPL-3.0을 쓰기 때문에, 수정한 소프트웨어를 네트워크를 통해 제공할 때 소스 코드를 공개해야 할 수 있습니다. 호스팅 서비스와 모델 가중치, 외부 의존성에도 별도 조건이 붙을 수 있으니, 실제 서비스에 도입할 팀이라면 함께 쓰는 구성 요소의 조건까지 확인해야 합니다.
1. UI-TARS
UI-TARS는 바이트댄스의 멀티모달 컴퓨터 사용 모델 제품군입니다. 화면에서 무슨 일이 벌어지는지 파악하고, 마우스와 키보드로 인터페이스를 조작합니다. UI-TARS Desktop에 사용할 모델을 연결하면 내 Windows나 macOS 컴퓨터와 브라우저를 조작하는 앱이 됩니다. 모델은 내 컴퓨터에서 실행하거나 호스팅된 추론 서비스에 연결할 수 있고, 예전에 무료로 제공하던 Remote Operator 서비스는 종료됐습니다. Agent TARS는 이보다 넓은 범위를 다루는 에이전트 도구 모음입니다. 명령줄 인터페이스(CLI)와 웹 화면을 통해 터미널, 컴퓨터, 브라우저 등에서 화면을 읽고 조작하게 해 주고, 모델 컨텍스트 프로토콜(MCP)을 통해 외부 도구도 연결합니다.
2. Agent S3
Agent S3는 AI가 Linux, macOS, Windows 컴퓨터를 조작할 수 있게 해 주는 오픈소스 프레임워크입니다. 멀티모달 모델로 화면을 읽고 조작할 요소의 위치를 찾은 다음, 앞에서 한 행동과 이전에 비슷한 일을 처리한 경험을 참고해서 여러 데스크톱 앱에 걸친 작업을 진행합니다. 코드로 처리하는 편이 쉬운 일에는 Python이나 Bash를 쓸 수도 있습니다.
3. Browser Use
Browser Use를 쓰면 AI 에이전트가 사람처럼 페이지를 열고, 버튼을 누르고, 글자를 입력하거나 양식을 채울 수 있습니다. 개발자는 다양한 언어 모델을 연결해서 데이터를 추출하고, 웹사이트를 테스트하거나, 단계가 긴 웹 작업을 처리하는 에이전트를 만들 수 있습니다. 내 컴퓨터에서 실행하면서 필요한 부분을 직접 바꿀 수도 있고, 복잡한 일에는 Browser Use가 호스팅하는 클라우드 에이전트를 쓸 수도 있습니다.
4. CUA
CUA는 컴퓨터 사용 에이전트를 위한 오픈소스 데스크톱 드라이버, 격리된 실행 환경, 평가 도구를 제공합니다. Cua Driver로 macOS, Windows, Linux 앱을 조작할 수 있고, 현재 SDK는 직접 만든 에이전트를 연결할 수 있는 격리된 데스크톱을 제공합니다.
Cua Spaces의 데스크톱은 내가 소유한 컴퓨터나 내 클라우드 계정의 가상 머신에서 실행합니다. 핵심 도구에는 MIT 라이선스가 적용되고, Spaces와 Driver Bench는 FSL-1.1-MIT 조건으로 소스 코드가 공개돼 있습니다. 선택해서 쓰는 구성 요소에는 별도 조건이 붙구요. Spaces에는 무료와 유료 요금제가 있고, 기존 cua-agent 프레임워크는 사용 중단이 권고된 상태입니다.
구성 요소와 라이선스 · 이전 안내 · 배포 방식과 가격
5. UFO³
UFO³는 Windows, Linux, Android 등 여러 기기와 플랫폼에 걸쳐 GUI 에이전트가 함께 일하도록 마이크로소프트가 만든 프레임워크입니다. 복잡한 일을 단계별로 나눠 어떤 단계가 앞서야 하는지 정리하고, 각 작업을 알맞은 기기에 맡깁니다. 서로 기다릴 필요가 없는 단계는 동시에 실행하고, 중간 결과에 맞춰 계획도 바꿉니다.
UFO³의 바탕에는 마이크로소프트의 Windows용 데스크톱 에이전트 UFO²가 있습니다. UFO²는 화면 조작과 Windows 기본 API를 함께 써서 한 대의 Windows 기기에서 앱을 다룹니다. UFO³는 이렇게 각 기기에서 움직이는 에이전트를 연결해 더 큰 작업을 처리합니다.
6. Stagehand
Stagehand는 자연어와 코드를 함께 써서 브라우저를 자동화하는 프레임워크입니다. 처음 보는 페이지에서는 AI가 길을 찾게 하고, 버튼과 동작을 미리 정할 수 있는 단계에서는 코드로 정확히 지정합니다. 여러 단계에 걸친 에이전트를 실행하거나, 웹페이지의 내용을 정해진 형식의 데이터로 뽑을 수도 있습니다. AI가 만든 동작은 미리 확인해 저장해 두고 모델 호출 없이 다시 실행할 수 있습니다. 웹사이트가 바뀌어 기존 동작이 통하지 않으면 그때 AI를 다시 불러옵니다.
개발자가 안정적으로 돌아가는 브라우저 자동화를 만드는 데 쓰는 프레임워크입니다.
7. Skyvern
Skyvern은 브라우저 자동화 도구인 Playwright에 AI 기능을 더한 플랫폼입니다. 시각 모델과 여러 에이전트가 화면을 읽고 다음 행동을 정해서, 처음 보는 사이트나 화면 배치가 바뀐 사이트에서도 양식을 채우고 파일을 내려받거나 데이터를 추출합니다.
개발자는 SDK를 쓸 수 있고, 코드를 쓰지 않는 사람은 별도 화면에서 자동화 절차를 만들 수 있습니다. Skyvern이 운영하는 클라우드 버전에서는 프록시, CAPTCHA 처리, 여러 브라우저 세션의 동시 실행도 지원합니다.
8. OpenAdapt
OpenAdapt는 화면에서만 처리할 수 있는 중요한 일을 자동화하는 시스템입니다. 사람이 작업을 한 번 시연하면, OpenAdapt가 브라우저와 Windows, macOS, Linux는 물론이고 원격 데스크톱(RDP)이나 Citrix 가상 데스크톱에서도 실행할 수 있는 절차로 바꿉니다. 사람이 그 절차를 들여다볼 수 있고, 정상적으로 실행되는 동안에는 같은 입력에 같은 동작을 수행하면서 생성형 모델을 호출하지 않습니다. 중요한 동작을 한 뒤에는 의도한 결과가 나왔는지 확인하고, 확신하기 어려우면 멈춰서 사람에게 검토를 요청합니다.
9. Agent-E
Agent-E는 컴퓨터 작업을 자동화하는 에이전트 시스템으로, 현재는 브라우저 작업에 초점을 두고 있습니다. AG2 프레임워크를 기반으로 만들었고, 자연어로 지시하면 웹사이트를 검색하고, 양식을 채우고, 상품을 비교하거나 필요한 정보를 찾습니다. Jira 같은 웹 앱을 관리하는 데도 쓸 수 있습니다.
계획을 세우는 에이전트와 브라우저를 조작하는 에이전트가 따로 움직입니다. 브라우저의 채팅 화면과 API를 모두 지원합니다.
10. AgentCPM-GUI
AgentCPM-GUI는 안드로이드 화면을 자동으로 조작하도록 만든 모델입니다. 모델 추론은 내 컴퓨터나 서버에서 실행할 수 있습니다. 매개변수 80억 개 규모의 이 모델은 스마트폰 화면을 읽고 자연어 지시를 따라, 화면을 누르거나 밀고 글자를 입력하면서 여러 단계의 작업을 처리합니다.
중국어와 영어로 된 앱을 모두 다룰 수 있고, 중국에서 많이 쓰는 앱 30여 개를 대상으로 별도 학습을 거쳤습니다. 강화학습으로 조정한 추론 기능을 통해 각 행동을 고르기 전에 다음 단계를 계획합니다.
11. nanoMuse
nanoMuse는 내가 가진 여러 기기에 걸쳐서 일을 처리하는 오픈소스 개인 에이전트입니다. Hands 기능을 켜면 안드로이드 앱과 Windows, macOS, Linux의 데스크톱 창을 조작하고, 브라우저와 파일, 명령줄 도구도 쓸 수 있습니다. 아이폰과 아이패드 앱에서는 다른 기기에 작업을 보낼 수 있습니다. iOS 화면을 직접 조작하는 기능은 지원하지 않습니다. 무료 모델 사용량을 다 쓰면 본인의 모델 API 키나 지원되는 유료 구독을 연결해야 합니다.
12. OpenGCUA 연구용 프리뷰
OpenGCUA는 화면을 조작하면서 코드도 실행하는 에이전트를 만들 수 있게 알리바바가 공개한 도구 모음입니다. 에이전트는 단계별로 스크린샷이나 접근성 데이터를 읽을지, 셸 명령이나 앱 API를 쓸지 고를 수 있습니다. 2026년 10월 공개한 연구용 프리뷰에는 macOS 에이전트와 여러 기기를 지원하는 개발용 SDK가 들어 있습니다. macOS 에이전트를 실행하려면 macOS 14 이상과 Python, 모델 API 키가 필요합니다. Apache 2.0으로 공개한 소프트웨어는 무료이고, 모델 추론에는 비용이 들 수 있습니다.
상용 컴퓨터 사용 AI 에이전트
1. ChatGPT Work
ChatGPT Work는 파일과 연결된 서비스, 브라우저, 데스크톱 앱을 다루는 오픈AI의 범용 업무 에이전트입니다. 웹과 모바일에서 맡긴 일은 클라우드에서 실행되고, 데스크톱 앱에 권한을 주면 내 컴퓨터의 파일과 앱도 쓸 수 있습니다. 지금 어느 기기에서 채팅하고 있는지만으로는 어디서 작업이 실행되는지 알기 어려우니, 실행 모드와 사용 가능한 도구를 확인해 보셔도 좋겠습니다.
오픈AI는 Work 기능을 ChatGPT의 기본 환경에 통합하고, 2026년 12월부터 Plus와 Pro, Business 요금제에서 ChatGPT와 Codex의 토큰 사용량을 합산한다고 발표했습니다.
그리고, ChatGPT Atlas라는 별도 브라우저는 2026년 8월에 종료됐습니다. Atlas에서 쓰던 브라우저 에이전트 기능은 ChatGPT와 Codex로 옮겨 갔습니다.
2. Claude 채팅과 Cowork
앤쓰로픽은 2026년 9월 16일부터 일반 채팅과 기존 Cowork 기능을 한 대화에서 쓸 수 있도록 순차적으로 통합했습니다. 질문에 답하는 일부터 파일과 웹사이트, 생산성 도구를 오가며 오래 걸리는 일까지 같은 대화에서 맡길 수 있습니다. Cowork 작업은 앤쓰로픽 서버에서 실행됩니다. 권한을 허용한 로컬 파일, 브라우저, 앱에 접근하려면 Claude 데스크톱 앱을 열어 둬야 하고, 데스크톱 화면 조작에는 플랫폼과 요금제에 따른 별도 조건이 있습니다.
3. 자동 탐색을 지원하는 Gemini in Chrome
Gemini in Chrome의 자동 탐색(Auto Browse) 기능은 지금 쓰고 있는 Chrome 세션이나 별도의 원격 클라우드 브라우저에서 여러 단계에 걸친 웹 작업을 처리할 수 있습니다. 기본 웹 지원과 자동 탐색의 이용 조건은 서로 다릅니다. 자동 탐색은 지원 대상인 Google AI Pro 또는 Ultra 요금제를 쓰는 만 18세 이상 사용자가 영어로 이용할 수 있습니다. 출시 범위는 기기마다 다를 수 있으니, 쓰고 계신 기기의 안내를 확인해 보셔도 좋겠습니다.
4. Perplexity Personal Computer
Perplexity Personal Computer는 클라우드에서 실행되는 Perplexity Computer를 내 Windows나 macOS 컴퓨터에 연결합니다. 두 데스크톱 앱 모두 로컬 파일을 다룰 수 있고, 설치한 앱의 화면을 조작하는 기능은 현재 macOS에서 지원합니다. 휴대전화에서 작업을 시작하거나 진행 상황을 볼 수 있지만, 내 컴퓨터에서 하는 작업은 그 컴퓨터가 온라인 상태여야 합니다. 지원되는 Mac은 클라우드와 로컬 추론을 함께 쓸 수 있고, Portable Computer는 지원되는 AMD 기반 Windows 기기나 NVIDIA 기반 Windows·Linux 기기에서 작업을 로컬로 실행할 수 있습니다.
5. Genspark Claw
Genspark Claw는 전용 클라우드 컴퓨터에서 실행하거나, macOS와 Windows 데스크톱 앱을 통해 내 컴퓨터에서 실행할 수 있습니다. 브라우저와 앱, 파일을 조작하고, 리서치와 문서, 스프레드시트, 프레젠테이션, 미디어 제작, 예약 작업에 쓰는 스킬도 연결합니다. 로컬 모드에서는 파일 시스템에 넓게 접근할 수 있는데요, 작업 폴더를 하나 골랐다고 해서 접근 권한이 그 안으로 제한되는 건 아닙니다. 시스템 권한을 필요한 만큼만 열어 두고, 중요한 파일은 백업해 두세요.
로컬 앱을 쓰는 데는 Cloud Computer 구독을 따로 결제할 필요가 없으며, 작업을 할 때 계정의 크레딧을 사용합니다.
6. Amazon Nova Act
Amazon Nova Act는 브라우저 에이전트를 만들어 배포하고, 여러 에이전트를 한꺼번에 운영할 수 있게 해 주는 AWS 서비스이자 Python SDK입니다. 개발자는 자연어 지시와 Python 코드를 함께 써서 검색, 데이터 추출, 양식 작성, 거래처럼 결과를 예측할 수 있어야 하는 작업을 만듭니다. 호스팅 서비스는 독점 제품이고, SDK 저장소는 Apache 2.0으로 공개돼 있습니다.
Nova Act는 여러 세션을 동시에 실행하고 브라우저 세션을 유지할 수 있습니다. 승인이나 직접 조작이 필요한 단계에서는 사람에게 작업을 넘깁니다. 내 컴퓨터에서 개발한 절차를 AWS에 배포하고, AWS 콘솔에서 실행 상황을 살펴볼 수 있습니다.
7. Manus Browser Operator
Manus Browser Operator는 지금 쓰고 있는 브라우저를 Manus의 작업 공간으로 연결하는 확장 프로그램입니다. 이미 로그인해 둔 웹사이트 안에서 움직이고, 내 계정으로 쓸 수 있는 유료 도구에도 접근할 수 있습니다. 다시 로그인하거나 작업에 필요한 계정을 따로 만들 필요 없이, 기존 계정과 세션에서 여러 단계에 걸친 일을 처리합니다.
8. Grok Bot
Grok Bot은 SpaceXAI와 Cursor가 2026년 8월 11일에 베타로 공개한 업무 에이전트입니다. 에이전트는 브라우저와 파일, 터미널이 있는 클라우드 컴퓨터를 계속 사용할 수 있어서, 내 노트북을 닫아도 작업을 이어 갑니다. 사용자는 데스크톱이나 모바일 앱에서 지시하고 진행 상황을 봅니다. 여러 Bot이 맥락을 공유하면서 일을 나눌 수 있고, 결과가 중요한 행동에는 승인 절차를 둘 수 있습니다.
10월 27일 베타 업데이트에는 상품 카드와 Shop Pay 결제, 주문 추적, 구독 관리 템플릿이 추가됐습니다. 클라우드 에이전트에 맡길 수 있는 일이 늘었고, 실제 구매에는 여전히 해당 승인이 필요합니다.
컴퓨터 사용 에이전트를 만드는 모델과 API
아래 도구들은 스크린샷을 읽고 다음 행동을 고르는 에이전트를 만들 때 쓰입니다. 모델이 ‘여기를 누르라’고 하면, 실제로 버튼을 누르고 다음 화면을 캡처하고, 어떤 행동을 허용할지 판단하는 건 개발자가 만든 앱의 몫입니다. 클라우드 API를 쓰면 모델 추론은 제공업체가 처리합니다. 내려받을 수 있는 모델을 쓰려면 직접 추론 환경을 마련해야 합니다.
오픈AI의 컴퓨터 사용 도구
오픈AI의 Responses API를 쓰면 GPT-6.1 Sol 같은 모델이 스크린샷을 보고 마우스와 키보드로 어떤 동작을 할지 정합니다. 개발자는 그 동작을 브라우저나 데스크톱에 연결해 양식을 채우고, 화면을 이동하고, 여러 단계의 일을 자동화할 수 있습니다. 다른 API 도구와 컴퓨터 조작을 함께 써야 하는 앱에 적합합니다. 모델 사용료와 실행 환경 비용은 각각 계산합니다.
앤쓰로픽의 컴퓨터 사용 도구
앤쓰로픽의 컴퓨터 사용 도구를 연결하면 Claude가 스크린샷을 읽고, 클릭하거나 입력하고, 스크롤하고 확대하면서 데스크톱 작업을 진행합니다. 모델은 클라우드에서 실행되고, 모델이 고른 동작은 개발자가 관리하는 환경에서 앱이 실행합니다. 앤쓰로픽은 처음 연결할 때 참고할 수 있도록 Docker 기반 구현 예제를 제공합니다. API 사용료에는 선택한 모델의 토큰 단가가 적용됩니다.
Gemini Computer Use
Gemini Computer Use는 스크린샷을 읽고 브라우저와 데스크톱, 모바일 화면에서 어떤 행동을 할지 정합니다. 구글은 Gemini 3.8 Flash를 권장하고, 실제로 화면을 조작하는 부분과 승인 절차는 개발자가 구현합니다. 앱 안에 GUI 자동화 기능을 넣을 때 쓸 수 있고, 모델의 다른 기능을 무료로 쓸 수 있는 경우에도 Computer Use에는 유료 API 사용료가 적용됩니다.
UI-TARS Desktop
UI-TARS Desktop은 시각 언어 모델을 Windows나 macOS 컴퓨터에 연결해 앱과 브라우저를 조작합니다. 바이트댄스가 Apache 2.0으로 공개한 UI-TARS-1.5-7B 모델을 연결하면, 모델이 스크린샷을 보고 행동을 고르고 Desktop 앱이 그 행동을 수행합니다. 모델과 앱 모두 무료로 내려받을 수 있고, 추론은 내 컴퓨터에서 실행하거나 유료 호스팅 서비스에 맡길 수 있습니다.
AgentCPM-GUI
AgentCPM-GUI는 안드로이드 자동화를 위한 매개변수 80억 개 규모의 모델입니다. 휴대전화 화면을 읽고 중국어와 영어로 된 앱에서 어디를 누르고, 어느 방향으로 밀고, 어떤 글자를 입력할지 정합니다. 모바일 에이전트를 연구하거나 안드로이드 작업을 직접 자동화할 때 쓸 수 있고, 모델을 실행하는 환경과 기기를 조작하는 부분은 개발자가 마련합니다. Apache 2.0으로 공개한 가중치는 무료로 내려받을 수 있고, 모델을 실행할 컴퓨팅 자원은 따로 필요합니다.
컴퓨터 사용 AI 에이전트와 브라우저 에이전트의 차이
브라우저 에이전트는 웹 브라우저 안에서 페이지를 이동하고, 버튼을 누르고, 양식을 채우거나 정보를 추출합니다. 컴퓨터 사용 AI 에이전트는 데스크톱 앱과 파일 시스템, 터미널, 브라우저까지 운영체제 전반을 다루고, 도구에 따라 모바일 기기도 조작합니다. 웹사이트에서 자료를 모은 뒤, 스프레드시트를 편집하고, 내 컴퓨터에 파일을 저장해 메신저나 업무용 앱으로 보고서를 보내는 일까지 이어서 할 수 있죠.
정리해 보자면, 대부분의 브라우저 에이전트는 컴퓨터 사용 에이전트의 한 종류입니다. 어디까지 조작할 수 있느냐에서 범위가 달라집니다.
컴퓨터 사용 AI 에이전트를 고르는 기준
먼저 볼 것은, 순위표의 점수보다 어디서 실행할지, 그리고 일을 마치는 데 어느 정도의 조작 권한이 필요한지입니다. 벤치마크 점수가 높은 에이전트도 실제로 사용하는 사이트의 화면이나 권한 설정, 데스크톱 환경에서는 기대한 만큼 잘 움직이지 않을 수 있습니다. 에이전트와 코딩 평가가 무엇을 측정하는지, 학습 데이터에 평가 문항이 섞이거나 점수가 상향 평준화되면 왜 결과를 해석하기 어려운지는 LLM 벤치마크 가이드에서 살펴볼 수 있습니다.
코드로 브라우저를 자동화할 때 — 실행 절차가 정해진 단계에는 Playwright를 쓰고 나머지에 AI를 더하고 싶다면 Stagehand부터 살펴보세요. 모델에 브라우저 조작을 더 폭넓게 맡기는 프레임워크가 필요하다면 Browser Use를 써 볼 수 있습니다.
서비스가 운영을 맡거나 코드 없이 웹 작업을 만들고 싶을 때 — Skyvern이나 Amazon Nova Act를 살펴보고, 어떻게 배포하는지, 언제 사람의 승인을 받을 수 있는지, 실행 중에 무슨 일이 일어나는지 확인할 수 있는지, 비용은 얼마나 드는지 비교해 보세요.
데스크톱이나 여러 플랫폼에서 작동하는 에이전트를 개발할 때 — CUA, Agent S3, UI-TARS를 비교해 보세요. Windows가 중심이거나 여러 기기에 일을 나눠 줘야 한다면 UFO³가 그쪽에 더 특화돼 있습니다. 모델과 에이전트의 실행 과정을 모두 자체 장비에서 운영하려면 모델 실행 도구, 기억을 저장할 벡터 저장소, Docker 샌드박스, 작업 스케줄러도 마련해야 합니다. 로컬 에이전트를 만드는 데 쓸 수 있는 GitHub 저장소를 모아 뒀습니다.
같은 화면 작업을 통제된 방식으로 반복할 때 — OpenAdapt는 사람이 시연한 절차를 검토하고, 매번 같은 방식으로 실행하며, 결과를 확인하는 데 초점을 둡니다.
안드로이드 에이전트를 연구할 때 — 이 목록에 나와 있는 것들 중에서는 AgentCPM-GUI가 안드로이드에 특화된 선택지입니다.
바로 쓸 수 있는 업무용 에이전트가 필요할 때 — ChatGPT Work, Claude, Perplexity Personal Computer, Genspark Claw, Manus, Grok Bot은 앱과 파일, 브라우저, 승인 절차를 묶어서 제공합니다. 그만큼 개발자가 세부 동작을 직접 정할 수 있는 범위는 줄어듭니다.
도입을 결정하기 전에 실제로 맡기려는 일을 시켜 보세요. 끝까지 마친 비율과 실패한 뒤에 복구하는 방식, 걸린 시간과 비용, 접근 권한의 범위, 그리고 누가 무슨 행동을 했는지 기록에서 확인할 수 있는지를 보면 됩니다. 직접 호스팅하는 소프트웨어라면 라이선스와 프로젝트가 꾸준히 관리되고 있는지도 함께 살펴보세요.
컴퓨터 사용 AI 에이전트가 잘 작동하지 않는 경우
쓸 수 있는 API가 없을 때는 화면을 조작하는 방식이 유용합니다. 다만 앱을 직접 연동했을 때보다 정확도가 떨어지고, 작은 변화에도 멈추기 쉽습니다. 어떤 상황에서 그런 일이 생기는지 살펴보죠.
단계가 긴 작업 — 페이지를 한 번 잘못 이동하거나 화면의 의미를 조금 잘못 읽은 일이 수십 단계를 거치면서 쌓입니다.
레이아웃이 자주 바뀌거나 요소를 구분하기 어려운 화면 — 캔버스에 그린 버튼, 가상 데스크톱, 팝업, 화면 크기에 따라 배치가 달라지는 페이지, 이름이 바뀐 버튼 때문에 에이전트가 조작할 대상을 잘못 짚을 수 있습니다.
인증과 봇 차단 검사 — CAPTCHA, 만료된 로그인 세션, 다중 인증, 사이트의 이용 정책 때문에 사람이 보지 않는 동안 실행하던 일이 멈출 수 있습니다.
결과가 중요한 행동 — 결제와 삭제, 계정 변경, 법적 효력이 있는 제출, 민감한 내용을 보내는 일에는 명시적인 승인과 나중에 추적할 수 있는 기록이 필요합니다.
매번 같은 결과를 내야 하는 절차 — 쓸 수 있는 API나 데이터베이스 명령이 있거나, 미리 정한 절차를 그대로 따르는 로봇 프로세스 자동화(RPA)가 있다면, 대체로 그쪽이 더 빠르고 저렴하고 테스트하기도 쉽습니다.
신뢰할 수 없는 콘텐츠 — 웹페이지나 문서에는 에이전트에게 엉뚱한 행동을 지시하는 프롬프트 인젝션이 들어 있을 수 있습니다. 에이전트가 사용할 자격 증명의 범위를 줄이고, 실행 환경을 격리하고, 중요한 행동에는 사람의 승인을 받게 하세요.
실무에서는 두 방식을 섞어 쓰는 편이 현실적입니다. 절차가 안정적인 단계는 API와 동작이 정해진 코드에 맡기고, 화면으로만 처리할 수 있는 곳에 컴퓨터 사용 에이전트를 둡니다. 되돌리기 어려운 결정은 사람이 승인하고요.
FAQ
컴퓨터 사용 AI 에이전트란 무엇인가요?
사람이 컴퓨터를 쓰듯 그래픽 사용자 인터페이스(GUI)를 직접 조작하는 AI입니다. 화면을 읽고, 버튼을 누르고, 글자를 입력하거나 커서를 움직입니다. 웹사이트를 돌아보고 데스크톱이나 모바일 앱을 조작하면서 여러 단계에 걸친 일을 처리합니다.
컴퓨터 사용 에이전트는 기존 AI 에이전트와 뭐가 다른가요?
기존 AI 에이전트는 주로 API를 호출하거나 정해진 형식의 입력을 받는 도구를 통해 소프트웨어와 상호작용합니다. 컴퓨터 사용 에이전트는 스크린샷이나 접근성 정보, 다른 시각 입력을 받아 화면을 직접 조작합니다. 그래서 앱에서 API를 제공하지 않아도 자동화할 수 있습니다.
어떤 오픈소스 컴퓨터 사용 AI 에이전트가 좋나요?
어디에나 맞는 한 가지 도구를 고르기는 어렵습니다. 브라우저 작업부터 시작한다면 Stagehand와 Browser Use를, 컴퓨터 전반을 조작해야 한다면 CUA와 Agent S3, UI-TARS를 살펴볼 수 있습니다. UFO³는 여러 기기에 일을 나누는 데 초점을 두고, OpenAdapt는 사람이 들여다보고 반복 실행할 수 있는 작업에 적합합니다. AgentCPM-GUI는 안드로이드용입니다. 실제로 쓸 환경, 필요한 안정성, 라이선스, 유지보수 상황에 따라 선택이 달라집니다.
컴퓨터 사용 AI 에이전트에 어떤 일을 맡길 수 있나요?
웹사이트를 돌아보고, 양식을 채우고, 데스크톱 소프트웨어를 조작하거나 파일을 관리할 수 있습니다. 화면으로 정보를 추출하고, 브라우저에서 웹사이트를 테스트하고, 운영체제 안을 이동하는 일도 할 수 있습니다. 이런 동작을 이어서 반복 작업을 자동화하거나, 사람이 개입하는 횟수를 줄이면서 여러 앱에 걸친 일을 처리합니다.
컴퓨터 사용 AI 에이전트와 브라우저 에이전트는 같은 건가요?
다루는 범위가 다릅니다. 브라우저 에이전트는 웹 탐색과 양식 작성처럼 브라우저 안에서 하는 일에 특화돼 있습니다. 컴퓨터 사용 에이전트는 브라우저에 더해 데스크톱 앱과 운영체제, 파일 관리자, 생산성 도구까지 다룹니다. 일부는 모바일 기기도 조작할 수 있습니다.
내 컴퓨터를 조작할 수 있는 AI 에이전트가 있나요?
있습니다. UI-TARS Desktop이나 Agent S3 같은 프레임워크로 내 데스크톱을 조작할 수 있고, Manus Browser Operator 같은 도구는 기존 브라우저에서 움직입니다. 일부 상용 도구도 로컬 접근을 지원하니, 운영체제와 권한 범위를 확인해 보세요. 특히 내 화면을 조작한다고 해서 추론도 내 컴퓨터에서 이뤄진다고 볼 수는 없습니다. 스크린샷이 기기 밖으로 전송되는지도 따로 확인해야 합니다.
컴퓨터 조작에 쓸 수 있는 오픈소스 모델이 있나요?
있습니다. UI-TARS-1.5-7B와 AgentCPM-GUI는 내려받을 수 있고, 공식 모델 카드에는 Apache 2.0 라이선스로 표시돼 있습니다. UI-TARS Desktop은 이 모델을 연결해 화면을 조작하는 별도의 앱입니다. 모델을 직접 호스팅하려면 추론을 실행할 하드웨어와 기기 조작을 담당할 소프트웨어, 필요한 안전장치를 마련해야 합니다. 가중치를 무료로 받아도 모델을 실행하는 데는 컴퓨팅 자원이 듭니다.




