월드 모델, AI가 물리적인 세계가 어떻게 작동하는지 이해하게 해 주는 기술이죠. 여기에 대해서 튜링포스트에서 최근에 다시 한 번 정리한 적도 있습니다:

그렇게 세계에 대한 ‘이해’를 했다고 치고, 그걸 어디에 쓰려는 걸까요?

이해한 걸로 다음에 무슨 일이 일어날지 예측만 하는 거라면 반쪽짜리에 그치는 셈이죠. 그 다음 단계는, 결국 예측한 내용을 바탕으로 실제로 무언가를 해내는 일, 즉 '행동'입니다.

최근에 연구자들이 바로 이 두 개의 능력, 예측과 행동을 하나로 묶은 새로운 모델을 내놓고 있습니다. 이름하여 월드 액션 모델(World Action Models; WAM)인데, 로봇이 '세계가 어떻게 변할지'를 예측하게 하는 데서 그치지 않고 그 예측을 근거로 어떻게 움직일지까지 정하게 하는 게 이 모델의 목표입니다.

그런데, 눈으로 보고, 언어를 이해하고, 로봇을 제어하는 능력을 하나로 묶은 비전-언어-액션 모델(Vision-Language-Action Models; VLA)이 이미 피지컬 AI(Physical AI)의 주요 방법론 중 하나로 자리 잡고 있는 상황에서, 왜 굳이 또 다른 종류의 모델이 필요한 걸까요?

오늘은 그 질문에 대해서 답을 해 보고자 합니다: WAM이 어떻게 작동하는지, VLA와는 무엇이 다른지, WAM 아키텍처에는 어떤 유형이 있는지, 그리고 미래를 예측하는 일이 실제로 로봇의 성능을 끌어올리는지를 차례로 살펴보겠습니다.

그런데, 이 두 가지 아키텍처는 조금 다른 관점의 서로 다른 입장을 대변하기도 합니다 - 바로, 로봇이 눈앞의 장면을 보고 '곧장 반응하는 법'을 배워야 하는지, 아니면 자기의 행동이 어떤 결과를 낳을지 '먼저 상상하는 법'을 배워야 하는지에 대한 입장이예요.

세계를 '이해하는' 단계에서 세계와 '상호작용하는' 단계로 넘어가는 이 흐름은, 피지컬 AI에 대한 관심과 투자가 엄청나게 늘어나는 이 시점에 아주 흥미로운 주제인 것 같습니다.

오늘 다룰 내용은 아래와 같습니다:

간단히 이야기하자면, ‘월드 액션 모델(WAM)’은 물리 세계가 움직이는 방식을 더 깊이 반영해서 '세계가 어떻게 변하는지'를 다루는 모델과 로봇이나 에이전트가 '어떤 행동을 해야 하는지'를 다루는 모델을 하나로 연결한 모델이다 라고 하면 될 것 같습니다.

어떤 모델을 WAM이라고 부르려면, 다음과 같은 두 가지 요소를 갖춰야 합니다:

이 용어를 널리 알린 건, 엔비디아가 2026년에 발표한 논문 ‘World Action Models are Zero-shot Policies’로, 이 논문에서는 비디오를 예측하면서 행동도 함께 결정하는 이런 아키텍처를 VLA와 구분하려고 이 이름을 붙였다고 합니다. 하지만 연구자들은 그보다 앞선 여러 연구를 거치면서 이 개념을 다듬어 왔고, 세계가 어떻게 변하는지(Dynamics)를 학습하면서 행동도 함께 정하는 모델을 가리키는 표현으로 2024년과 2025년에도 간간이 썼는데, 눈에 띄는 가장 이른 사례는 2024년 10월에 나왔습니다.

혹시 '이 용어를 만든 게 위르겐 슈미트후버 아니냐'고 생각하신다면, 이렇게 말씀드릴 수 있겠습니다. 슈미트후버 박사는 1990년부터 신경망으로 세계를 모델링하고 그 모델을 활용해 컨트롤러를 학습시키는 연구를 해 왔고, 이 연구로 오늘날 월드 액션 모델의 토대를 마련한 분이긴 하지만, 저희가 현재까지 파악한 범위에서는, 이 용어(WAM)가 쓰여 온 흐름은 이렇습니다:

이 프로젝트를 이끈 연구자는 예성현(Seonghyeon Ye), 유커 주(Yuke Zhu), 짐 판(Jim Fan), 조엘 장(Joel Jang)입니다. DreamZero라는 맥락에서 WAM을 짐 판 박사와 엔비디아에 연결 짓는 건 자연스럽지만, 앞에서 본 것처럼 이 용어는 그 전부터 이미 쓰이고 있었으니 이들이 처음 만들었다고 하는 건 정확한 표현은 아닙니다.

엔비디아는, 특히 로봇이 새로운 동작과 물리적인 기술을 익힐 때, DreamZero WAM을 VLA의 대안으로 내세우고 있습니다. 이 논쟁이 나온 김에, VLA와 WAM이 실제로 무엇이 다른지 하나씩 짚어 보죠.

요즘 들어 둘 사이의 경계가 점점 흐려지고 있기는 하지만, VLA와 WAM은 아키텍처와 출발점이 근본적으로 다릅니다 - 그 차이는 각각의 모델이 '무엇을 배우느냐'에서 시작하구요:

그럼 로봇이 실제로 할 법한 가장 단순한 과제, "머그잔을 집어서 싱크대에 넣어"를 예로 들어서, 두 모델의 워크플로우가 어떻게 다른지 따라가 보겠습니다.

일반적인 VLA의 워크플로우는 대략 아래와 같은 순서입니다:

VLA는 보통 이미지와 언어를 이미 잘 이해하는 비전-언어 모델(Vision-Language Models; VLM) 위에 만든 다음에 로봇의 행동을 출력하도록 추가로 학습한 모델이라서, 머그잔이 무엇인지, '싱크대에 넣으라'는 말이 무슨 뜻인지, 사람이 여러 물체 가운데 어느 것을 가리키는지처럼 의미를 이해하는 데 VLA의 강점이 있습니다. 눈에 보이는 장면, 언어로 된 지시, 그리고 로봇의 현재 상태가 하나로 합쳐져서 곧장 행동으로 이어지는 구조입니다.

이 과정은 이렇게 하나의 프레임워크로 정리할 수 있습니다: VLM 백본 + action module = 정책 → 행동

여기서, VLM은 먼저 현재 상황의 '그림'을 파악해서 이해하고, 정책은 VLM이 이해한 내용을 바탕으로 '다음에 무엇을 할지'를 결정하는 메커니즘이고, 행동은 로봇이라면 관절과 그리퍼를 실제로 움직이는 모터 명령, 소프트웨어 에이전트라면 디지털 명령입니다.

월드 모델을 기반으로 만든 WAM은 여기에 과제를 하나 더 얹습니다 — 로봇의 움직임을 출력하는 데서 그치지 않고, 그 움직임 때문에 세계가 어떻게 변하는지까지 모델링하는 법을 배웁니다.

예를 들면, WAM은 이런 식으로 생각합니다:

모델에 예측 헤드가 따로 붙어 있기만 하고 그 예측이 행동에 아무런 영향을 주지 않는다면 WAM이라고 부를 수 없으니, WAM에 공통으로 요구되는 조건은, 미래 세계를 예측한 결과가 행동을 정하거나, 후보 행동에 점수를 매기거나, 행동을 학습시키는 과정에 실제로 쓰여야 한다는 겁니다.

미래 세계를 어느 시점에, 어떤 방식으로 예측하느냐에 따라 몇 가지 변형 방식이 있구요:

아키텍처를 놓고 보면 차이가 훨씬 더 흥미롭게 드러납니다:

이미지와 언어의 관계로 사전학습한 모델에서 출발하는 대신, 비디오나 세계의 역학으로 사전학습한 모델에서 출발한 다음 행동하는 법을 가르치는 방식이라서, 엔비디아는 이제 WAM을 로봇 파운데이션 모델을 만드는 '또 하나의 방법'으로 설명합니다.

다만, 비디오 백본은 WAM을 만드는 여러 경로 가운데 하나일 뿐이지 꼭 필수 조건은 아닙니다. 비디오를 만들어내지 않고 미래의 특징(Feature)이나 기하 구조, 토큰을 예측하는 설계도 있는데, 이런 모델이 WAM인지 아닌지는 '예측한 결과가 행동과 어떻게 연결되어 있느냐'로 판가름 납니다.

그렇다고 WAM이 VLA를 이미 대체했다거나 앞으로 대체할 거라고 말씀드리려는 건 아닙니다. 용어 자체가 아직 새롭고, 두 유형의 모델은 ‘AI가 현실에서 행동하게 하려면 어떻게 해야 하는가'라는 같은 문제를 서로 다른 관점에서 풀고 있을 뿐입니다.

WAM에 대해서 조금 더 알아보죠.

월드 액션 모델은 앞으로 벌어질 일을 내다보고 그에 맞춰서 무엇을 할지 정하는 모델이고, 관련 서베이 논문은 예측과 행동을 잇는 방식에 따라 WAM을 크게 두 가지로 나눕니다:

여기서 말하는 '미래의 상태'가 꼭 완전한 비디오 프레임일 필요는 없고, 장면의 핵심만 압축한 모델 내부의 표현이어도 됩니다 - 앞에서 말씀드린 것처럼요.

학습할 때는, 데이터셋에 함께 기록되어 있는 '그 다음에 실제로 보인 장면'과 '그때 로봇이 취한 행동'의 조합에 더 높은 확률을 매기도록 모델을 가르칩니다. 이건 일반적인 확률론적 정식화를 설명한 것이고, 실제 구현마다 쓰는 학습 손실은 다를 수 있습니다.

결국 두 유형을 가르는 기준은, '예측과 제어를 어떻게 연결하느냐'입니다.

Cascaded WAM에서는, 월드 모델이 시스템이나 로봇에게 필요한 행동이 어떤 식으로 펼쳐져야 하는지를 먼저 예측하고, 그 뒤에 이어지는 컨트롤러가 예측한 결과를 시스템이나 로봇이 실행할 수 있는 명령으로 바꿉니다.

이렇게 두 단계를 나누면, 각 단계가 자기 역할에 집중할 수 있다는 장점이 있지만, 뒤 단계가 '앞 단계가 예측한 결과에 전적으로 기대게' 되니까, 예측한 미래에 오류가 있거나 그 안의 움직임, 시스템의 작동이 비현실적이면 거기서 쓸 만한 행동을 뽑아내기가 어려워집니다.

그래서 두 단계 사이에 어떤 형태의 표현을 넘겨줄지를 잘 정해야 하는데, 여기에도 두 가지 방식이 있습니다:

Explicit planning: 월드 모델에서 action model로 넘어가는 중간 계획, 즉 예측된 미래가 생성된 이미지나 비디오, 또는 구조화된 움직임 표현처럼 눈으로 확인할 수 있는 형태를 띱니다. 이 계획에서 행동을 뽑아내는 방법은 두 가지입니다:

Implicit planning: 반면, 이 방식에서는 미래의 이미지나 비디오를 끝까지 렌더링하지 않고, 예측된 잠재 표현, 즉 압축된 특징만 중간 계획으로 action model에 넘깁니다. '화면을 실제로 그려내는 데 드는 연산'을 건너뛸 수 있으니, 생성 비용을 줄여야 하는 상황에서 좋은 옵션이 됩니다.

여러 가지 방법마다 이 특징(feature)을 얻는 방식은 각각 다릅니다. 어떤 방법은 미래의 잠재 표현을 한 번에 예측하고, 어떤 방법은 여러 단계를 거쳐야 하는 예측기를 더 빠른 구성 요소로 증류(Distillation)하고, mimic-video는 denoising이 다 끝나기 전에 중간 단계에서 특징을 뽑아냅니다. 그 밖에도, MWM은 장면 속 영역을 의미별로 구분한 미래 semantic mask의 특징을, OmniVTA는 촉각 특징을 쓰는 것처럼, 더 특화된 표현을 활용하는 방법론도 있습니다.

Cascaded WAM과는 달리, Joint WAM은 미래 세계의 상태를 맞히는 목표와 로봇의 행동을 맞히는 목표를 함께 놓고 학습한 하나의 모델 안에서 두 가지를 같이 예측합니다. 그래서 행동을 정하는 과정과 그 행동이 낳을 물리적인 결과를 긴밀하게 연결하는 데 잘 맞습니다. 다만, 그렇다고 한 네트워크가 모든 걸 맡는다는 뜻은 아닙니다. 백본 하나를 공유하는 설계도 있고, video branch와 action branch를 따로 두고 둘이 정보를 주고받게 하는 설계도 있어서, 여기서 설계할 때 가장 중요한 건 두 쪽의 예측이 서로 어긋나지 않도록 둘을 어떻게 연결하느냐입니다.

함께 학습하면 두 쪽의 예측이 서로 더 잘 맞아떨어지지만, 예측끼리 맞아떨어진다고 해서 그 행동이 '물리적으로 올바르다'고 저절로 보장되지는 것은 아닙니다.

Joint WAM은 출력을 만드는 방식에 따라 크게 두 가지로 나뉘고, 각각 다시 몇 가지 하위 유형이 있습니다:

자기회귀(Autoregressive) 생성

자기회귀 Joint WAM은 미래의 상태와 행동을 하나로 쭉 이어지는 같은 시퀀스의 일부로 보고 차례차례 만들어 나가는 방식으로, 장면에서 예측한 변화가 로봇의 다음 명령에 반영됩니다. 그런데 바로 이 구조 때문에, 시각적인 예측이 한 번 틀리면 그 뒤에 이어지는 행동까지 엉뚱한 방향으로 끌려갈 위험이 있고, 한 단계씩 차례로 디코딩해야 하는 만큼 지연 시간도 늘어납니다.

이 방식의 주요 설계 요소는 세 가지입니다:

위 예시 모델들의 이름에 ‘VLA’가 들어 있다고 해서 WAM 카테고리가 아닌 건 아닙니다. 행동을 정하는 과정과 연결된 방식으로 미래의 상태까지 예측하는 VLA라면 WAM으로 분류하는 서베이도 있고, VLA-JEPA 같은 시스템을 두 유형의 하이브리드로 정의하는 서베이도 있습니다.

확산 또는 플로우 기반 생성

이 유형의 WAM은, prediction horizon 전체에 걸쳐서 노이즈가 섞인 미래의 상태와 행동의 표현을 여러 번에 걸쳐 함께 다듬어 나갑니다. 자기회귀 방식처럼 순서대로 하나씩 만들지 않으니까 출력의 여러 부분을 한꺼번에 업데이트할 수 있지만, 여러 번 다듬는 과정을 거쳐야 한다는 점은 마찬가지입니다.

여기서 주로 갈리는 지점은 예측을 맡는 브랜치를 어떻게 연결하느냐입니다. Unified stream은 하나의 백본으로 세계의 표현과 행동의 표현을 함께 처리하고, Multi-stream 아키텍처는 서로 조율되는 여러 브랜치를 따로 둡니다. 아래 표에 이 방식의 설계 요소를 정리했습니다.

말씀드렸다시피, 이런 방법론은 서로 겹치기도 하는데, 바로 DreamZero가 좋은 예입니다.

DreamZero는 각 chunk 안에서는 확산(diffusion)으로 비디오와 행동을 함께 다듬고, chunk와 chunk 사이에서는 자기회귀 방식으로 앞 chunk의 결과를 이어받습니다. 여기서 chunk는 짧게 이어지는 미래의 비디오 프레임과 그에 대응하는 로봇의 행동을 하나로 묶은 단위입니다. 전체 워크플로우를 따라가 보면 이렇습니다:

정리하면, DreamZero는 비디오 이력에 자기회귀 방식의 조건을 거는 구조입니다. chunk 안에서는 예측한 움직임과 시각적인 결과를 함께 다듬으니 둘이 서로 어긋나지 않고, chunk가 끝날 때마다 실제로 본 장면으로 맥락을 갱신하니까 로봇이 실행 결과를 보고 다시 조정할 수 있어서, 상상한 미래에서 생긴 실수가 다음 단계로 번질 가능성도 줄어듭니다. KV caching 덕분에 같은 연산을 반복하지 않아도 되지만, 실시간 제어에 쓰려면 확산 과정을 더 최적화해야 합니다.

비디오 백본을 기반으로 만든 WAM에는 실무적인 질문이 하나 더 남습니다. 비디오로 사전학습한 모델은 화면 속 시각 정보를 처리하는 법은 이미 '알고' 있지만, '그리퍼를 닫아라' 같은 로봇 명령은 비디오에 들어 있지 않은 종류의 정보이니, 이를 모델에 어떤 형태로 넣어 주느냐 하는 것이 별개의 과제가 됩니다.

이를 해결하는 방법은 몇 가지가 있습니다.

가장 직접적인 방법은, 시각 토큰 옆에 action token을 나란히 추가하는 겁니다. action token은 연속적인 값일 수도, 이산적인 값일 수도 있고, 모델이 학습한 표현을 action head가 로봇의 명령으로 바꿉니다. DreamZero가 이 방법을 택하고 있습니다.

또 다른 방법은, 행동을 비디오 모델이 이미 다룰 줄 아는 형식으로 바꿔 주는 겁니다. 정책이 행동을 비디오의 한 프레임처럼 생긴 합성 잠재 프레임으로 인코딩해서 비디오와 똑같은 denoising 파이프라인에 통과시키고, 그렇게 예측한 값을 다시 행동 벡터로 되돌립니다.

그리고 잠재 행동과 잠재 계획이 있습니다: 하나의 움직임이나 더 길게 이어지는 일련의 행동을 압축해서 학습한 표현으로, 정책은 이 표현을 바탕으로 모터 명령을 만들고, 잠재 행동 가운데 일부는 행동 레이블 없이 비디오만 보고도 학습할 수 있습니다. 다만, 이렇게 배운 잠재 행동을 특정 로봇의 실제 제어 장치와 연결하려면 여전히 추가로 학습을 시켜줘야 합니다.

연구자들은 아래와 같이 WAM을 비슷한 용어와 다시 구분하기도 합니다:

일반화와 관련해서 가장 먼저 확인해야 할 건, '조건이 바뀌어도 WAM이 계속 제대로 작동하느냐'이겠죠.

화웨이 테크놀로지스와 토론토대학교의 연구자들은 이 문제를 살펴보려고, 로봇 조작 벤치마크인 LIBERO-Plus와 RoboTwin 2.0-Plus에서 한쪽 팔(Single-arm) 정책과 양팔(Bimanual) 정책을 테스트했는데, 카메라 시점, 조명, 배경, 이미지 노이즈, 물체 배치, 지시문, 로봇의 초기 자세를 하나씩 바꿔 가면서 VLA와 WAM이 각각 얼마나 잘 버티는지를 비교했고, 그 결과는 이렇습니다:

자, 글을 정리해 보죠. 오늘 꼭 기억해 두시면 좋겠다 하는 구분을 각 모델이 하는 일을 기준으로 추려 보면 이렇습니다:

실질적으로는, WAM이 나오면서 로봇의 지능을 만드는 방법이 하나 더 생긴 셈입니다. '다음에 무슨 일이 일어날지' 예측한 결과를 보고 어떻게 움직일지 정하는데, Cascaded WAM은 미래를 먼저 예측한 다음 그 예측을 행동으로 바꾸고, Joint WAM은 미래의 상태와 행동을 함께 학습합니다.

그렇다면, WAM이 VLA보다 낫다고 할 수 있을까요? 지금으로서는 그렇게 단정하기 어렵습니다.

새로운 조명은 잘 처리하는 모델도 카메라가 움직이면 여전히 고전할 수 있고, 미래의 상태까지 예측하려면 연산을 더 해야 해서 로봇이 빠르게 반응해야 하는 상황에서는 부담이 되고, 모델이 이해한 물리적인 역학을 로봇의 실제 제어와 연결하는 일도 아직 숙제로 남아 있으니, WAM이 유망해 보이는 건 맞지만 당장 VLA를 대체할 것 같지는 않습니다.

그래서 결국 우리는 핵심 질문으로 돌아오게 됩니다. 로봇은 미래를 정말 얼마나 상상해야 하는 걸까요?

어떤 WAM은 미래의 비디오를 통째로 만들어내고, 어떤 WAM은 행동을 고르는 데 도움이 되는 압축된 특징이나 상태만 예측하는 걸 보면, 제가 생각하는 진짜 목표는 '올바르게 행동하는 데 딱 필요한 만큼만 예측하고, 제어에 중요한 정보는 잃지 않으면서 무엇을 덜어내도 되는지 판단하는' 데 있습니다. 월드 모델 연구가 처음부터 품어 온 이 아이디어가, 이제 WAM과 함께 계속 진화하고 있는 겁니다.

로보틱스의 AI 영역에는 아직 연구하고 이해해야 할 게 '정말' 많고, 우리는 이제 겨우 출발점에 서 있을 뿐인 것 같습니다 — 로봇이 행동하기 전에 무엇을 상상해야 하는지 알아내는 일은, 앞으로 풀어야 할 가장 흥미로운 질문 중 하나가 될 겁니다.

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!