'공간 지능'에 대한 흐름을 잡기 위한 6개의 필독 자료

AI 섹터에서 특히 요즘 다시 많이 언급되고 있는 공간 지능(Spatial Intelligence)이란, 쉽게 말해서 모델이 가지고 있는 ‘공간 감각’ 정도로 표현할 수 있을 것 같습니다. 사물이 어디에 있는지, 서로 어떻게 연결되는지, 어떻게 움직이는지를 이해하는 능력이죠. 이 능력이 있어야 AI 모델이 방 안을 돌아다니고, 보이는 장면을 해석하고, 여러 개의 물체들이 어떻게 맞물리는지 파악할 수 있습니다. 말 그대로, 머릿 속에 하나의 ‘지도’가 들어있는 셈인 거죠. 예를 들어, 월드 모델은 이 공간 지능이 없다면 제대로 작동할 수 없습니다.

오늘은, 공간 지능이 무엇인지, 그리고 어떻게 발전하고 있는지 살펴볼 수 있는 6가지 읽을거리를 추천합니다:

1. From Words to Worlds: Spatial Intelligence is AI’s Next Frontier
   Fei-Fei Li는 ‘AI의 대모’라고 불릴 만큼 공간 지능 분야의 핵심 인물입니다. ImageNet을 포함해서 그녀가 했던 컴퓨터 비전 연구가, AI가 공간 속의 사물과 장면을 인식하고 이해하는 능력을 갖추는 데 중요한 역할을 했습니다. 최근에 블로그를 시작했는데, 그 글에서 강조하는 핵심은, 진정한 지능이라면 반드시 물리적 공간에 대한 기반(Grounding)을 필요로 한다는 점입니다. 기하학, 움직임, 그리고 물리적 결과를 이해해야 AI가 실제 세계에서 의미 있게 작동할 수 있다는 메시지를 담고 있습니다.

2. Spatial Reasoning in Multimodal LLMs: A Survey of Tasks, Benchmarks and Methods
   이 논문은 AI 모델들이 공간적 추론을 어떻게 수행하는지를 인지과학적 관점에서 정리하고 있습니다. 지금까지 등장한 다양한 태스크와 벤치마크를 하나의 통합된 프레임으로 묶어서, 공간 추론 연구가 어떤 구조를 이루고 있는지 한눈에 파악할 수 있게 되어 있습니다.

3. What is Spatial Intelligence?
   튜링 포스트의 이 글은 공간 지능에 대해서 가장 간단하고 쉽게 설명하고 있습니다. 왜 공간 지능이 중요한지, 그리고 AI나 로봇이 물리 세계를 더 잘 이해하고 이동할 수 있도록 연구자들이 어떤 방식으로 공간 지능을 높이고 있는지를 예시와 함께 설명합니다. 입문자가 읽기에도 부담 없게 구성되어 있습니다.

4. From 2D to 3D Cognition: A Brief Survey of General World Models
   이 글은 AI의 월드 모델이 2D 기반으로 인지를 하는 구조에서 3D 기반의 인지 구조로 어떻게 발전하고 있는지 살펴봅니다. 이걸 가능하게 하는 기술적 요소, 3D 기반의 인지 구조로 확장되면서 모델이 얻게 되는 새로운 능력들, 그리고 실제 활용 사례가 정리되어 있습니다. AI가 평면적인 정보를 이해하는 것에서 입체적 세계 이해로 확장되는 흐름을 파악하기에 좋습니다.

5. A Survey of Large Language Model-Powered Spatial Intelligence Across Scales: Advances in Embodied Agents, Smart Cities, and Earth Science
   이 조사는 LLM 기반의 공간 지능을 스케일별로 비교해 보는 관점을 제시합니다. 개별 로봇이나 에이전트 같은 작은 단위부터 스마트 시티, 나아가 지구 환경을 분석하는 것까지, LLM이 공간 메모리와 공간 추론을 어떻게 활용하는지를 체계적으로 다룹니다. 스케일을 넘나드는 공간 지능의 특성을 이해하는 데 도움이 됩니다.

6. SITE: Towards Spatial Intelligence Thorough Evaluation
   SITE는 비전-언어 모델의 공간 지능을 여러 모달리티와 스케일에 걸쳐 균형 있게 평가하기 위해 고안된 새로운 벤치마크입니다. 기존에 흩어져 있던 평가 지표와 태스크를 하나의 시스템으로 정리해서, 모델이 실제로 공간을 이해하고 있는지 보다 정확하게 측정할 수 있도록 설계된 것이 특징입니다.

*읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요