저는 이것저것 깜빡하는 일이 참 많습니다. 다만 사람이 모든 걸 기억하고 살 수는 없으니, 잊어버리는 것 자체는 제 기억력의 문제가 아니라 그냥 사람이라서 생기는 일이라고 생각하고, 그래서 크게 걱정하지는 않습니다. 정말 문제는, 우리가 하루하루 소화해야 하는 정보의 양입니다 - 깜빡하는 게 자연스러울 만큼 너무 많은 정보가 쉴 새 없이 들어오니까요.

지난주 구글이 EmbeddingGemma 2를 공개했습니다.

말로 설명하면 영상을 찾아주고, 글로 쓴 질문으로 녹음 파일을 검색해 주고, 스케치를 주면 비슷하게 생긴 이미지를 찾아 주는 모델인데, 파라미터가 7억 4천만 개 정도로 작아서 소형 기기에서 직접 돌릴 수 있고 라이센스도 Apache 2.0이라서, 작은 크기에 비하면 꽤 쓸모 있는 능력을 한꺼번에 갖춘 모델인 셈입니다.

EmbeddingGemma 2가 어떻게 동작하는지, 그리고 제가 왜 이 모델에 흥미를 느꼈는지 이해해 보실 수 있게, 상황을 하나 그려 보겠습니다. 컴퓨터에 이름이 엉망인 영상이 잔뜩 쌓여 있는데, 보고 싶은 장면을 음성 메모로 말해서 녹음하면, 이 모델로 만든 검색 앱이 그 장면이 담긴 클립을 찾아 옵니다. 별 것 아닌 것 같은 시나리오일 수도 있지만, 저한테는 이게 마치 마법처럼 대단한 것으로 느껴지고, 제 ‘기억’ 뿐만 아니라 앞으로 에이전트가 필요하게 될 에이전트의 ‘메모리’에도 똑같이 잘 적용될 것 같습니다.

출발점은 물론, 임베딩(embedding)입니다. 임베딩 모델은 컨텐츠를 숫자로 바꾸고 관련 있는 것끼리 가까이 위치시켜서, 정보를 '의미로 검색할 수 있게' 해 주는 놈이죠. EmbeddingGemma 2의 흥미로운 점은, 이 작업을 텍스트, 코드, 이미지, 오디오, 비디오 등 다양한 모달리티의 데이터에 걸쳐서 ‘모두’ 한다는 데 있는 것이고, 그래서 질문 하나와 거기에 맞는 영상 클립이 포맷 관점에서는 공통점이 거의 없지만 페어링을 할 수 있습니다.

이 점이, 우리가 SI(SuperIntelligence; 예전에는 AI라고 불렀죠 ;)가 쓸 정보를 준비하는 방식이 가지고 있었던 한 가지 한계를 풀어 줍니다. 지금의 수많은 검색 시스템은 오디오, 이미지, 영상을 먼저 자막이나 캡션 같은 텍스트로 바꾸고 그 텍스트를 검색하는데, 여기에 담겨있지 않은 내용은 오히려 더 찾기가 어렵습니다. 예를 들어서 발표 영상을 받아 적으면 발표자가 차트를 설명한 말은 남아도, 차트 자체가 보여 주는 관계 같은 건 글에 없을 수 있다는 겁니다.

반면에, EmbeddingGemma 2는 미디어를 직접 처리하기 때문에, 설명문이 놓칠 수 있는 시각 정보와 소리 정보까지 검색할 수 있는 것이죠.

물론, 여기까지는 흥미롭기는 해도 새로운 이야기는 아닙니다.

메타의 ImageBind는 이미 2023년에 깊이와 열화상 데이터까지 포함한 여섯 가지 모달리티를 하나로 연결했는데, 다만 라이센스가 비상업용 라이센스였습니다. 그래서 이번 구글의 EmbeddingGemma 2 릴리스에서 제 눈에 들어오는 건 여러 가지 요소가 적절하게 '조합'되었다는 점입니다 - 사이즈도 작고, 상업적으로 써도 되고, 일상적인 기기에서 돌릴 도구까지 함께 나왔다는 점이죠. 구글은 양자화한 전체 모델이 Pixel 11 Pro에서 활성 RAM 약 567MB로 돌아간다고 밝혔습니다.

개발자가 필요한 만큼의 모델만 골라 쓸 수 있게 구성한 점도 눈에 띕니다. 모델은 텍스트·코드(2억 7천만 파라미터), 비전(1억 7천만 개), 오디오(3억 개)의 세 구성요소로 나뉘어 있어서, 글과 코드만 다룬다면 첫 번째만 쓰고, 이미지 검색이 필요하면 비전을, 소리 검색이 필요하면 오디오를 더하는 식입니다.

세 구성요소는 같은 임베딩 공간을 쓰기 때문에, 영상과 오디오는 전체 모델로 미리 인덱싱해 두고 질문은 작은 텍스트 구성요소로만 처리해도 검색이 됩니다. 나중에 오디오 검색을 추가하더라도 이미 만들어 둔 텍스트 임베딩을 다시 계산하지 않아도 되고요.

이 모델이 만드는 임베딩은 마트료시카 인형과 비슷합니다.

큰 표현(Representation) 안에 쓸 만한 작은 표현이 들어 있어요. 768개 숫자로 이루어진 임베딩에서 앞쪽 512개, 256개, 128개만 잘라서 정규화해도 검색에 쓸 수 있게 학습했고, 그래서 임베딩 하나에 얼마의 공간을 쓸지 개발자가 고를 수 있습니다

256차원으로 줄이면 벡터가 차지하는 저장 공간이 3분의 1로 줄고, 구글은 이 크기에서도 이미지, 영상, 음성 검색 품질의 약 95%가 유지된다고 밝히고 있습니다. 다만,128차원까지 내려가면 공간은 더 아끼지만 멀티모달 품질이 눈에 띄게 떨어집니다.

마트료시카 표현 학습(Matryoshka Representation Learning)은 2022년에 나온 기법이라 이 모델만의 기술은 아닙니다. 그래도 이 모델이 흥미로운 건, 우리가 모아 두는 영상, 녹음, 스크린샷은 앞으로도 계속 늘어날 텐데, 이 자료를 검색하려면 하나하나가 임베딩 벡터로 바뀌어서 어딘가에 저장돼 있어야 하기 때문입니다. 자료가 쌓이는 만큼 벡터도 같이 쌓이니, 벡터가 크면 저장 공간이 금세 모자라겠죠. 반대로 벡터를 작게 줄여 써도 검색이 된다면 같은 공간에 훨씬 많은 자료를 담을 수 있고, 그만큼 인덱스 전체를 클라우드에 올리지 않고 내 기기 안에 두는 것도 현실적으로 조금은 쉬워지겠죠.

지금 써 볼 수 있는 앱도 이미 있습니다. 구글 AI Edge Gallery에는 미디어 검색과 영상 장면 찾기 기능이 들어 있고, Foresight 앱은 EmbeddingGemma 2와 Gemma 4를 짝지어서 로컬 파일을 검색하고 추론하는 데 씁니다 - 한 모델이 자료를 찾으면 다른 모델이 그 자료로 일하는 구조입니다.

‘에이전트’를 염두에 둔다면, 스크린샷, 코드, 녹음, 작업 보고서 같은 것들을 한꺼번에 검색하고, 에이전트가 액션을 하기 전에 원본 자료를 직접 열어서 확인한다거나 하는 식으로 쓸 수 있겠죠. 어제 쓴 ‘요약문’에서 빠진 내용도 ‘스크린샷’에는 그대로 남아 있을 수 있을 테니까요.

그래서, 다시 마법과 기억으로 이야기가 돌아옵니다.

처음에 생성형 모델이 나왔을 때는, 여러분과 저 모두 AI가 서툴지만 그럴 듯한 시를 짓는 것만으로도 정말 대단한 마법 같다고 느꼈죠. 그 다음에는 내 받은 편지함을 정리해서 거의 ‘인박스 제로(!)’에 가깝게 편지함을 유지하는 게 가능해졌습니다. 이제는 이 작은 임베딩이 글, 이미지, 소리, 영상을 서로 이어 주면서 ‘검색이 닿지 않던’ 어두운 구석이 줄어들고, 어렴풋하게만 본 것까지도 다시 찾을 수 있게 되는 겁니다 - 가만히 생각해보세요. 정말 대단한 거 아닌가요?

여기서 잠깐, 지금으로부터 200년 전, 1826년에는 정보라는 게 어떻게 사람들에게 전해졌는지 상상해 보자구요.

1826년의 보통 사람은 하루 정보의 대부분을 얼굴을 맞대고 나누는 말로 얻었습니다. 글을 잘 읽는 사람이라고 해도 지역 신문이나 책 몇 쪽, 편지 한 통이 전부였을 테니까, 평균적인 사람이 하루에 읽는 글은 2,000~5,000단어를 크게 넘지 않았을 겁니다.

지금은 온 세상 모든 사람이 똑같이 생긴 이 작은 화면으로, 하루 종일, 매일 쏟아져 들어오는 엄청난 양의 정보를 처리하고 있어요.. 아주 러프하게 잡아도, 하루에 적어도 10만 단어는 소비하는 셈일 겁니다.

그런데 우리의 뇌는 근본적으로 달라진 게 없어요. 30만 년 전쯤의 호모 사피엔스와 대체로 같은 뇌를 지금도 쓰고 있다고 합니다.

그래서, 저는 메모리, 그리고 메모리 검색 이야기에 아주 큰 관심을 가지고 있습니다. 바로, ‘에이전트 메모리’의 밑바닥에는 우리 자신의 기억에 대한 더 깊은 이야기가 놓여 있다고 믿기 때문입니다. 정보가 이렇게 넘쳐 나는 지금, 슈퍼인텔리전스는 우리가 맡고 있는, 부담하고 있는 일의 일부를 덜어 내는 통로가 될 수 있다고, 그렇게 만들어야 한다고 생각합니다. 뭔가를 검색하는 일, 어디에 뭐가 있는지 기억하는 일, 소소한 기억의 활동을, 바로 이 ‘쉬지 않는 기술’에 넘기는 겁니다.

물론, 우리 주위에서 일어나는 모든 일들을 따라잡으려고 애쓰다가는 병이 날 수도 있고, 솔직히 말씀드리자면, 어떤 때는 이미 그런 상태 같기도 합니다. SI를 잘 만들고 잘 쓰게 된다면, 어쩌면 그런 병이 나기 전에 예방을 하거나, 또는 그런 상태를 치료하는 방법 중 하나가 될 수도 있지 않을까요?

작은 임베딩 모델 하나에다가 걸기에는 큰 희망이지만, 글쎄요, 제 생각은 자꾸 이쪽으로 흘러가네요.