언제쯤 AI는 '진짜 기억'을 가지게 될까? - Pinecone 인터뷰

튜링 포스트의 Ksenia가 흥미로운 AI 학계 연구자들 또는 업계의 사업가들을 만나 나눈 이야기들을 유튜브 영상과 함께 튜링 포스트 코리아의 ‘Interviews with Innovators’ 시리즈를 통해서 소개해 드립니다.

만약에 말이죠. AI가 ‘천재같은 금붕어’ - 아주 똑똑하지만 대화를 할 때마다 처음부터 다시 시작해야 한다는 측면에서요 - 가 아니라 ‘경험이 많은 숙련 엔지니어’ - 과거의 경험을 축적하고, 맥락을 이해한다는 측면에서요 - 처럼 ‘기억’할 수 있게 된다면 어떨까요?

‘Interview with Innovators’의 이번 에피소드에서는, 벡터DB 회사인 Pinecone의 창업자이나 CEO, 그리고 전 Amazon의 AI Scientist였던 Edo Liberty가 튜링 포스트의 Ksenia와 함께 AI 모델의 메모리, 지식, 그리고 지능 등에 대해서 이야기를 나눕니다.

Pinecone은 2019년에 설립된, 생성형 AI 모델과 기업의 데이터를 연결해 주는 ‘벡터 데이터베이스’를 개발하는 회사입니다. Notion, Blackstone, Canva를 포함한 수많은 기업에서 Pinecone의 벡터 DB를 사용 중으로, AI 산업에 필수적인 저장, 검색 인프라를 제공하는 회사입니다.

다시 돌아가서, 오늘의 인터뷰에서는:

• 원시적 인지 능력 (Raw Cognitive Skills)과 실용적 지식 (Workable Knowledge)의 차이

• RAG가 AI 모델의 발전에 뒤쳐지고, 더 자연스럽고 지능적인 기술로 느껴지지 않는 이유

• AI의 메모리 기술이 ‘시연용 도구’ 수준에서 ‘실제 업무용 시스템’으로 발전하기 위해서 필요한 것들

에 대해서 주로 이야기를 나눕니다.

실제 업무에서 벡터 임베딩을 다루시는 분이든, 아니면 다음 AI 시대의 인프라에 대해 관심이 있는 분이든, 이 인터뷰를 통해서 ‘자율형 에이전트 시대의 메모리’에 대해서 한 번 생각해 볼 기회를 가져보실 수 있기를 바랍니다.

Q. Edo, 안녕하세요? 오늘 인터뷰 시간 내 주셔서 감사합니다. 우선, 가장 중요한 질문으로 이야기를 시작하도록 해 보죠 - AI는 언제쯤 진짜 ‘기억력’을 갖게 될까요?

좋은 질문이예요. 그럼, 잠깐 시야를 넓혀서, ‘지식’과 ‘기억력’이 어떻게 다른 건지, 그리고 진짜 ‘지능’이라는 관점에서 그 두 가지가 어떤 기능을 하는 건지 이야기해 볼께요.

지금 우리가 보고 있는 Foundation Model들은 ‘인지적 (Cognitive)’ 기능에 특화되어 있어요: 예를 들면 읽고, 쓰고, 요약하고, 추론 (Reasoning)하고, 문제 해결을 하고, 수학 문제를 풀고 하는 것들이죠. 이건 다 ‘계산’의 영역이예요. 그런데 만약 보잉 (Boeing) 사의 테크니컬 매뉴얼을 읽고 나서 ‘실제로’ 이동을 해서 엔진의 어떤 부품을 교체한다는 것은 전혀 다른 문제죠.

엄청난 양의 정보를 읽고 소화하고, 이해하고, 정리하고, 의사결정을 할 수 있게끔 그리고 실시간으로 사용할 수 있게끔 어떻게든 색인화 (Indexing)하는 것들, 이런 것들이 필요해요. 만약 여러분이 항공기 정비사라면, 어떤 유지보수와 관련된 ‘결정’을 내리기 위해서 손끝에 엄청난 양의 상황에 대한 정보가 주어져야 합니다. 그게 바로 ‘지식’이고, ‘메모리’이고, ‘정보’에요.

그런데, 제대로 소화하고, 제대로 이해하고, 제대로 정리하고, 실시간으로 제대로 접근할 수 있게 하고, 제대로 후처리를 하고, 이런 것들 각각으로는 충분치가 않아요. 훨씬 실제 상황은 복잡합니다: 각 단계가 따로 놀지 않고 전체가 하나의 유기체처럼 움직여야 하고, 상황 변화에 즉시 대응할 수도 있어야 하고, 예외 상황이 발생했을 때 불완전한 정보로도 판단하고 여러 개의 문제를 동시에 다룰 수 있어야 해요.

이런 관점에서, 현재의 RAG (Retrieval-Augmented Generation)는, 위와 같은 시스템을 갖추기 위한 일종의 ‘표준적인 접근법’이 되기는 했지만, 아주 초기의 조잡한 버전 정도 만들 수 있는 상태라고 봐요. RAG 관련해서 수많은 변형 기법들이 있고, 이걸 또 MCP라든가 기타 다른 프로토콜과도 결합할 수 있어요. 하지만, 실질적인 업무를 하는데 써야 할 ‘지식’의 품질, 추론, 능력이라는 전반적인 관점에서 봤을 때는, 대략적으로 ‘챗GPT가 나오기 이전의 AI 모델’ 수준 정도에 그치고 있다고 봅니다.

지금 Pinecone에서는 우리 벡터 DB를 RAG의 핵심 요소로 사용하고 있는 수천 곳 이상의 고객사와 일을 하고 있어요. 관찰을 해 보면, 거의 모든 경우에 당연히 ‘아주 기본적인 구조를 만드는 작업’을 하게 되고, 그 다음에 그 경험을 가지고 ‘수천 가지’ 해 보고 싶은 일들이 생겨요. 지금 우리 업계가 위치한 곳이 바로 ‘아주 기본적인 작업’을 하는 단계에요.

AI가 ‘지식’과 ‘메모리’를 가지는 단계로 가는, 아주 기초적인 첫 번째 장벽을 무너뜨렸다고 할 수는 있겠죠. 신박한 아이디어들도 많고, 벡터 DB를 포함한 인프라들도 갖추고 있고, 빠르게 발전하는 모델들도 있죠. 우리가 원하는 미래로 가는 길 그 위에 있기는 하지만, 개인적으로는, ‘메모리’란 걸 진짜 이해하고 모든 정보를 원활하게 사용할 수 있는 End-to-End의 자동화 시스템에까지 도달하는 시간은, 아마 몇 년 후가 될 거라고 봐요.

Q. 그 ‘몇 년 후’를 좀 더 구체적으로 말한다면 어느 정도일까요?

글쎄요, 말씀드리기가 쉽지 않네요. 이런 종류의 일은, 종종 제가 예측했던 것보다 빠르게 진행되는 경향도 있기는 하더라구요. 어쩌면, 2년 정도의 시간 안에, 많은 사람들이 이 문제가 ‘반쯤 해결됐구나’라고 느낄 수 있지 않을까 싶습니다.

‘반쯤 해결’됐다는 건, 좀 더 구체적으로 기술을 하자면, 사람들이 백만 개 단위의 문서를 수집하는데 Pinecone 같은 도구를 사용하고, 좋은 의사결정을 내리기 위해서 적절한 시점에 Pinecone에서 제대로 된 컨텍스트를 가져올 수 있는 에이전트들을 꽤 많이 사용하게 된다 정도의 뜻이에요.

Q. 그렇군요. 과학자이자 창업자의 관점에서 이야기를 한 번 해 주신다면, 제대로 된 ‘기억’과 ‘메모리’를 운용하는데 도달하기 위해서, 어떤 발전이 필요한가요?

네, 일단 서로 무관하게, 독립적으로, 개선되어야 하는 여러 가지 구성요소들이 있어요. 그 다음에는 이 구성요소들을 모아서 함께 작동할 수 있도록 만들어야 할 거예요.

저희 Pinecone은 벡터 DB 영역을 선도하는 회사 중 하나인데, 벡터 DB는 본질적으로 ‘검색 엔진’이예요. 즉 데이터를 저장하고 원시적인 수준의 검색을 수행하는 인프라죠.

수억개~수십억개의 문서에서 필터, 복잡한 임베딩 등을 활용해서 검색을 하려면 사실 정말 강력한 인프라가 필요해요. 거의 거대한 AI 모델을 훈련시키는 수준이라고 보면 될 거예요. GPU가 없이는 하기 힘들죠. 흥미로운 건, 두 가지의 경우 - AI 모델을 훈련시키는 것과 벡터 DB로 검색하는 것 - 모두 핵심적인 해결책은 ‘하드웨어’라는 게 밝혀졌다는 거죠.

AI 모델 훈련에 대해서 이야기를 하면, TensorFlow나 PyTorch가 GPU 가속, 분산 등을 훨씬 더 잘 다룰 수 있게 개선을 해야 했었죠 - 그래서 거대한 AI 모델 훈련을 잘 하도록 하기 위해서 엄청난 소프트웨어 투자가 이뤄졌어요. 벡터 DB 영역 전체에서 하는 일도, 결국은 기본적으로 ‘같은 지식 기계 - AI 모델’에 무한한 양의 데이터를 처리하게끔 하는 거잖아요? 차이점은, ‘컴퓨팅’의 스케일링이 아니라 ‘스토리지’의 스케일링이 핵심적인 문제라는 것 뿐이죠.

물론, 그것만으로 충분한 건 아니에요.

• Pinecone의 자체 연구팀이 검색 작업용으로 특별하게 훈련된 Embedding을 개발하고 있는데, 여러분이 가진 데이터들이 ‘맥락’을 바탕으로 올바른 정보를 가져오기 좋은 방식으로 정리됩니다.

• Pinecone에서는 새로운 버전의 Contextual Token 기반 모델을 곧 출시할 예정이예요 – 왜냐하면 같은 단어라 하더라도 다른 문서에서라면 약간 다른 의미를 가질 수 있고, 맥락에 따라 중요성이 높거나 낮을 수 있으니까요. 그런 뉘앙스가 검색에서는 정말 중요하고, 뉘앙스를 포착하는 유일한 방법은 아마 모델을 사용하는 것이겠죠.

• Pinecone에서는 Sparse 검색 (전통적인 단어 기반의 검색)과 Dense 검색 (의미/맥락 기반의 검색)을 결합합니다 – 간단히 말하자면, 단어와 개념으로 검색하는 것 vs. 의미, 맥락, 전반적인 관련성으로 검색하는 것 두 가지를 합친다는 거죠. 둘 다 필요해요, 사람도 그렇게 작업을 하구요.

• 여기서 좀 더 나가야 해요. AI 어시스턴트에서 쿼리 자체에 대한 훈련을 해야 합니다.

쿼리를 보낼 때 단순히 검색할 대상 단어를 매칭하는 전통적인 검색과는 전혀 다릅니다. 쿼리가 ‘어떤 작업’과 연결되어 있다면, LLM이나 다른 모델이 ‘여러분이 처한 상황을 해석하고 좋은 의사 결정을 내리기 위해서 어떤 정보를 가져와야 하는지 파악’을 해야 합니다. 이 과정이 일종의 지식 에이전트 또는 검색 에이전트가 됩니다. 사실 아직 뭐라고 부를지도 확실하지는 않죠.

이 과정은 ‘반복적’이라는 특성이 있어요 - 계속해서 정보를 가져와 보다가, 어느 시점에 ‘좋아, 의사 결정을 할 만한 충분한 컨텍스트를 얻었어’ 하는 판단을 하게 됩니다.

그 외에, 아래와 같은 것들도 적극적으로 개선을 하고 있어요:

• 사람들이 익숙해하고 좋아하는, 수많은 기존 모델들도 호스팅할 수 있게 합니다.

• 거기에 더해서, 우리가 직접 손보고 개발한 ‘자체 모델들’도 런칭합니다.

• 후처리를 잘 하게끔 도와주는 Re-Ranker, Coherency Ranker를 포함한 기타 도구들을 이미 만들었고, 오픈소스화했습니다.

• Assistant 제품도 직접 개발했는데, 모든 작업을 End-to-End로 처리해 줍니다.

• 그리고 앞서 이야기한, 우리가 직접 개발한 Context Agent를 런칭할 겁니다.

우리는, 핵심적인 DB - 벡터 DB - 그 자체는 엄청난 대규모의 스케일에서 만들고 작업을 하고, 대신 극도로 저렴하게 사용할 수 있도록 만들어서, 기업에서 벡터 DB를 사용하는 것 자체에 큰 부담을 느끼지 않게끔 하는 걸 목표로 하고 있어요. 기업의 입장에서는 아주 큰 차이를 만들어내는 요소라고 생각합니다.

Q. Amazon에서 막 그만두셨을 때, 벡터 DB에 대한 아이디어를 처음 피칭했을 때 말이죠, 그 개념을 이해한 사람이 거의 없었다고 들었어요. 챗GPT 등장 이후에, 벡터 DB는 엄청나게 많은 경쟁자들이 등장한 아주 핫한 카테고리가 되었는데요. 그리고 이제 이 제품, 이 영역이 ‘상업화’의 길을 가고 있고 말이죠. 어떻게 생각하세요? 그리고 벡터 DB의 미래는 어디로 향한다고 생각하세요?

저는 실제로 이 카테고리를 처음 시작한 아주 소수의 창업자 중 한 명이라는 사실이 엄청난 행운이라고 생각합니다. 엄청난 특권이기도 하구요. 일부는 저의 통찰력 덕분이기도 하겠지만 (^.^) 거의 대부분은 순전히 운, 우연, 좋은 타이밍 덕분이었어요.

저는 챗GPT 같은 게 등장하리라고 생각도 하지 못했어요. 거의 모든 사람들이 그 ‘타이밍’에 놀라기는 했지만요.

지금에 와서는, 엄청나게 많은 경쟁자들이 있는 영역이 되었고, 고객들로부터 ‘효율성’에 대한 압박을 받고 있습니다. 기술도, 아키텍처도 혁신을 계속해야 하는 거죠. Pinecone은 앞으로도 벡터 DB를 더 빠르게, 더 크고, 더 비용 효과적이고, 더 성능이 좋고, 더 기능도 풍부하고, 더 안전한, 그런 제품으로 만들어갈 겁니다.

경쟁을 본다면, 순수한 벡터 DB들 뿐 아니라 기존의 소형 오픈소스 솔루션이나 OpenSearch 같은 데이터베이스들도 자기들의 제품에 ‘벡터 검색’ 기능을 추가하고 있어요. 실제 상황을 냉정하게 보면, 이런 방식은 규모가 ‘작을 때’는, 어느 정도 작동할 수가 있지만 - PoC 같은 경우죠 -, 프로덕션으로 이행하기 위해서 스케일업을 할 때가 되면, 성능이 저하되든지, 비용이 올라가든지, 안정성이 흔들리게 됩니다. 이걸 관리하는 일 자체가 배보다 배꼽이 더 큰일이 되기 십상이예요.

그래서, 프로덕션 환경에서 잘 버티고 스케일링할 수 있는 대형 벡터 DB가 필요할 때 바로 Pinecone 같은 회사를 찾기 시작합니다. 결국, 벡터 DB가 AI 기술 스택의 한 요소로서 중요한 카테고리이고, 그걸 잘 구성하기 위해서는 처음부터 제대로 된 제품, 서비스를 가지고 시작해야 한다는 것, 의심의 여지가 없습니다.

저희 Pinecone의 관점에서만 보더라도, 저희 벡터 DB의 아키텍처를 여러 차례 변화시켜 왔어요 - 매번 10배 이상의 스케일을 감당하기 위해서였어요. 애초부터 벡터 DB로 작동하게끔 특별하게 설계했지만, 여전히 우리 아키텍처도 반복적으로 재검토, 진화를 시켜야 했어요. 현재 시점 기준으로, Pinecone은 거의 모든 노드 기반의 솔루션이 처리할 수 있는 수준을 훨씬 뛰어넘는 성능에 도달해 있습니다.

Q. HumanX에서도 ‘벡터 DB의 전체 아키텍처를 다시 구성해야 했다’고 말씀하셨던 것 같은데요, 맞나요? 왜 그렇게 했어야 했는지 좀 더 설명해 주실 수 있을까요?

네, 그걸 설명하려면, 벡터 DB가 겪어온 워크로드의 종류를 가지고 약간 역사적인 흐름을 볼 필요가 있을 거 같네요.

2020년 즈음에는 그렇게 데이터가 많지는 않았지만 ‘처리량’ 측면에서는 엄청난 포부를 가진 사람들이 많았어요. 그래서 엄청난 연산을 해야 하는, 집약적인 워크로드가 주종이었죠. 100만 개나 200만 개, 때로는 1,000만 개의 벡터 정도의 데이터였지만, 초당 1,000번 쿼리를 해야 하는 상황이라고나 할까요? 이걸 하려면, 아주 고급의 알고리즘, 고성능의 컴퓨팅 자원, 효율적인 데이터 구조가 필수적이죠. 이게 DB의 핵심 내부 구조가 되었고, 몇 년간은 이 구조를 최적화하는데 집중했어요.

그 다음으로, 인덱스들이 점점 커지기 시작했죠. 사람들이 벡터 DB의 아이디어에 익숙해지고, 벡터 임베딩이라는 개념에 편안해진 거죠. 따라오게 된 건 바로 ‘대규모의 검색’이었죠. 10억 개의 벡터를 가지고 벡터 검색을 시작한 거예요 - 수십억 개 단위에서요. 이렇게 되면, ‘분산’이 믿을 수 없을 정도로 어려워져요.

그런데, 데이터 양만 엄청나게 커진 게 아니라, ‘컴퓨팅’과 ‘스토리지’ 사이의 비중, 그 관계가 변해버린 거예요. 이런 시스템들은 메모리, 스토리지, 네트워크의 한계에 종속되기 때문이죠. CPU 때문에 문제가 생기는 경우는 거의 없어요. 그래서 고성능 컴퓨팅 구조를 그냥 가져다 복붙하면, 비용이 엄청나게 증가하게 되는 겁니다.

결국, 수천 명의 사용자를 분산 구조에서 유지할 수 있는 자체적인 서버리스 (Serverless) 솔루션을 구축할 수 밖에 없어요. 검색할 때 모든 사람들이 같은 CPU, 같은 스토리지를 공유할 수 있게 하는 거예요. 그러면, 특정한 유즈케이스가 CPU를 포화시키지 않더라도 실제 대량 데이터에서 높은 성능을 보여줄 수 있습니다. 이게, 실제로 비용 효율적으로 구성을 할 수 있는 사실상 유일한 방법입니다.

재미있는 건, 지난 6개월 동안 우리가 아키텍처를 다시 설계해야 했던 이유 - 또는, 적어도 의미있는 변화를 줘야 했던 이유 - 는, 앞서 이야기한 세 번째의 패턴이 점점 더 일반적인 상황이 되어가고 있기 때문이라는 겁니다. 그 세 번째 패턴이 결국 벡터 DB가 - 그리고 데이터셋이 - 앞서 이야기한 것보다도 훨씬 큰 대규모가 되고 있다는 거에요. 수백억, 수천억 개의 벡터가 될 수 있어요. 어떤 고객사는 ‘조 단위’의 벡터를 이야기하는 경우도 있습니다.

이런 엄청난 데이터를 엄청나게 큰 데이터베이스 하나로 다룰 수도 있겠죠 - 1,000억 개의 데이터가 들어있는 거대한 시스템 말이죠. 이 정도의 큰 시스템이라면, 복잡하고 정교한, 비싼 관리 시스템을 만들어도 괜찮을 거예요. 시스템 하나당 메모리를 100메가바이트씩 써도 문제없어요.

그런데 최근에 고객들의 요구 사항이 다양해지고 있잖아요? Rubrik이라는 회사를 예로 들면, 이 회사는 자사의 기업 고객들에게 ‘폴더별로 AI 검색 서비스’를 제공합니다. 그러다 보니, 고객사 한 곳당 폴더가 많으면 수백만 개씩 나오게 되었는데, 이러면 각 폴더마다 별도의 작은 데이터베이스가 필요한 상황이 되죠.

문제는 이렇습니다. 기존 시스템으로 수백만 개의 작은 데이터베이스를 만들려고 하면, 각각의 데이터베이스에 100메가바이트씩 메모리를 할당해야 됩니다. 수백만 개에 100메가바이트씩을 곱하면 어마어마한 메모리가 필요해지는데, 이건 현실적으로 불가능한 수준이죠.

결국, Pinecone에서는 완전히 새로운 방식으로 시스템을 다시 만들어야 했습니다 - 작은 데이터베이스들은 복잡한 최적화 기능이 필요없으니, 훨씬 간단하고 메모리를 적게 쓰는 구조로 바꾼 겁니다. 마치 백화점 관리 시스템으로 편의점을 운영하려다가 안 되니까, 편의점에 맞는 새로운 시스템을 만든 것과 같다고 보면 됩니다.

이게 바로 ‘모든 것을 다시 설계하고 구성해야 했다’는 의미입니다. 고객들의 사용 패턴이 바뀌면서 전체 시스템 구조를 근본적으로 바꿔야 했던 것이죠.

마지막으로 말씀드리고 싶은 건, Pinecone이 완전한 서버리스 시스템으로 만들어져 있어요. 그래서 데이터베이스의 인덱스가 100개 벡터일지 10,000개 벡터일지 1,000만개 벡터일지 전혀 알 수가 없어요. 쿼리도, 한 달에 한 번일지, 초당 100번일지 몰라요. 그래서, 저희는 자체 LSM 구조를 다시 만들어야 했고, 모든 레벨에서 자체적인 인덱싱을 가지게 되도록 구성했습니다 - 사용량이 얼마나 되는지, 계층에서 얼마나 깊은지 등에 따라서요.

실제로 정말 아주 작은 인덱스들이 엄청나게 많이 만들어져요. 그런 경우에는, 인덱싱을 안 하면 좋겠어요. 더 클수록, 데이터를 더 오래 가지고 있을수록, 더 많이 쿼리가 될 수록, 더 잘 인덱싱하기 위해서 에너지를 소비하는게 맞겠죠.

만약 여러분 회사가 이메일 서비스 제공사업자인데 100만명의 사용자가 있다고 합시다 - 20% 정도는 전혀 검색을 하지 않을 테고, 정상적 범위의 행동을 하는 60%가 있을 거예요. 그리고 예외적으로 이상한 행동을 하는 헤비 유저들도 있어요. 이 사람들이 평균 대비 10배가 많은 데이터가 있을 수도 있구요. 이런 모든 상황에 대응하려면, 여러분이 운용하는 데이터베이스가 적정한 레벨에서 적정하게 인덱싱을 다이나믹하게 변경해 가면서 할 수 있어야 해요. 그렇지 않으면, 관리 자체가 불가능합니다.

Q. 흥미로운 이야기네요. 또 한 가지 여쭤보고 싶은데요. 예를 들어서, 에이전틱 워크플로우를 위한 인프라의 한 부분으로, 더 대규모의 환경에서 메모리나 인프라에 대해서 우리가 더 생각해 봐야 하는 부분은 어떤 게 있을까요?

네, 일단 먼저 말씀드릴 건, 저희 회사가 AI 스택의 일부분에 해당하는 회사니까 제 말씀에도 편견이 있을 수 있다는 점을 이해하시구요.

저는, 사람들이 ‘LLM과 지식 에이전트, 검색, RAG, Pinecone Assistant 같은 것들이 그냥 쉽게 작동하고 완벽하다’는 가정을 쉽게 해 버리는 것을 보면서 끔찍하다는 느낌과 놀라움이라는 느낌을 동시에 느끼게 돼요.

우선, 끔찍하다는 느낌을 받는 이유는, 이 모든 것들이 아직 ‘완벽과는 거리가 멀기’ 때문이죠. 동시에, ‘놀라운 느낌’은 어디서 오냐면, 이 업에 종사하는 사람들, 과학자들, 엔지니어들, 모든 사람들이 ‘할 일이 너무 많고 파악해야 할 것이 많다’는 것에서 와요.

기술 커뮤니티라는 정체성을 가진 우리들이 충분히 묻지 않고 있는 질문은, 저는 ‘정말로 지식이라는 게 뭘 의미하는가’ 하는 거라고 생각합니다. 이런 시스템에 우리가 기대하는 게 뭔가요? 어떤 설정과 환경에서 얼마나 정확해야 하나요? 나아가서, ‘정확성’이 뭘 의미하는 건가요?

한 가지 예를 들어볼께요. 우리는 항상 ‘참조 정보’를 제공해요. 사용자가 받게 되는 정보가, 사용자가 시스템에 제공한 정보에 근거하도록 해야 하니까요 - 환각은 정말 큰 문제잖아요? 하지만, 그런 기준이 너무 높은 건가요? 글쎄요, 어떤 애플리케이션에서는 그럴 수도 있죠. 기준을 낮춰도 될까요? 어떤 사람들은 한 가지 관점에서 Yes/No 답변을 할 텐데, 반대 관점을 가진 사람들도 무조건 있겠죠.

또 다른 하나, 우리가 ‘사회’ 자체로서 고민하는 ‘진실’에 대한 같은 질문들이 데이터에도 나타나요. 뭔가가 훨씬 더 일반적으로 나타난다고 해서 더 진실한 건 아니죠. 그리고 모델들은 본질적으로 ‘베이지안’이예요 - 뭔가를 더 많이 보면 더 자주 학습하고, 그 답변을 더 많이 주는 경향이 생겨요. 그래서, AI에서 뭔가가 얼마나 일반적이거나 빈번한지, 그리고 모델이 그게 얼마나 진실하다고 생각하는지 사이에 직접적으로 나타나는 잘못된 상관관계를 고쳐내야 합니다.

이런 질문들, 우리가 데이터를 처리하고, 이해하고, 일관성을 부여하고, 사회가 신뢰할 수 있도록 접근하게 하는 방법들에 대한 깊은 질문들을 저는 좋아해요. 이 모든 영역은 앞으로 20년 정도는 충분히 연구할 만한 토픽이라고 생각합니다. 아직 이 문제들을, 이 질문들을 해결하는 작업은 겨우 시작 단계에 있을 뿐입니다.

Q. ‘지식을 갖춘 AI’라는게 뭘 의미하는 건지, 한 번 다시 간단히 설명해 주실 수 있을까요?

네, 여기저기서 이에 대한 말씀을 드리기는 햇지만, 좀 더 간결하게 이야기를 해 볼께요.

우리가 꿈꾸는 AI 시스템이 ‘구조화되지 않고, 정리되지 않은 상태의, 대량의 정보를 받아서, 그걸 소화하고, 정리하고, 때로는 실시간으로 작업을 완료하거나 질문에 답하거나 문제를 해결하는데 필요한 통찰과 데이터를 수면 위로 드러낼 수 있는’ 그런 시스템이라고 해 볼께요.

그렇다면, ‘수집’으로부터 ‘통찰’에 이르는 전체의 파이프라인, 그게 제가 ‘지식’이라고 부르는 겁니다. 그리고 여러분이 가지고 싶어하는 것은, ‘시간에 따른 맥락’을 이해하는 상태에서 작업을 완수하기 위해서 적절한 순간에, 적절한 환경에서 그 ‘지식’을 활용할 수 있는 에이전트구요. 그게 답니다.

Q. ‘메모리’, ‘지식’을 갖춘 AI가 AGI로 향한 하나의 단계, 디딤돌이라고 보시나요? 좀 더 넓은 관점에서, AGI에 대해서는 어떤 생각을 가지고 계세요?

네, 지식이 없이는 지능적일 수가 없겠죠. 그냥 불가능해요.

여러분이 종종 만나러 가는 주치의를 생각해보세요 – 그 분들이 IQ가 높다는 거 가지고 충분하지 않잖아요? 그 분들은 의과대학에 다녔고, 공부한 걸 이해하고, 지능적으로 적용할 수 있을 만큼 충분히 ‘기억’을 하고 ‘지식’을 가지고 있는 거죠. IQ 만 가지고는 안 돼요.

물론, 50세 의사보다 25세 때 생각은 더 빠르게 했을 수도 있겠죠. 하지만 여전히 50세의 전문의를 더 신뢰하는 이유는, 그 동안 그 분들이 ‘지식을 축적’해 왔기 때문이예요.

AI 기술의 혜택 - 또는 침투 - 을 많이 받는 경제의 영역을 보면, 대부분 ‘지식’ 업무잖아요? 변호사, 회계사, 특허 관리자, 음악가, 예술가….AI가 그런 사람들과 함께 작동하려면, 정보를 가지고 있어야 하고 진짜 지식이 있어야 돼요. 그렇지 않으면, 그냥 ‘스테로이드를 맞아서 미친듯이 빨리 작동하는 맞춤법 검사기’ 정도일 거예요.

Q. 마지막으로 두 개의 질문이 있어요: 하나는 책에 관련된 건데요. 당신의 오늘을 만들어 준 책이 혹시 있나요? 그리고 Pinecone의 미래를 만들어가면서 계속해서 다시 보게 되는 특별한 책, 특별한 생각이 있다면 뭔가요?

와, 정말 좋은 질문이네요. CEO로 일하다보니 원하는 만큼 책을 읽지는 못하거든요.

수년 전에 읽은 책이 있는데, 계속해서 생각이 나고 다시 보게 되는게 있어요. 바로 Endurance라는 책이예요.

Ernest Shackleton과 그가 이끄는 팀의 남극 탐험을 하는데, 배가 좌초되는 절대적인 재앙으로부터 시작하는 이야기예요. 정말 믿기 힘든 여정인데, CEO인 제게는 리더십, 희망, 수완, 인간 정신이 한계 등에 대한 다양한 교훈을 얻을 수 있는 책이었어요.

이 분들이 겪은 일을 상상하는 것만으로도 경외감이 생겨요. 믿을 수 없는 정도의 영감을 불러일으키는, 인간 정신에 대한 생각을 하게 만드는 책입니다.

Q. 훌륭한 책 추천 감사합니다 - 다양한 분들이 영감을 받은 책의 목록을 만들고 있는데, 큰 도움이 될 것 같네요. AI 분야로 돌아가서, 앞으로 한 5년 정도 생각해 봤을 때, 가장 흥미진진하거나 우려되는 게 뭐가 있나요?

두 가지 정도 이야기하고 싶네요.

앞에서 ‘진실’에 대한 이야기를 했는데요, 다시 한 번 강조하고 싶어요.

‘진실’을 규명하고 데이터로부터 직접적인 상관관계로 도출되는 ‘진실’이 사실은 그냥 빈번하게 등장하는 것일 뿐이라는 걸 이해하고 그걸 수정하는 것, 어느 정도는 기술적인 도전이기는 하죠 - 하지만 진짜 중요하고 어려운 부분은, ‘사람에 대한 이해’가 필요한 도전 과제예요. 혹시 누군가 모든 정보에 접근할 수 있다고 하더라도, 뭐가 진실이냐 합의하는 게 쉽지는 않잖아요? 그래서 이건 출처가 있냐 없냐 문제도, 지능의 문제도 아니고, 사실 ‘정치적인 문제’예요. 사람의 문제고, 사회로서 우리가 다뤄야 하는 겁니다.

이 싸움은 사실 아주 어려운 싸움인데요. Pinecone의 입장에서는 사실 기업들, 그리고 기업들이 가지고 있는 데이터를 가지고 작업하는 것이기 때문에 크게 어렵지 않은 경우가 많기도 해요 - 기업이 만들고 있는 제품이 원하는 결과를 정의하고 거기에서부터 시작하면 되니까요. 그럼에도 불구하고, 어느 정도의 갈등과 고민은 여전히 있어요. AI라는 전반적인, 큰 관점에서는 장기적으로 이게 큰 문제가 될 거라고 봅니다.

돌이켜 보면, 2000년대 초에 검색 엔진들이 이런 문제들을 다뤄야 했었고, 소셜 네트워크들이 편견, 필터 버블, 정보의 사일로 때문에 지금도 골치아파 하는 것처럼 AI에서도 문제가 될 거예요.

두 번째로 말하고 싶은 건 - 그리고 이건 사실 그렇게 걱정되는 건 아니지만, 여전히 우리가 잘 다뤄야 하는 거라서요 - 기술이 얼마나 견고하고, 잘 이해할 수 있고, 신뢰할 수 있는지, 그리고 그 기술을 어떤 곳에 사용하기로 선택하는지에 약간의 이해 관계와 충돌이 있을 수 있다는 거예요.

저도, 사회로서 우리가 AI가 비윤리적이거나 무책임하게 사용되는 걸 발견했을 때, 단지 수익성 때문에 그냥 번창하게 놔두는 것보다는 억제하는 방향이 맞을 수 있다고는 생각하고 있어요. 이걸 다루는 방법이 정치, 법 집행 등의 분야에서 나올 수도 있지만, 제 입장에서 그런 갈등을 해결하고 싸우는 방법은, 기술을 더 좋게, 더 빠르게, 더 신뢰할 수 있게, 더 이해할 수 있게, 더 관리가 쉽게 만드는 것이기도 하구요.

Q. 두 가지의 우려 사항이라고 볼 수 있겠네요. 더 긍정적인 관점에서 흥미진진할 것 같다고 보시는 건 없나요?

엄청나게 많죠 ^.^ AI 학계와 업계 전체가, 정말 믿기 힘들 정도로 흥미진진하게 발전하고 있어요.

거의 모든 직업이, 거의 모든 일이, 절대적인 변화를 겪고 있어요. 살면서 이런 걸 본 적이 있나요? 아마 인터넷 정도 뿐일 거예요.

저희 집에 초등학교에 다니는 아이들이 있는데요, 이 아이들은 이미 30대 정도가 인터넷에 대해 느끼는 것 비슷하게 AI를 생각해요. 기계와 대화하고, 기계가 답을 주는 것, 이게 불가능한 상황을 상상하지 못해요.

앞으로는 기업들은 더 작아질 거예요. 사람들은 더 많은 일을 할 수 있게 될 거예요. 성가시고 가치가 작은 일들은, 사람들은 안 해도 되게 될 겁니다. 모든 기술이 더 좋게, 더 빠르게, 더 저렴하게 바뀔 거예요. 엄청난 사회적인, 경제적인 영향이 AI로부터 파생되고 있고, 그 영향은 커져만 갈 겁니다.

과학자이나 엔지니어로서, 이 변화하는 세상을 구축하는데 기여할 일종의 특권 - 그 기술이 어떻게 작동할지를 여러 사람들과 논의하고 현실로 만들고, “우와, 이게 된다!” 하는 순간을 경험하는 것, 그 어떤 것과도 비교할 수 없는, ‘유레카!’의 순간이죠.

읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요.