이 ‘개방성’을 적극적으로 AI에 수용한다면, 궁극적으로는 AI의 잠재력을 활용해서 디자인, 예술, 과학, 공학에 이르는 전 산업에 혁명을 일으킬 수 있는, 스스로 혁신해 나가는 어플리케이션들이 탄생할 수도 있으리라 생각합니다.

최근에 나온 연구들 중 ‘에이전트의 개방성’과 관련있다고 볼 수 있는 대표적인 연구들로:

등이 있는데요. 앞으로 더 구체적인 검증 작업이 필요하겠지만, 이런 연구들이 ‘AI 에이전트’ 영역에서 ‘개방성’이 유용하다는 걸 보여주는 예시라고 하겠습니다.

‘개방형 AI’를 향한 여정의 시작이라면, 아마 ‘노버트 위너 (Norbert Wiener)’를 꼽는 분들이 많지 않을까 생각합니다. 1940년대 후반, 사이버네틱스에 대한 선구적인 연구자였던 위너는 ‘자기 조절 시스템 (Self-Regulating Systems)이라는 개념을 창안했습니다. ‘환경과 상호 작용하면서 진화’할 수 있는 ‘피드백 루프’에 집중해서, 현재 우리가 ‘개방형 AI’라고 부를 수 있는 개념들의 토대를 마련한 분입니다.

그런데, 아이러니하게도 위너 스스로는 AI에 대해서는 회의적으로 생각했다고 합니다 - 언어의 모호한 특성, 그리고 감정적인 의미를 고려할 때, 기계 번역이라는게 유의미하게 실현되기 힘들다는 의문을 가졌다고 해요.

이와 거의 비슷한 시기로부터 그 이후, 존 폰 노이만 (John von Neumann)과 앨런 튜링 (Alan Turing)은 ‘사전에 정의된 작업을 넘어서는’ 기계의 능력을 탐구했습니다. 폰 노이만의 ‘자기 복제 오토마타 (Self-Replicating Automata)’, 튜링의 ‘이론적 범용 기계 (Theoretical Universal Machine)’ 개념은, 적절하게 프로그래밍한다면 기계가 명시적으로 인코딩되지 않은 방식으로 진화, 적응할 수 있다는 걸 암시하고 있죠. 다만, 이 두 사람의 주된 관심사가 오늘 우리가 이해하는 ‘개방형 AI’의 방향은 아니었다는 건 명확히 할 필요가 있습니다. 어쨌든, 노이만은 ‘자기 복제 오토마타’를 최초로 검토한 사람이고, 튜링은 ‘과연 기계가 생각할 수 있을까’를 최초로 질문한 사람임에는 틀림없죠. 이렇게 두 사람 모두 ‘개방성’과 관련한 담론의 일부가 됩니다.

그리고 1960년대 중반, 존 홀랜드 (John Holland)의 유전 알고리즘 (Genetic Algorithm)이 진화의 원리를 컴퓨팅에 도입, 자연 선택을 시뮬레이션하면서 여러 세대에 걸쳐 해결책을 진화시키는 모습을 보여줍니다 - 개방형 시스템의 핵심적인 특징인 ‘지속적 개선’을 보여준 거죠.

1980년대, 그리고 1990년대에는 인공 생명(ALife; Artificial Life) 운동이 이런 아이디어를 더욱 발전시켰습니다. 크리스토퍼 랭턴 (Christopher Langton), 토마스 레이 (Thomas Ray) 같은 연구자들은 가상의 유기체가 독립적으로 진화할 수 있는 디지털 환경을 개발했습니다. 디지털 개체가 경쟁하고 진화하는 레이의 ‘티에라 시뮬레이션 (Tierra Simulation)’은 컴퓨팅 환경에서 개방성이라는게 어떤 것인지를 보여준 랜드마크가 되었습니다.

시간이 흘러, 2014년 이안 굿펠로우 (Ian Goodfellow)가 소개한 생성적 적대 신경망(GAN; Generative Adversarial Networks)이 개방형 시스템의 개념에 새로운 한 차원을 더했습니다. GAN은 생성자 (Generator)와 판별자 (Discriminator)라는 두 가지 신경망을 사용, 서로 경쟁하는 과정에서 점점 더 사실적인 데이터를 만들도록 해서, AI가 ‘개방형 공간’에서 어떻게 새로운 결과를 탐색하고 생성할 수 있는지를 보여주었습니다.

그리고 마침내 2016년, 딥마인드의 알파고가 등장, 누구도 예상하지 못한 전략으로 세계 정상급의 바둑 기사 이세돌 9단을 꺾으면서 바둑계, 인공지능 학계, 산업계 모두에 혁명을 일으켰죠. 알파고는 강화 학습과 딥러닝을 결합, 바둑을 마스터했을 뿐만 아니라, 이전에는 볼 수 없었던 전략을 개발했습니다. 명시적인 프로그래밍을 하지 않았지만 (바둑이라는) 복잡한 문제를 해결할 수 있는 알파고의 혁신적인 능력은, ‘AI 시스템에서 개방형 탐색의 힘’을 강조한 강력한 사례입니다.

AI에 있어서의 ‘개방성’은, ‘사전에 정의된 제약이 없이 새롭고 예측할 수 없는 행동, 해결책 또는 결과를 지속적으로 생성하는 시스템의 능력’을 뜻합니다. 이런 특성이 없다면 AGI (Artificial General Intellgience), ASI (Artificial Super Intelligence) 또는 다른 어떤 형태의 AI든간에, 인간 수준의 지능을 달성하거나 이를 능가하는 것 자체가 불가능하다는 주장을 하는 사람들도 있습니다.

어쨌든 ‘정해진 규칙’ 범위 내에서 작동하는 기존의 AI와 달리, ‘개방형 AI 시스템’은 진화하고 적응하면서 그 개발자조차 예상하지 못하는 방식으로 가능성을 탐색하고, 이런 과정을 통해 마치 사람이 학습하는 것처럼 AI도 역동적으로 진화하는 시나리오로 변화할 수 있습니다.

앞에서 잠깐 구글 딥마인드 연구팀의 “Open-Endedness is Essential for Artificial Superhuman Intelligence”라는 논문을 말씀드렸는데요. 이 연구에서 구글 딥마인드팀은 “개방성은 관찰자에 따라 달라지는데, 이는 시스템이 개방형이라고 간주되려면 관찰자의 관점에서 ‘참신하고 학습 가능한’ 인공물을 생성해야 한다는 것이다”라는 논지의 주장을 펼칩니다.

여기서 ‘관찰자’의 시각과 순간이 중요한데, 그런 기준선이 없으면 해석 자체가 주관적이 되어서 개방성 자체를 측정하거나 정의하는게 너무 어려워지기 때문이죠. 개방성의 핵심이라고 할 수 있는 ‘혁신’의 가치를 평가하는 방식도 위 그림처럼 관찰자의 견해, 상황에 따라 달라질 수 있다는 거죠. 관찰자가 누구냐에 따라서 시스템이 만들어내는 결과물이 혁신적으로 새로운지, 학습 가능한지 등이 달라진다는 겁니다.

‘개방형’ 시스템과 대비되는 개념으로서 ‘전통적’인 AI 시스템의 한계랄까 단점이라면, 주로 아래와 같은 것들이 지적됩니다:

‘개방성’은, 이러한 전통적인 AI 시스템의 한계를 뛰어넘어서 ‘지속적인 창의성의 발현’을 촉진하게 되고, 결국 단순한 생성 (Generation)으로부터 진정한 창조 (Creation)의 AI로의 진화, 발전을 이끌 거라고 생각합니다.

관련해서 한 번 살펴볼 만한 사례가, 2023년 말 마인크래프트의 LLM 기반 에이전트인 엔비디아의 보이저 (Voyager)인데요. 보이저는 사람의 입력이 없어도 탐험하고, 기술을 습득하고, 발견할 수 있는 개방형 기능을 시연했습니다.

이 에이전트는 GPT-4를 사용해서 실행할 수 있는 코드를 반복적으로 생성하고, 시행착오를 반복하면서 스킬을 계속해서 개선했습니다. Voyager는 이전 벤치마크를 크게 뛰어넘으면서 3.3배 더 많은 고유 아이템을 수집하고, 2.3배 더 멀리 이동했으며, 주요 마일스톤을 최대 15.3배 더 빠르게 잠금 해제하는 성과를 보여줬습니다.

또 다른 하나의 주목할 만한 논문, “The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery”는 일본의 Sakana AI와 다른 AI 연구소들이 함께 쓴 논문인데요. 여기서는 에이전틱 워크플로우 (Agentic Workflow)에 ‘개방성’이라는 개념을 통합할 때 어떤 가치를 만들어낼 수 있는지 보여주고 있죠.

‘AI Scientist’는 ‘과학 연구’라는 현실의 문제에 ‘개방형 알고리즘’을 적용해서 처음부터 끝까지 자동화하도록 설계한 획기적 프레임웍입니다. 사람의 개입 없이 새로운 아이디어를 생성하고, 테스트하고, 이전의 발견 사항을 기반으로 새로운 가설을 수립하는 등, 개방적인 방식으로 연구를 실행할 수 있다는 점이 차별화되는 부분입니다. 기본적으로 연구 아이디어 생성, 실험 코드 작성, 실험 수행, 결과 분석, 보고서 작성까지, 과학 연구의 전체 프로세스를 모방합니다.

이 ‘AI Scientist’ 시스템의 가장 인상적인 점 중 하나는, 바로 확산 모델 (Diffusion Model), 언어 모델 (Language Model) 등 머신러닝의 다양한 영역에서 운용할 수 있다는 점입니다. AI Scientist의 바로 ‘개방적 특성’ 때문에, 어떤 도구의 영역에서든지 아이디어를 지속적으로 개선하고 발전시켜서 과학적 혁신을 가속화할 수 있습니다.

물론, 아직 이 논문의 의미와 가치에 대해서 아직 많은 연구자들이 평가 중이고, 그 중 일부에서는 AI Scientist를 통해서 만들어지는 논문의 질이 높지 않다는 비판도 하고 있지만, 핵심은 그게 아니라고 생각합니다.

AI Scientist는, 복잡한 다단계의 작업을 처리할 수 있는 AI 에이전트로 가는 첫 번째 관문이라고 생각해요. 그리고 이미 연구에 드는 자원, 비용을 극적으로 줄이면서 연구에 대한 접근성을 높여주는 것 자체가, 과학적 진보를 엄청나게 가속화할 수 있는 잠재력을 지니고 있는 것이죠. 이렇게, 새로운 과학적 아이디어를 자율적으로 탐색하는 AI의 잠재력이, 다양한 분야에서 ‘발견’을 해 내는 방식을 혁신적으로 변화시킬 겁니다.

이렇게 AI 시스템에 ‘개방형’ 접근을 한다고 했을 때 유용한 또 다른 분야가 어떤 것일까요? 짧게 대답하자면, “상상력이 필요한 분야라면 어떤 분야든 엄청난 잠재력이 있다”입니다. 여러 분야들 중에서, 큰 발전을 기대할 수 있다고 생각하는 분야를 아래와 같이 예시로 들 수 있을 것 같네요:

뭔가가 ‘개방형이다’라고 부를 때 필요한 조건들을 정의하는 건, 생각보다 복잡하죠. 그리고 기존의 진화론적 패러다임, AI 패러다임을 다시 한 번 검토해 봐야 합니다. 개방형 시스템은, 미리 정의한 목표가 없이, 새롭고 창의적인 해결책을 만들어내도록 설계되지만, AI 모델이 진정한 인사이트나 제대로 된 추론을 하지 않고 그저 ‘엄청나게 많이 무분별하게 다양한 시도’를 해 보는 방식으로만 최적의 결론을 도출한다면, 이건 진짜 큰 이슈죠.

최근에 오픈AI에서 공개한 o1 모델의 한 Contributor가 설명한 실험이 바로 이 문제를 잘 보여줍니다: o1 모델은 다른 어떤 모델보다도 추론 능력이 좋죠. 그럼에도 불구하고, 경쟁 프로그래밍 (Competitive Programming) 같은 복잡한 작업에서는 CodeForce 등급이 1,800점으로 저조한 성능을 보여줘요. 그런데, 문제 당 10,000번씩 모델을 실행하고 최상의 시도로 필터링을 하면, 가끔 우연히 문제를 해결해서 IOI 골드 레벨 경쟁자와 비슷한 결과를 얻을 수 있습니다. 결국, AI가 성공적인 해결책에 도달할 수는 있지만, 많은 경우 비용과 시간이 많이 소요되는 시행 착오의 과정을 거친다는 겁니다.

결국, 극복해야 할 과제는 두 가지예요 - 첫번째는, 어떻게 AI 모델이 무차별적인 실험과 확인에만 의존하지 않으면서 방대한 가능성의 공간을 탐색하도록 설계할 수 있을까 하는 것이고요. 두번째는, 단순한 ‘시행 착오’의 반복에서 오는 비효율성을 제거하면서, 더 좋은 해결책을 더 빠르게 인식하고 우선순위를 정하도록 AI 모델을 정제할 수 있을까 하는 겁니다. 우리의 인식과는 다소 다를 수 있지만, 결국 AI를 창의적으로 만든다는 것과 효율적으로 만든다는 것은 전혀 충돌하는 개념이 아닌 겁니다. ‘개방형 탐색’ 기능을 유지하면서, 추론과 의사 결정을 더 효율적으로 할 수 있는 모델을 만드는 것이 바로 과제 해결의 열쇠입니다.

자연도, 인간도 아주 느린 속도로 진화하지만, 엄청난 컴퓨팅 자원을 활용해서 기계에 진정한 ‘개방성’을 부여하는데 성공한다면, 어쩌면 우리는 우리 스스로의 속도를 훨씬 뛰어넘는 규모로 ‘창의성’을 향상시킬 수 있을지도 모릅니다.

자, 그럼 이런 ‘가속화’가 꼭 필요한 걸까요? 자연, 그리고 인간이 계속해서 균형을 이뤄가면서 천천히 발전과 진화를 해 왔다는 점을 고려하면, 이런 질문도 해 볼만하고, 이건 다양한 이해 관계와 관점을 가진 전문가, 그리고 대중들이 함께 논의해야 할 문제일 겁니다.

‘특정한 문제별 최적화’라는 관점에서 벗어나면, AI 시스템, 특히 에이전틱 워크플로우 내의 에이전트는 자연의 진화에서 볼 수 있는 무한한 창의성을 모방할 수 있는 단계로 나아가고 있습니다. 여기서 제대로 에이전트를 발전시키려면, 에이전트의 설계 방식을 다시 원점에서 재검토하고 ‘작업 기반의 자동화’가 아닌 ‘지속적 학습’과 ‘자기 혁신’을 그 핵심으로 하는 ‘개방형 탐색’의 방향으로 나아가야 합니다.

AI 에이전트에 개방성을 통합한다는 건, 우리의 생활 방식, 일하는 방식, 워크플로우에 ‘지속적인 새로움’, 그리고 그에 수반하는 ‘예측 불가능성’을 수용한다는 것인데요. 과연 우리 개인, 기업, 커뮤니티, 그리고 사회의 어떤 부분이 어떻게 바뀌어야 할지, 아직은 미지수입니다만, 빠르게 진화할 에이전트 시스템과 우리 인간들이 조화롭게 공존하면서 크고 작은 문제들을 해결해 나가는 미래를 꿈꿔 봅니다.