뉴로-심볼릭 AI란 무엇인가?

들어가며

맞닥뜨린 문제에 딱 맞는, 적절한 해결책을 찾기 힘들 때는, 이미 우리 손에 있는 여러 가지 도구들을 결합해서 - 하이브리드 접근 방법이죠 - 해결책을 만들어보게 되기도 합니다.

이게 바로 뉴로-심볼릭 AI(Neuro-symbolic AI, 또는 Neural-symbolic AI)의 아이디어죠. 개념 자체는 오래 전에 등장한 것이고, 이후 수차례 발전을 거쳐서 현재는 많은 전문가들이 뉴로-심볼릭 AI가 차세대의 AI로 가는 하나의 강력한 길이 될 거라고 이야기하고 있습니다.

‘뉴로-심볼릭 AI’라는 개념과 접근 방식, 여기서 가장 주목하고 기억할 만한 점은 뭘까요?

이 기술은, AI가 하는 추론이 사람이 하는 것과 좀 더 비슷하게 만들어 주고, 사람들이 의사결정을 할 때 논리와 직관을 함께 사용하는 방식을 모방하는 거라고 할 수 있습니다. 그런 관점에서, 뉴로-심볼릭 AI는 두 개의 서로 다른 세계를 결합하는 겁니다:

• 데이터에서 패턴을 학습하는 데 뛰어난 신경망(Neural Networks)

• 구조화된 지식과 논리로 추론하는 데 탁월한 심볼릭 시스템(Symbolic Systems)

그럼, 오늘은 이 하이브리드 접근 방식이 오랜 기간에 걸쳐서 어떻게 진화했는지, 이런 시스템 구축에 필요한 기본 사항, 그리고 뉴로-심볼릭 AI가 극복해야 할 미래에 대해서 살펴보겠습니다.

오늘 에피소드에서는 아래와 같은 내용을 다룹니다:

• 시작점: 심볼릭 AI와 연결주의 AI

• 뉴로-심볼릭 AI의 길: 두 가지 방식의 장점을 합한다

• IBM은 왜 뉴로-심볼릭 AI가 AGI로 가는 길이라고 생각하나

• 두 가지를 어떻게 결합할까?

• 뉴로-심볼릭 AI에서의 심볼릭 표현(Symbolic Representation)

• 뉴로-심볼릭 AI의 장점과 한계

• 맺으며

• 보너스: 참고자료

시작점: 심볼릭 AI와 연결주의 AI

뉴로-심볼릭 AI의 개념을 제대로 이해하려면 - 다른 것들도 마찬가지지만요 - 그 구성 요소들을 먼저 잘 살펴봐야겠죠.

첫 번째는 심볼릭 AI(Symbolic AI)인데, 기호, 논리, 규칙을 사용해서 지식을 표현하는 데 집중하는 겁니다. 사실 이 방식은, AI를 바라보는 아주 논리적인 방식인데요, 바로 ‘컴퓨터가 논리와 구조화된 패턴을 기반으로 작동’하기 때문이죠. 그러니까, 이런 방식으로 기계가 인간의 지식을 자연스럽게 포착할 수 있다는 생각은 어쨌든 이치에 맞는 생각입니다.

초기에 등장했던 AI 시스템(1950년대~1980년대)은, 이런 ‘심볼릭’ 접근 방식을 따랐습니다. 이렇게 만들어진 시스템들은 스스로한 어떻게 추론했는지 설명이 잘 되었고, 적은 데이터로도 작동할 수 있었지만, 실제의 복잡한 상황에서는 잘 작동하지 않았고 진짜 제대로 된 학습을 할 수도 없었어요. 이런 시스템들의 예로 SHRDLU, ELIZA, DENDRAL, MYCIN 같은 것들이 있는데, 이런 시스템들은 규칙을 따르거나 단순한 대화를 시뮬레이션할 수 있는 정도였다고 보는게 맞겠습니다.

좀 더 클리어하게 정리하자면, 심볼릭 AI는:

• 논리, 규칙, 구조화된 지식을 강조합니다.

• 추론 작업을 위해서, 인간이 읽을 수 있는 기호를 사용해서 세상의 객체, 개념, 관계를 표현합니다.

• 결정 사항에 대해서 명확하고 해석 가능한 설명을 할 수 있습니다.

반면에, 느리고 유연하지 못하다는 점, 그리고 대량의 데이터를 잘 처리하지 못한다는 문제가 있었죠.

뉴럴-심볼릭 AI를 구성하는 두 번째 부분은, 사람의 뇌에서 영감을 받은 것인데, 연결주의 AI(Connectionist AI) 또는 신경망(Neural Networks)이라고 부릅니다. 연결주의 AI는, ‘지능이라는 건 단순하게 연결된 유닛들의 네트워크’라는 관점에서 모델링을 합니다. 이런 시스템은 내부 가중치를 조정하면서 대량의 데이터로부터 학습하죠 - 이런 개념은 신경망, 딥러닝에 대해 관심있는 분들이라면 아마 많이 들어보셨을 겁니다. 1940년대 시작된 이래로, 연결주의는 세 차례의 주요한 웨이브(Wave)를 거쳤습니다:

1. 첫 번째 웨이브는 1943년 Perceptron과 같은 뉴런이 작동할 수 있는 방식에 대한 초기의 수학적 모델로 시작되었구요.

2. 두 번째 웨이브는 1980년대에 시작되었는데, 히든 레이어(Hidden Layers)와 시그모이드 활성화 함수(Sigmoid Activation Functions) 같은 새로운 기법들이 신경망 연구를 부활시켰습니다. 이 때 만들어진 모델들은 더 강력하고 유연했고, 연결주의가 전통적인 규칙 기반의 심볼릭 AI를 대체할 수 있는지에 대한 논쟁을 불러일으키기도 했습니다.

3. 그리고 세 번째 웨이브는 2010년대에 시작되었는데, 이 때 등장한 접근 방식이 오늘날의 딥러닝 혁명으로 이어져서 이미지 인식, 번역 등 지금 우리가 사용하는 수많은 AI 제품과 서비스의 기초가 되었습니다.

신경망의 강점은:

• 대량의 데이터에서 패턴과 관계를 식별하는 데 탁월합니다.

• 이미지 및 음성 인식, NLP 등 같은 인식 중심의 작업에 아주 강한 면을 보여줍니다.

• 예측 뿐 아니라 "직관적인" 아이디어를 생성하는 데 효과적입니다.

그렇지만, 아마 잘들 아시다시피, 신경망은 때때로 불투명하고(특정 결정을 내리는 이유를 알 수 없다는 뜻이죠), 데이터를 계속해서 엄청나게 사용해서 훈련해야 하고, 추론이나 아이디어를 논리적으로 결합하는 등의 작업에는 생각보다 약합니다.

자, 지금까지 말씀드린 걸 정리해 보면, 지금 우리 앞에 ‘아주 명확한 장단점을 가진 두 가지의 접근 방식’이 놓여있는 셈이죠. 그리고, 두 가지 방법이 가진 각각의 한계를 극복하고 싶다면, 한 번 하이브리드 접근 방식을 시도해 볼 필요가 있는 겁니다.

이게 바로, 뉴로-심볼릭 AI가 등장하게 된 배경이라고 하겠습니다.

뉴로-심볼릭 AI의 길: 두 가지 방식의 장점을 합한다

말씀드린 바와 같이, 뉴로-심볼릭 AI는 두 가지 방식의 강점을 결합합니다: 신경망의 ‘학습 능력’과 심볼릭 논리의 ‘추론 능력 및 해석 가능성’이 그 두가지인데요. 목표하는 건, 경험으로부터 학습하면서 동시에 학습한 것에 대해서 논리적으로 추론할 수 있는 AI 시스템을 구축하는 것이구요.

AI라는 용어가, 그 뜻이 공식적으로 정립되기 훨씬 전인 1943년, Warren McCulloch과 Walter Pitts는 자신들이 한 연구 "A Logical Calculus of the Ideas Immanent in Nervous Activity"에서 최초로 뉴런의 수학적 모델 중 하나를 제안했고, 신경 계산과 심볼릭 논리 사이의 개념적 다리를 만들었습니다. 이 모델에서 단순하게 연결된 "뉴런"들은 AND, OR, NOT과 같은 논리 연산을 수행할 수 있었습니다. 그런데 좀 더 정확하게 말하면, 뉴런에서 어떻게 논리가 나타날 수 있는지를 설명한 것이지, 뉴런이 어떻게 논리 구조를 학습할 수 있는지를 설명한 건 아니었습니다.

그리고 1957년에 Frank Rosenblatt의 Perceptron 연구가 나왔습니다. 이건 연결의 강도를 조정하면서 학습하는 뉴런 같은 유닛을 통해서 감각의 입력값을 심볼릭 응답에 연결하는 학습 가능한 모델이었습니다.

"뉴로-심볼릭 AI"라는 용어는 1990년대와 2000년대 초반에 심볼릭 구조를 통합하거나 준용하는 신경망을 설명하기 위해서 사용되기 시작했는데요. 이 과정에서 아래와 같은 여러 가지의 영향력 있는 출판물들에서 이 개념에 대한 지지를 하기도 했습니다:

• Artur S. Avila Garcez & Gerson Zaverucha의 "A Connectionist Inductive Learning System for Logic Programming" 논문(1999)은 C-IL2P를 제시했는데, 이건 논리 규칙을 피드포워드 신경망(Feedforward Neural Network)으로 변환해서 예시(귀납적 학습)와 논리 프로그램(연역적 추론) 모두로부터 학습할 수 있게 했습니다. 학습 후, 네트워크가 학습한 지식은 다시 논리 형태로 변환될 수 있습니다.

• Garcez 등이 공저한 "Neural-Symbolic Cognitive Reasoning" (도서; 2001)은 모달(Modal), 시간적(Temporal), 인식론적(Epistemic) 논리 같은 다양한 컴퓨터 과학 논리에 대한 신경망 모델을, 명확한 그래픽 접근 방식을 사용해서 설명했습니다.

그리고, 2015년 이후에 새롭고도 강력한 ‘뉴로-심볼릭 AI’의 물결이 등장하기 시작했습니다. 돌이켜 보면, 당시에는 딥러닝에 대한 관심, 연구가 지배적이었지만, 여전히 추론, 구성성(Compositionality), 데이터 효율성이라는 관점 등에서는 돌파구를 마련하지 못하고 있는 상태였죠. 따라서, 뉴로-심볼릭 하이브리드는 다음과 같은 형태의 대안으로 제시되었습니다:

• Logic Tensor Networks (LTN) (2016) – 논리 공식을 Real Logic을 사용해서 미분 가능한 신경 계산으로 변환하는 프레임웍입니다. 여기서 진리값은 0에서 1 사이의 범위를 가지고, 모델이 경사 기반 학습(Gradient-based Training)을 통해서 공동으로 학습하고 추론할 수 있게 합니다.

• DeepProbLog (2018) – 딥러닝과 확률론적 논리 프로그래밍(Probabilistic Logic Programming)을 결합한 프로그래밍 언어로, 신경망을 논리 규칙 안에 내장합니다. 여기서 신경망은 인식 작업(숫자 인식 같은 것)을 처리하고, 그 출력은 확률론적 사실로 취급됩니다.

• Neural Logic Machines (NLMs) (2019) – 논리 연산(AND, OR, 한정사(Quantifiers) 같은)을 계층적으로 배열된 미분 가능한 신경 모듈로 표현해서 데이터로부터 Horn-clause 스타일의 규칙을 학습하는 아키텍처입니다.

• MIT의 Neuro-Symbolic Concept Learner (NS-CL) (2019) – 이미지-질문-답변 쌍으로부터 명시적인 레이블이 없이 시각적 개념과 언어를 학습하는 모델입니다. 객체 기반의 장면 표현(Object-based Scene Representations)을 구축하고, 문장을 심볼릭 프로그램으로 번역하고, 뉴로-심볼릭 추론 모듈로 이걸 실행해서 공동의 시각 이해와 추론이 되게끔 해 줍니다.

• MIT CSAIL, DeepMind, Harvard University의 Neural-Symbolic VQA (NS-VQA) (2019)는 시각 파싱(Visual Parsing)과 언어 이해를 위한 심층 신경망을, 추론을 위한 심볼릭 프로그램 실행기(Symbolic Program Executor)와 결합합니다. 이미지를 객체 기반 장면 그래프(Scene Graph)로 변환하고, 질문을 심볼릭 프로그램으로 번역한 다음, 그 프로그램을 장면에 대해서 실행해서 답변을 생성합니다.

• IBM Research의 Logical Neural Networks (LNNs) (2021)는 노이즈가 있는 데이터로부터 명확하고 논리 기반의 규칙을 학습합니다. 뉴런이 논리 연산자(예: AND/OR)처럼 작동하도록 만들면서도 경사(Gradients)로 학습 가능한 상태를 유지해서, 모델이 정확하고 해석 가능한 규칙을 동시에 학습할 수 있습니다.

IBM은 왜 뉴로-심볼릭 AI가 AGI로 가는 길이라고 생각하나

많은 글로벌 IT 회사들 가운데, 특히 IBM은 이 뉴로-심볼릭 AI가 바로 AGI로 가는 길을 열어줄 접근 방식이라고 생각하고 있습니다. IBM이 이렇게 뉴로-심볼릭 AI에 많은 관심을 보이는데는 그만한 이유가 있을 겁니다.

뉴로-심볼릭 AI 분야에서 가장 주목할 만한 성과 중 하나가 바로 AlphaGeometry입니다. 네, 맞습니다. 구글 딥마인드가 다양한 뉴로-심볼릭 접근 방식에 많은 노력을 기울여 왔고, 2025년 초에 AlphaGeometry 2로 놀라운 결과를 달성해서 심층 언어 모델과 형식적 심볼릭 추론을 결합하면 이제 기하학에서 최고 수준의 사람 전문가보다도 뛰어난 성과를 보여줄 수 있다는 걸 증명했습니다:

• AlphaGeometry 2는 국제 수학 올림피아드(IMO) 기하학 문제(2000–2024)의 84%를 해결했고, 평균적인 IMO 금메달리스트의 성과를 능가했습니다.

• 움직이는 객체(궤적, Locus) 문제, 각도, 비율, 거리를 포함하는 선형 방정식, 비구성적 증명(Non-constructive Proofs)을 처리합니다.

• Gemini를 사용해서 텍스트를 형식적 기하학 언어로 파싱하고 다이어그램을 자동으로 생성해서 자연어로부터 완전히 자동화된 문제 해결을 수행합니다.

일반적으로 AlphaGeometry는 다음의 두 가지를 결합합니다:

• 추론 단계와 문제 통찰력을 생성하는 Gemini 기반 신경 언어 모델.

• 형식적 증명기(Formal Prover)인 심볼릭 엔진으로, 빠르게 규칙 기반의 기하학적 연역(Geometric Deductions) 작업을 수행하고, 추론 단계를 검증하고 확장합니다.

AlphaGeometry 2에서는, DDAR2(Deductive Database Arithmetic Reasoning)로 더 나은 규칙 세트와 복잡한 포인트 핸들링이 가능하게끔 최적화되었습니다.

속도와 커버리지를 강화하기 위해서, AlphaGeometry 2는 혁신적인 Shared Knowledge Ensemble of Search Trees (SKEST) 알고리즘을 구현합니다 - 병렬로 실행되는 여러 검색 트리를 사용해서 각각의 문제를 해결하는 다양한 방법을 탐색하고, 지식을 공유(Knowledge-sharing)해서 더 효과적으로 협력할 수 있게 합니다 - 이건 뉴로-심볼릭 시스템이 제대로 구축되고 강력한 LLM이 뒷받침을 할 때 보여줄 수 있는 최상의 결과라고 할 수 있겠습니다.

또 다른 하나의 관점에서 나타나고 있는 발전을 이야기하자면, 신경망, 심볼릭 논리, 확률론적 추론(Probabilistic Reasoning) 등 모든 AI의 분야를 공통의 언어로 통합하는 것을 목표로 하는 연구인데요. 이에 대해서는 튜링 포스트의 뉴스레터에서 다룬 적이 있습니다 - 바로 Pedro Domingos의 Tensor Logic입니다:

이렇게, 뉴로-심볼릭 접근 방식에 해당하는 연구와 그 결과물들을 점점 확대되고 있고, 이런 결과물들이 보여주는 뛰어난 성능 때문에라도 분명히 염두에 두고 생각해 볼 만한 가치가 있습니다.

그럼, 이제 이런 하이브리드 시스템을 구축할 때 생각해 볼 수 있는 몇 가지 접근 방식, 그리고 알고리즘에 대해서 살펴볼까요?

두 가지를 어떻게 결합할까?

먼저, 신경망과 심볼릭 AI를 결합하는 여러 가지 방법을 간략히 알아봐야겠죠. 여기에는 두 가지의 기본적인 방식이 있습니다:

• 신경망에서 사용하기 위해서 심볼릭 지식을 압축: 여기서는 지식 그래프(Knowledge Graphs)나 논리 규칙 같은 심볼릭 데이터를 신경망이 처리할 수 있는 압축된 수치적인 표현으로 변환합니다. 쉬운 예를 들자면, 지식 그래프를 벡터 공간(Vector Space)에 임베딩해서 GPT 같은 모델이 사용할 수 있게 하는 겁니다. 이 접근 방식은, 대규모 데이터의 이해를 개선하는데 도움을 주지만, 논리의 세부 사항 일부를 잃을 수 있습니다.

• 신경 모델에서 심볼릭 구조를 추출: 신경망이 학습한 패턴을 가져와서 추론을 위한 기호나 논리 규칙으로 변환하는, 위와는 반대의 접근 방식입니다. 이 경우, 언어 모델이 문제를 파악하고(직관적 이해와 검색 처리) 정확한 추론을 위해서 심볼릭 솔버(Symbolic Solver)에 전달합니다. 예를 들자면 위에서 이야기한 AlphaGeometry가 이 프로세스를 따릅니다. 이런 접근 방식은 느슨하게(별도의 모듈로), 긴밀하게(하나의 엔드-투-엔드 학습 가능한 시스템으로), 또는 그 중간 어딘가의 형태로 구현할 수 있습니다.

신경망 부분, 그리고 심볼릭 부분이 어떤 방식으로 결합되는지 간단히 살펴봤으니, 여기서 IEEE의 연구자들이 식별한 6가지의 통합 유형을 살펴보겠습니다:

• Symbolic Neuro Symbolic
  가장 단순한 형태로, 신경망이 단어나 그래프 노드 같은 심볼릭 입력과 출력을 받습니다. 예를 들어 GPT 같은 LLM에서 단어(심볼)는 벡터로 변환되고, 신경망에서 처리되고, 다시 단어로 변환됩니다. 심볼릭한 의미는 입력과 출력에만 있고, 네트워크가 추론하는 방식에는 없습니다.

• Symbolic [Neuro] (Neural Subroutines)
  규칙 기반 플래너(Rule-based Planner)나 검색 알고리즘 같은 심볼릭 시스템이 인식이나 평가를 위해 신경망을 헬퍼로서 호출합니다. 즉, 신경망 부분은 심볼릭 프레임워크 내의 서브루틴(Subroutine)으로 작동합니다. 예를 들어서, AlphaGo는 놓는 바둑 수의 품질을 추정하는 신경망의 안내를 받는 심볼릭 검색(Monte Carlo Tree Search)을 사용합니다.

• Neuro | Symbolic (Neural Learning + Symbolic Solver)
  두 개의 파트가 협력해서, 피드백과 공동의 최적화를 통해서 서로를 개선합니다. 신경망 부분은 패턴 인식을 처리하고, 심볼릭 부분은 논리적 추론을 수행합니다. 예를 들자면, DeepProbLog(신경 술어 + 확률론적 논리)와 NS-VQA(신경망이 시각적 특징을 추출 + 심볼릭 모듈이 질문에 답하기 위해 추론 단계를 실행)의 결합을 들 수 있습니다.

• Neuro: Symbolic → Neuro (Symbolic Compilation into Neural Networks)
  심볼릭 규칙을 신경망 아키텍처나 학습 파이프라인에 직접 연동해서 구축합니다. 심볼릭 방정식이나 논리 제약 조건(Logic Constraints)이 네트워크가 학습하는 방식이나 레이어 구조의 형성에 관여할 수 있습니다. 예를 들어서 그래프 신경망(GNNs, Graph Neural Networks)은 지식 베이스 제약 조건(Knowledge Base Constraints)으로 학습됩니다.

• NeuroSYMBOLIC (Symbolic Integration in the Loss Function)
  심볼릭 지식이 학습 중에 소프트 제약 조건(Soft Constraints)으로 사용됩니다. 손실 함수(Loss Function)를 조정해서 모델이 학습해야 할 것을 가이드합니다. 예시를 들자면, Logic Tensor Networks (LTN)는 논리 공식을 미분 가능한 목표(Differentiable Objectives)로 변환해서, 신경망 모델이 경사 기법으로 최적화하면서 동시에 논리 규칙을 따르게끔 학습시킵니다.

• Neuro [Symbolic] (Full Hybridization)
  가장 발전된, 고급의 형태라고 할 수 있는데요. 신경망 내부에서 심볼릭 추론이 발생하게 되는, 두 개의 파트가 완전히 융합된 시스템입니다. 모델은 텐서(Tensors, 신경망에서 사용되는 수학적 구조)로 직접 논리 연산을 수행하는 것을 학습합니다. Neural Logic Machines 같은 현재의 기법들은, 아직도 이런 긴밀한 통합의 아이디어를 향한 초기 단계라고 할 수 있습니다.

전체적으로 조망해 본다면:

• 첫 번째와 두 번째의 유형은 그 결합이 느슨한 형태입니다. 즉, 심볼릭 부분과 신경망 부분이 분리되어 있다는 뜻입니다.

• 세 번째, 네 번째 유형은 두 개의 파트가 협력하게 되거나 둘 중 한 쪽이 다른 쪽의 내부에 장착되어 있는 형태입니다.

• 다섯 번째와 여섯 번째 유형에서는 두 개의 파트가 긴밀하게 통합되어 있고, 하나의 학습 가능한 시스템에서 논리와 학습을 혼합하게 됩니다. 그리고 이 구조가 바로 뉴로-심볼릭 AI의 장기적 목표라고 할 수 있습니다.

자, 그럼 두 부분 - 심볼릭, 신경망 - 이 연결되는 패턴, 형태들에 대해서 간략히 알아봤는데요. 그렇다면, 이런 하이브리드 시스템에서, 심볼릭한 지식은 어떻게 표현될까요?

뉴로-심볼릭 AI에서의 심볼릭 표현(Symbolic Representation)

아래 목록은, 뉴로-심볼릭 AI에서 ‘심볼릭’의 백본을 형성하는 몇 가지 표현 방식입니다. 이런 방식으로 신경망이 추론하고, 설명하고, 패턴을 구조화되어 있고 해석할 수 있는 지식과 연결하는 방법을 제공하는 겁니다:

• 지식 그래프(Knowledge Graphs)
  지식을 엔티티(노드)와 관계(엣지)의 네트워크로 표현합니다. 컴퓨터 비전(객체와 그 부분을 설명하기 위해)과 언어 모델(사실이나 의미를 연결하기 위해)에서 널리 사용됩니다. 유연하고 업데이트하기가 쉬워서 실제 환경의 다이나믹한 데이터에 잘 적용됩니다.

• 명제 논리(Propositional Logic, 또는 Boolean Logic)
  가장 단순한 형태의 형식적 추론입니다. "고양이는 동물이다"와 같이 참이거나 거짓인 진술과 AND (∧), OR (∨), NOT (¬), IF–THEN (⇒) 같은 논리 연산자를 다루고, 이런 연산자들이 진술들을 연결합니다. 구현하기 쉽지만 서로 다른 객체 간의 관계를 표현할 수는 없습니다.

• 1차 논리(First-order Logic)
  변수와 한정사(Quantifiers)를 허용해서 명제 논리를 확장하는 방식으로, "모든 사람은 아버지가 있다" (∀x ∃y Father(y, x))와 같은 관계를 설명할 수 있습니다. 더 표현력이 풍부하고 객체, 속성, 관계에 대한 추론에 적합하지만, 개방형이라는 특성 때문에 신경망에 통합하기 더 어렵습니다. 그럼에도 불구하고, DeepProbLog와 Logic Tensor Networks 같은 시스템에서 사용됩니다.

• 프로그래밍 언어(Programming Languages)
  일부 시스템은 지식을 Prolog, Datalog, 또는 BC 같은 액션 언어로 작성된 프로그램으로 표현합니다. AI가 실행할 수 있는 논리 규칙이나 절차를 인코딩합니다. 예를 들어서, 이런 방식이 강화 학습에 사용되는 심볼릭 플래너에 구현됩니다. 추론을 투명하고 해석 가능하게 만들어 줍니다.

• 심볼릭 표현식(Symbolic Expressions)
  수학 공식이나 수학 솔버와 추론 엔진에서 사용되는 방정식이나 연산자 기반 심볼릭 프로그램 같은 다른 구조화된 심볼릭 형태를 위한 더 넓은 범주입니다. Neural Symbolic Machines 같은 모델은 수학 추론을 위해서 이런 표현식을 조작하는 것을 학습할 수 있습니다.

더불어, IEEE의 연구자들은 심볼릭 지식이 신경망 파이프라인의 네 단계에서 주입될 수 있다고 하고 있는데요:

1. 데이터에 임베딩
   방정식, 프로그램, 분자, 논리 규칙 등이 신경망이 읽을 수 있는 구조화된 형식(트리나 그래프)으로 변환되고 데이터에 직접 인코딩됩니다. 이게 아마 가장 쉬운 방법이겠죠.

2. 서브-심볼릭 표현에 임베딩(Embedding in Sub-symbolic Representations)
   지식이 손실 함수를 통해서 학습 프로세스에 주입되어서, 네트워크의 학습을 가이드합니다.

3. 네트워크 아키텍처에 임베딩
   신경망 구조가 심볼릭 지식의 관계를 반영하도록 설계됩니다. 예를 들어서, 엔티티와 그 연결을 모델링하는 그래프 신경망(GNNs)이 있겠죠(지식 그래프에 완벽함). 그렇지만, 이 접근 방식은 엔지니어링 작업이 많이 필요합니다.

4. 마지막으로 심볼릭 제약 조건을 모델의 추론 단계(Inference Phase)에서 적용하게끔 할 수 있습니다. 시스템이, 출력값이 논리 규칙이나 도메인 지식을 따르도록 출력을 확인하고 조정하는 겁니다.

지금까지 살펴본 바와 같이, 뉴로-심볼릭 모델은, 많은 구성요소들이 함께 작동하게끔 잘 설계해야 하는 기술적 난제들이 있습니다. 그러니까, 그냥 보통의 신경망 대신에 왜 이걸 사용해야 할까 고민해 보는 것도 당연하다고 하겠죠.

뉴로-심볼릭 AI의 장점과 한계

뉴로-심볼릭 AI 구조는 많은 이점을 제공합니다:

• 견고성(Robustness): 신경망의 학습 구조와 논리 구조를 결합하면, 노이즈가 다소 있거나 모호한 상황에서도 더 안정적으로 의사결정을 할 수 있습니다.

• 일반화(Generalization): 뉴로-심볼릭 AI는 데이터 기반의 학습과 심볼릭한 규칙을 통합해서 새로운 - 이전에 본 적이 없는 - 사례에 대한 이해를 더 잘 하게 되어, 스케일링에 유리합니다.

• 다양한 작업을 잘 처리할 수 있음(Versatility): 뉴로-심볼릭 AI는 아래를 포함한 다양한 도메인에서 광범위한 작업을 처리할 수 있습니다:

  • 과학 – 자연 법칙을 따르는 패턴을 찾습니다.

  • 프로그래밍 – 코드를 작성하고 확인합니다.

  • QA와 비전 – 추론을 해석 가능하게 할 수 있습니다.

  • 로보틱스 – 높은 수준의 플래너를 낮은 수준의 강화 학습과 결합합니다.

  • 수학과 논증에서도 논리와 직관 모두를 사용해서 인간처럼 "생각"하기 시작합니다.

• 다양한 도메인에 걸쳐서, 전반적으로 뉴로-심볼릭 모델은 일관되게 아래와 같은 특성을 보여줍니다:

  • 더 나은 추론: 순수 신경망이 놓치는 논리적 종속성과 제약 조건을 처리합니다.

  • 더 높은 해석 가능성: 추론 프로세스를 검사하거나 설명할 수 있어서 모델 결정에 대한 신뢰를 향상시킵니다.

물론, 한계점은 있죠.

‘하이브리드 접근 방식의 복잡성’이라는 일반적인 한계 외에, University of Maryland의 연구자들은 뉴로-심볼릭 모델에서 몇 가지 아직 해결되지 않은 질문들이 있다고 이야기하고 있습니다:

• 해석 가능성을 잃지 않으면서 심볼릭 추론을 대규모의 노이즈가 있는 데이터셋으로 확장하는 방법은 뭔가?

• 시간이 지남에 따라 심볼릭 지식을 업데이트하는 점진적이고 맥락을 인식하는(Context-aware) 학습 메커니즘을 설계하는 방법은 뭔가?

• 그리고 AI가 자율적으로 자신의 오류를 감지하고, 설명하고, 수정할 수 있도록 하는 메타-인지 피드백 루프(Meta-cognitive Feedback Loops)를 구축하는 방법은 뭔가?

자가 개선 시스템(Self-improving Systems)의 시대가 다가오고 있는 이 시점에서, 어쩌면 너무 당연하게도 마지막 요소가 가장 큰 갭을 보여주고 있는 부분입니다. 이런 부분의 연구가 계속된다면, 미래에는 뉴로-심볼릭 AI가 보여주는 성과가 한층 나아질 것으로 생각합니다.

맺으며

지금까지 살펴본 것처럼, 뉴로-심볼릭 AI는 신경망과 심볼릭 AI라는 두 가지 접근 방법의 강점을 합치는 개념이죠. 많은 전문가들이, AI의 미래가 이런 하이브리드 접근 방식에 달려 있다고 이야기하고 있습니다.

어떻게 보면, 뉴로-심볼릭 AI는 컴퓨터와 인간이 생각하는 방식을 혼합하는 것 같기도 합니다. 그래서, 기계가 인간의 구조와 유연한 직관을 모두 이해하고 사용하는 진정한 ‘AI 기반의 증강’이 실현되는 미래로 가는 다리가 될 지도 모르겠습니다. 어쩌면, 이 하이브리드 방식에 또 다른 종류의 네트워크나 새로운 아이디어를 더해야 될 수도 있겠죠.

앞에서 언급한, 뉴로-심볼릭 AI가 극복해야 할 세 가지 주요 한계를 극복하고, 그리고 뉴로-심볼릭 AI에 AI가 ‘반성(Reflection)’을 하면서 스스로 개선해 나갈 수 있는 기능을 포함시키게 된다면, 어쩌면 앞으로 우리가 본 적 없는, 새로운, 그러면서도 사람에 정말 가까운 AI를 만들 수 있지 않을까요? 함께 기대하고 기다려 보시죠!

보너스: 참고자료

• Neuro-Symbolic AI in 2024: A Systematic Review

• Neurosymbolic AI - Why, What, and How

• Towards Data-and Knowledge-Driven AI: A Survey on Neuro-Symbolic Computing

• Neural-Symbolic Learning and Reasoning: A Survey and Interpretation

• A Logical Calculus of the Ideas Immanent in Nervous Activity

• THE PERCEPTRON: A PROBABILISTIC MODEL FOR INFORMATION STORAGE AND ORGANIZATION IN THE BRAIN

• A Connectionist Inductive Learning System for Logic Programming

• DeepProbLog: Neural Probabilistic Logic Programming

• Logic Tensor Networks

• Neural Logic Machines

• The Neuro-Symbolic Concept Learner: Interpreting Scenes, Words, and Sentences From Natural Supervision

• Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding

• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks

• Neuro-symbolic AI (IBM blog)

• Gold-medalist Performance in Solving Olympiad Geometry with AlphaGeometry2

• Tensor Logic: The Language of AI

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!