Topic #12: 'Hybrid RAG'은 무엇인가?

글을 시작하며

이 글을 보시는 분들 중 어떤 분은, “또 다른 RAG이야?” 하실지도 모르겠습니다. 튜링 포스트 코리아에서도 이미 몇 차례 아래와 같이 RAG 접근법과 그 변형에 대해서 다룬 적이 있었으니, 어찌보면 당연한 반응이라고 할 수도 있을 것 같아요:

RAG는 외부의 지식을 활용해서 LLM의 답변 성능을 향상시키는 방법 중에 가장 인기있는 방법이라고 할 만큼 광범위하게 활용되고 있고, 또 여러 가지 방향으로 계속해서 개선, 확장되고 있습니다.

그렇지만, 금융 같은 특정한 도메인에서, 전문적인 용어도 많고 문서 형식도 복잡한 환경에서 오리지널 RAG 기법을 가지고 잘 작동하는 LLM 어플리케이션을 만드는 건 쉽지만은 않습니다. 이런 경우에 검토해 볼 수 있는 하나의 해결책으로, HybridRAG이라는 접근 방법이 논의되고 있는데요. 결국은 적절한 외부 정보를 가져오는 과정에서 ‘유사성 기반 (VectorRAG)’의 방법과 ‘구조화된 관계 기반 (GraphRAG)’의 방법 두 가지를 결합해서, 더 정확하면서도 풍부한 맥락의 답변을 얻겠다는 접근법입니다.

종합적으로 테스트를 해 본 결과, HybridRAG는 데이터의 형식, 관계가 모두 중요한 ‘금융’ 같은 분야에서 특히 유용한 것으로 나타났어요. 물론 금융 말고 다른 분야에서도 유용성이 있을 것으로 생각됩니다.

자, 과연 HybridRAG이 여러분이 LLM 어플리케이션을 구축할 때 고민하게 될 문제의 해결책이 될 수 있을지 알아볼까요?

이 글은 아래 목차로 구성되어 있습니다:

• 금융 도메인에서 LLM과 기존 RAG 시스템의 한계

• HybridRAG의 작동 방식, 성능과 장점

• 물론 여기도 한계는 있습니다

• 맺으며: HybridRAG의 잠재력

• 보너스: 각종 자료 소스

금융 도메인에서 LLM과 기존 RAG 시스템의 한계

금융 산업에서는, 시장 예측, 투자 의사결정 등 다양한 작업을 위해서 뉴스 기사, 수익 보고서, 거래소 자료 등 다양한 출처의 정보를 활용합니다. 이런 여러가지 정보들 중 상당수는 아주 잘 정리되지 않은 상태이기도 하고, 정형화되어 있지 않은 경우도 많아서, 이럴 때는 전통적인 분석 방법으로는 이해하기가 어렵죠.

기본적으로 LLM은 트렌드 예측이나 보고서 작성 등을 위해서 대량의 데이터를 처리하는데 도움이 되는 기술이지만, 하지만 도메인의 전문 용어가 많고 데이터의 구조가 복잡한 경우에는 대부분 LLM 만으로는 제대로 처리가 힘듧니다. 우리가 보통 RAG이라고 부르는 VectorRAG이 이런 ‘LLM의 한계’를 해결하는 하나의 방법이죠. 핵심은 ‘외부 DB에서 유사한 텍스트 청크 (Chunk)를 검색, 답변을 생성하는데 사용할 컨텍스트를 제공’하는 겁니다. 장점이 많지만, VectorRAG는 데이터를 그냥 하나의 청크로 인식할 뿐, 그 안에 데이터의 구조, 관계를 파악하는 것은 잘 하지 못합니다.

여기서, 데이터를 엔티티와 그 관계로 구성하기 위해서 지식 그래프 (Knowledge Graph)를 사용하는 GraphRAG이 등장하죠. GraphRAG는 대규모 데이터셋의 지식 그래프를 구축하거나 유지 관리하는 작업을 더 간소화하고 더 정확한 답변을 얻을 수 있도록 하기 위해서 RAG와 결합한 형태입니다. 그렇지만 여기에도, 관련된 엔티티를 직접 언급하지 않는 질문에 대해서는 잘 작동하지 않는 한계가 있습니다.

…그렇다면, (Vector)RAG와 GraphRAG를 결합한다면, 어떻게 될까요?

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!