Topic #7: LongRAG 프레임웍은 무엇인가?

글을 시작하며

RAG (Retrieval-Augmented Generation; 검색 증강 생성)는 LLM 어플리케이션을 만드는 방법들 중 ‘외부의 지식과 데이터’를 활용해서 LLM의 성능과 답변 품질을 향상시키는 방법으로, 최근 몇 년 동안 점점 큰 관심과 인기를 얻고 있습니다.

튜링 포스트 코리아에서도 ‘Graph RAG’에 대해서 다룬 적이 있습니다. 그런데, RAG 모델이 개발된 2020년쯤은, LLM이 Long-Context (긴 컨텍스트)를 처리하는데 큰 제약조건이 있던 시절입니다. 결과적으로, 검색기 (Retriever)는 일반적으로 100단어 정도의 짧은 텍스트 단위 - 위키백과로 치면 한 단락 정도예요 - 로 작업하도록, 그래서 관련된 정보를 찾아내기 위해서 방대한 규모의 말뭉치 (Corpora)를 검색해야 하는 구조로 설계가 되었습니다.

2020년 이후 지금까지, 거대언어모델이 얼마나 변했는지 생각해 보세요. 2023년, 2024년에 훨씬 더 긴 컨텍스트를 처리할 수 있는 LLM들이 등장했고, 그 중에는 128,000개의 토큰 또는 100만개의 토큰까지 처리할 수 있는 모델들도 있습니다. (예를 들면, 구글의 Gemini 1.5 Pro 같은 모델처럼요). 한 마디로, RAG 시스템에 새로운 가능성이 열린 거죠.

자, 이제 LongRAG 프레임웍의 세계로 들어가 봅시다 - LongRag 프레임웍은 최근의 LLM 발전 방향에 맞춰 RAG 시스템의 설계를 근본적으로 재검토하고, Long-Context를 지원하는 LLM의 성능을 더 개선하면서 더 잘 동작하는 RAG 시스템을 만들 수 있는 방향을 제시합니다.

이번 에피소드에서는, 아래의 내용을 다뤄보려고 합니다:

• 오리지널 RAG, 그 작동 방식

• LongRAG의 아이디어

• LongRAG 작동 방식과 아키텍처

• LongRAG의 장점

• 보너스 자료