GraphRAG / RAG 아키텍처

‘의미론적으로 유사한 청크’와 ‘정확하고 완전한 답변’ 사이의 격차는 대부분의 엔터프라이즈 RAG 배포가 무너지는 지점입니다. 스탠퍼드 AI 랩(Stanford AI Lab)의 연구에 따르면, 올바른 문서를 검색했음에도 RAG 응답의 40%에서 환각이 발생합니다. 검색은 성공했지만, 그라운딩(grounding)은 작동하지 않은 것입니다.

RAG가 답변이 아닌 문서를 검색하는 이유

이러한 현상이 발생하는 이유는 표준 벡터 유사도가 주제상 관련 있는 구절과 질문에 실제로 답변하는 구절을 구별하지 못하기 때문입니다. 컴플라이언스 팀이 "16세 미만 EU 거주자에게 영향을 미치는 데이터 침해에 대한 통지 요건은 무엇인가?"라고 질문할 때, 시스템이 연령별 특정 조항 없이 GDPR 침해 통지에 관한 세 개의 청크를 반환한다면, 답변은 그럴듯해 보이지만 위험할 정도로 불완전합니다.

저희의 접근 방식은 이러한 격차를 좁히도록 설계된 검색 시스템을 구축하는 것입니다. 저희가 선택하는 아키텍처는 고객의 문서, 쿼리, 오답에 대한 허용 한도에 따라 달라집니다. 때로는 크로스 인코더 리랭커를 결합한 하이브리드 BM25 + 밀집 검색이 적합할 수 있습니다. 때로는 엔티티 추출 및 커뮤니티 요약을 포함하는 완전한 GraphRAG 파이프라인일 수도 있습니다. 때로는 복잡한 질문을 분해하고 반복적으로 검색하며 생성 전에 자체 교정하는 에이전틱 검색 루프일 수도 있습니다. 저희는 무조건 가장 복잡한 방식을 기본값으로 삼지 않으며, 감당 가능한 비용으로 검색 문제를 해결하는 방식을 기본값으로 삼습니다.

쿼리 패턴에 따라 선택되는 세 가지 검색 아키텍처

저희는 무조건 복잡한 방식을 기본값으로 삼지 않고 실제 쿼리 패턴에 맞춰 아키텍처를 매칭합니다. 아래의 세 가지 패턴은 대부분의 프로덕션 요구사항을 충족합니다.

리랭킹을 결합한 하이브리드 검색

대부분의 프로덕션 RAG 시스템이 시작해야 하는 지점입니다. BM25는 정확한 키워드 매칭(오류 코드, 제품 SKU, 규제 인용 번호)을 처리하고, 밀집 임베딩(dense embedding)은 시맨틱 의도를 포착합니다. 상호 순위 융합(RRF, k=60) 은 학습 기반 융합(learned fusion) 방식에서 흔히 발생하는 점수 정규화 문제 없이 두 결과 집합을 병합합니다.

그 상단에 크로스 인코더 리랭커가 배치됩니다: BGE-reranker-v2-m3 는 GPU 상에서 지속적인 API 비용 없이 50–100ms의 레이턴시를 제공하며, 또는 매니지드 인프라를 원하는 팀의 경우 Cohere Rerank 를 활용할 수 있습니다. 프로덕션 벤치마크에 따르면 이 2단계 파이프라인은 모든 단일 단계 방식을 능가합니다. Anthropic의 컨텍스추얼 검색(Contextual Retrieval) 기술이 그 위에 추가 레이어로 적용되어, 임베딩 전 각 청크 앞에 문서 수준의 컨텍스트를 추가함으로써 검색 실패를 49%(리랭킹 시 67%) 줄여줍니다.

그래프 증강 검색(GraphRAG)

질의가 여러 문서에 걸친 정보를 종합하거나 엔티티 간의 관계를 추론해야 하는 경우, 벡터 유사도만으로는 충분하지 않습니다. 가령 법무팀이 "TargetCo가 사업을 영위하는 관할 구역에서 계류 중인 규제 조치가 있는 AcquiringCo의 자회사는 어디인가?"라고 질문할 때 필요한 것은 엔티티 해결(entity resolution), 관계 순회, 그리고 멀티홉 추론입니다.

저희는 고객의 문서로부터 지식 그래프를 구축하며, 의존 구문 분석 기반 추출을 활용하여 LLM 기반 성능의 94% 를 극히 일부의 토큰 비용으로 달성합니다(자세한 내용은 인용 기반 GraphRAG에 관한 당사 연구 참조). Microsoft의 GraphRAG 방식(Leiden 클러스터링 + 커뮤니티 요약)은 코퍼스 차원의 종합적 질의에는 유효하지만, 인덱싱 비용이 표준 RAG의 4–8배에 달합니다. 저희는 이를 선별적으로 활용합니다:

• 글로벌 쿼리를 위한 커뮤니티 요약.
• 엔티티-관계 질문을 위한 프로퍼티 그래프 순회.
• 그 외 모든 검색을 위한 표준 벡터 검색.

그래프 백엔드 저장소의 경우, FalkorDB 는 1밀리초 미만의 콜드 스타트와 함께 6,693 QPS로 읽기 집약적인 RAG 워크로드를 처리하며, Neo4j 는 성숙한 RBAC, 클러스터링 및 복잡한 집계가 필요할 때 여전히 최적의 선택입니다.

에이전틱 검색(Agentic retrieval)

2026년 기준 가장 뛰어난 역량의 패턴이자 올바르게 구현하기에 가장 비용이 많이 드는 방식입니다. 에이전틱 검색 루프는 복잡한 쿼리를 하위 쿼리로 분해하고, 각각을 적절한 검색 전략(벡터, 그래프 또는 정형 데이터베이스)으로 라우팅하며, 결과가 충분한지 평가하고, 신뢰도 임계값에 도달할 때까지 반복합니다.

저희는 이를 LangGraph 기반으로 구현하며, 상태 머신 추상화를 통해 조건부 분기, human-in-the-loop 인터럽트 노드 및 결정론적 감사 가능성을 제공합니다. Corrective RAG 계층은 쿼리당 100–800ms의 레이턴시를 추가하지만 검색 오류가 LLM에 도달하기 전에 잡아냅니다. 이 패턴은 다음 기업에서 프로덕션 적용이 완료되었습니다: Morgan Stanley, PwC, ServiceNow. 그러나 검색 루프를 모니터링하고 튜닝할 전담 ML ops 역량이 없는 팀에는 적합하지 않습니다.

임베딩 이전에 일어나는 일: 올바른 청킹(Chunking) 구현

청킹은 RAG 시스템이 소리 없이 실패하는 주요 원인입니다. 단순 고정 크기 청킹의 충실도(faithfulness) 점수는 0.47–0.51에 그칩니다. 시맨틱 청킹은 0.79–0.82에 달하지만, 코퍼스의 모든 문장을 임베딩해야 하므로 비용이 증가합니다. 올바른 전략은 보유 문서의 유형에 따라 달라집니다:

• 정형 규제 제출 문서 — 레이아웃 인식 파싱으로 섹션 계층 구조를 보존합니다.
• 표와 차트가 포함된 혼합 콘텐츠 PDF — 비전 가이드 청킹(레이아웃 감지를 위해 각 페이지를 이미지로 처리한 후 텍스트 영역 추출)은 텍스트 전용 파싱 대비 검색 정밀도를 8–15% 향상시킵니다.
• 긴 서술형 문서 — 레이트 청킹(late chunking)은 먼저 전체 문서를 트랜스포머에 통과시켜 모든 토큰 임베딩에 양방향 컨텍스트를 반영한 후, 순전파(forward pass) 이후에 청크 경계를 적용합니다.

저희는 하나의 전략을 확정하기 전에 실제 쿼리 세트를 대상으로 3~4가지 청킹 전략을 테스트합니다. 평가 하네스(RAGAS 충실도 및 컨텍스트 정밀도 지표, 도메인별 관련성 판단)는 사후 추가물이 아닌 파이프라인의 핵심 구성 요소로 함께 제공됩니다. 새로운 RAG 배포의 60%가 이제 첫날부터 체계적인 평가를 포함하며, 이는 2025년 초 30% 미만에서 크게 증가한 수치입니다. 저희는 평가를 CI/CD에 직접 구축하여 사용자가 불만을 제기할 때가 아니라 매 배포마다 검색 품질이 지속적으로 측정되도록 합니다.

엔터프라이즈 RAG 시스템을 운영하는 데 드는 실제 비용은 얼마인가?

한 제조 기업은 RAG 시스템 배포에 $400,000 를 지출한 후, 지속적인 운영 비용이 월 $18,000 에 달한다는 사실을 발견했습니다 — 이는 초기 예상치의 두 배를 넘는 수준이었습니다. 놓친 비용 모델은 바로 '리랭킹'이었습니다. 임베딩 API 비용은 10억 토큰당 $20–120 수준입니다. 1,000만 개(10M) 벡터 기준 벡터 DB 호스팅은 매니지드 서비스(Pinecone, Weaviate Cloud)가 자체 호스팅(Qdrant, pgvector) 대비 1.5–3배 더 많은 비용이 듭니다. 그러나 프로덕션 쿼리 볼륨에서 예산 초과의 주원인은 리랭킹입니다: Cohere Rerank는 1,000회 쿼리당 $2가 소요되는 반면, 단일 GPU에서 자체 호스팅하는 BGE-reranker-v2-m3는 쿼리당 추가 비용 없이 동일한 레이턴시를 제공합니다(단, GPU 인스턴스 비용 발생).

GraphRAG는 또 다른 비용 계층을 추가합니다. 지식 그래프 구축은 엔티티 추출과 커뮤니티 요약을 위해 원본 텍스트 대비 4–8배 더 많은 토큰 을 소비합니다. 또한 유지보수에는 첫해 엔지니어링 예산의 40–60% 가 소요되는데, 엔티티 해결, 중복 제거 및 온톨로지 업데이트가 일회성 설정이 아니라 지속적인 작업이기 때문입니다. 의존 구문 분석 기반 추출(LLM 호출 대신 전통적 NLP 활용)은 구축 비용을 대략 90% 절감하는 동시에 94%의 추출 품질을 유지합니다. 저희는 임베딩, 스토리지, 검색, 리랭킹 및 그래프 유지보수를 아우르는 명확한 월간 운영비(run-rate) 예측을 바탕으로 모든 프로젝트 범위를 설정합니다.

GraphRAG의 도입 가치가 있는 경우(그리고 그렇지 않은 경우)

쿼리가 엔티티 및 관계 전반에 걸친 멀티홉 추론을 요구할 때 그래프 증강 검색이 필요합니다:

• 수백 건의 자회사 공시 문서를 아우르는 M&A 실사.
• 약물 상호작용 데이터베이스 전반의 임상 근거 종합.
• 공급업체 네트워크와 규제 조치를 연결하는 공급망 리스크 분석.

GraphRAG는 벤치마크 기준 복잡한 다계층 기업 쿼리에서 가장 높은 검색 정밀도를 발휘합니다( 인용 검증된 법률 검색의 작동 데모 참조). 쿼리가 단일 문서 조회, FAQ 스타일 답변 또는 키워드 중심 검색인 경우에는 GraphRAG가 필요하지 않습니다 — 리랭커를 결합한 하이브리드 BM25 + 밀집 검색이 훨씬 적은 비용과 복잡성으로 이를 충분히 처리합니다. 코퍼스가 500만 개(5M) 벡터 미만이고 질문이 문서 경계를 넘나들지 않는다면 HNSW 인덱싱을 적용한 pgvector만으로도 충분합니다. 저희는 아키텍처를 추천하기 전에 이를 철저히 평가하며, 더 단순한 옵션이 적합한 경우 솔직하게 안내해 드립니다.

"애초에 RAG가 정말 필요한가?"라는 질문도 중요합니다. 컨텍스트 윈도우가 100만 개 이상의 토큰에 도달하면서(Gemini 3 Pro의 경우 10M), 일부 팀에서는 전체 코퍼스를 프롬프트에 직접 밀어 넣는 방식을 고려합니다. 문제는 100만 토큰 단일 쿼리 비용이 $2–10에 달해, 엔터프라이즈 쿼리 볼륨에서는 감당할 수 없다는 점입니다. 또한 공표된 한도 내에서도 특정 임계값을 넘어서면 컨텍스트 품질이 저하됩니다. 규모가 크고 수시로 변경되는 문서 세트를 대상으로 반복적인 쿼리를 처리하는 모든 시스템에서 RAG는 여전히 가장 올바른 아키텍처입니다.

RAG 파이프라인의 공격 표면(Attack Surface)은 무엇인가?

PoisonedRAG 연구(USENIX Security 2025) 에 따르면 100만 건의 문서 코퍼스에 정교하게 조작된 문서 5건을 주입하는 것만으로도 90% 이상의 성공률로 AI 응답을 조작할 수 있는 것으로 나타났습니다. 검색 파이프라인은 적대적 콘텐츠의 수집 경로가 될 수 있습니다. OWASP는 이제 벡터 및 임베딩 취약점(LLM08:2025)과 검색된 문서를 통한 프롬프트 인젝션(LLM01:2025)을 주요 LLM 보안 리스크로 공식 지정하고 있습니다.

저희는 문서 출처 추적, 임베딩 수준의 이상 탐지, 입력값 정제(sanitization) 계층을 검색 파이프라인에 직접 구축합니다. 검색된 모든 구절에는 출처 메타데이터와 신뢰도 점수가 부여됩니다. 생성 계층은 특정 구절을 명시적으로 인용하도록 제한되며, 검색된 콘텐츠에 근거(grounding)하지 않은 주장은 그대로 통과되지 않고 플래그 처리됩니다. 이는 다음 연구에 자세히 설명된 바와 같이, 규제 대상 환경에 배포되는 모든 RAG 시스템에서 결코 타협할 수 없는 필수 사항입니다: 프라이빗 엔터프라이즈 LLM 보안에 관한 당사 연구.

제공 내역

모든 프로젝트에서 다음 산출물을 제공합니다:

• 고객의 구체적인 쿼리 패턴과 문서 유형에 맞춰 선정된 검색 아키텍처.
• 실제 쿼리를 대상으로 벤치마크된 청킹 및 임베딩 전략.
• RAGAS 지표 및 도메인별 테스트 케이스를 갖춘 프로덕션급 평가 하네스.
• 임베딩, 스토리지, 검색, 리랭킹 및 그래프 유지보수를 포괄하는 명확한 비용 예측.
• 검색 기반 공격에 대응하는 보안 강화 조치.
• 사용자가 인지하기 전에 검색 품질 저하를 감지하는 모니터링 스택.

또한 현재 구축된 구성으로도 충분하며 더 복잡한 검색에 투자해도 효용이 크지 않은 경우, 이를 솔직하게 말씀드립니다.