온톨로지로 만든 지식 그래프는 RAG 성능을 얼마나 끌어올릴까: RDB vs 텍스트 비교 실험

논문 개요와 전체 구조

검색 증강 생성(Retrieval-Augmented Generation, RAG)을 실제로 운영해 본 사람이라면 한 번쯤 마주치는 질문이 있습니다. "벡터 검색만으로 충분한가, 아니면 지식 그래프(Knowledge Graph, KG)까지 가야 하는가?" 그리고 KG로 간다면 그 그래프를 어떻게 만드느냐가 성능을 좌우한다는 것은 직관적으로 알지만, 정작 구축 방식별로 RAG 성능을 통제된 조건에서 비교한 자료는 의외로 드뭅니다.

Granter.ai 연구팀이 발표한 이 논문(arXiv:2511.05991, 2025년 11월)은 바로 그 빈 자리를 채우는 실험 논문입니다. 동일한 코퍼스, 동일한 검색기(retriever), 동일한 평가 프레임워크를 고정해 놓고 KG 구축 전략만 바꿔가며 RAG 성능에 미치는 영향을 분리해 측정합니다. 핵심 변수를 단 하나로 통제했다는 점, 그리고 그동안 RAG 맥락에서 거의 탐구되지 않았던 관계형 데이터베이스(Relational Database, RDB)에서 추출한 온톨로지(ontology)의 가능성을 정면으로 다룬다는 점이 이 연구의 가장 큰 특징입니다.

논문이 던지는 두 가지 핵심 발견은 다음과 같습니다. 첫째, 전통적인 "엔티티(entity)+관계(relation)"만으로 이루어진 KG를 넘어 텍스트 청크(chunk)를 그래프 구조에 직접 통합하면 검색 정확도와 생성 품질이 크게 향상됩니다. 둘째, 정적 관계형 데이터베이스에서 추출한 온톨로지는 텍스트 코퍼스에서 유도한 온톨로지에 필적하는 성능을 내면서도, 훨씬 저렴하고 유지보수가 쉽습니다. DB 스키마는 시간이 지나도 잘 변하지 않으므로 온톨로지 학습을 단 한 번만 수행하면 되고, 텍스트 기반 방식 특유의 온톨로지 병합(ontology merging) 복잡성을 회피할 수 있기 때문입니다.

논문은 다음과 같은 구조로 전개됩니다. 전체 지도를 먼저 제시합니다.

이 리뷰는 위 섹션 순서를 그대로 따라가며 각 챕터를 충실히 정리합니다. 실험 논문인 만큼 5장 결과는 별도의 심층 분석 섹션으로 다시 한번 깊게 파고듭니다.

핵심 기여와 혁신성

해결하려는 문제의 중요성. 대규모 언어 모델(Large Language Model, LLM)은 강력한 생성·추론 능력을 보이지만, 정적인 학습 데이터에 의존하기 때문에 학습 시점 이후의 정보나 도메인 특화 지식에 접근하지 못합니다. RAG는 모델 출력을 외부 소스에 근거(grounding)시켜 환각(hallucination)을 줄임으로써 이 한계를 완화합니다. 그러나 RAG의 성능은 외부 지식을 어떻게 구조화하고 검색하느냐에 크게 좌우됩니다. 이것이 논문이 파고드는 핵심 지점입니다.

기존 접근법의 한계. 전통적 RAG는 벡터 데이터베이스에 텍스트 임베딩을 색인해 의미적 유사도(semantic similarity)로 검색합니다. 효율적이지만 엔티티 간의 관계 구조를 무시하기 때문에 중복 검색과 제한된 추론으로 이어질 수 있습니다. 그래프 기반 RAG는 KG로 명시적 관계를 인코딩해 구조적이고 해석 가능한 검색을 가능하게 하지만, 고품질 KG를 구축·유지하는 일 자체가 만만치 않은 과제입니다. 특히 온톨로지 정렬(ontology alignment)과 스키마 진화(schema evolution)가 KG 구축의 대표적 병목으로 지적되어 왔습니다.

제안 해결책의 독창성. 온톨로지는 도메인의 개념과 관계를 형식적으로 포착해 그래프 구축의 청사진 역할을 합니다. 최근 LLM은 정형·비정형 데이터 양쪽에서 온톨로지를 추출할 수 있게 되었지만, RDB에서 유도한 온톨로지 기반 KG의 잠재력은 RAG 맥락에서 거의 탐구되지 않았습니다. 이 연구는 코퍼스·검색 방법·KG 구축 파이프라인·평가 프레임워크를 모두 통제함으로써, 온톨로지의 출처(source)와 구조(structure)가 검색 정확도와 추론 품질에 미치는 효과만을 분리해 측정합니다.

두 가지 명시적 기여. 논문은 자신의 기여를 명확히 둘로 정리합니다.

• 첫째, 전통적인 엔티티·관계 전용 KG를 넘어 텍스트 청크를 그래프 구조에 직접 통합하면, 맥락을 풍부하게 하고 더 깊은 추론을 가능하게 하여 검색 정확도와 생성 품질이 향상됨을 보입니다.
• 둘째, 정적 RDB에서 추출한 온톨로지가 텍스트 코퍼스에서 유도한 온톨로지에 필적하는 성능을 내면서도 훨씬 비용 효율적이고 유지보수가 쉬움을 입증합니다. DB 스키마는 안정적이므로 온톨로지 학습을 한 번만 수행하면 되고, 반복적 LLM 추론 비용과 텍스트 기반 온톨로지 병합 복잡성을 모두 회피할 수 있습니다.

파급효과. 이 두 발견은 확장 가능하고 해석 가능한 그래프 기반 RAG 시스템을 구축하기 위한 실용적 전략을 제시합니다. 연구진은 코드를 공개했습니다(github.com/tiagocrz/KGs_for_Vertical_AI).

기술적 세부사항

비교 대상 6개 구성. 논문은 두 개의 베이스라인과 네 개의 KG, 총 6개 접근법을 비교합니다. 변수를 KG 구축 방식 하나로 고정하기 위해 코퍼스·검색기·평가 방식을 모두 동일하게 맞춘 것이 설계의 골자입니다.

여기서 가장 중요한 통제 변수가 두 가지입니다. 첫째는 온톨로지 출처(RDB냐 텍스트냐), 둘째는 청크 정보 결합 여부입니다. 이 두 축의 2×2 조합이 곧 네 개의 온톨로지 KG이며, 논문 비교 매트릭스의 핵심입니다.

평가 데이터와 지표. 실험 코퍼스는 Granter.ai가 포르투갈의 "스타트업 바우처" 공모에 실제 제출해 승인받은 보조금 신청서 1건이며, 상세는 4장에서 다룹니다. 평가는 5개 범주에 걸친 20개 도메인 질문과 정답(ground truth)에 대해, 각 답변을 Correct / Incomplete / False·Wrong / "I don't know" 4범주로 수동 분류하는 방식을 씁니다. 자동화된 LLM 채점이 아니라 사람이 직접 분류하는 정성적·범주형(categorical) 평가입니다.

검색기의 핵심 수식 — PCST. 그래프 기반 구성에서는 자체 검색기가 Prize-Collecting Steiner Tree(PCST) 최적화로 부분그래프를 추출합니다. PCST는 노드마다 부여된 보상(prize)을 최대한 거두면서 엣지 사용 비용은 최소화하는 연결 부분그래프 $T=(V_T, E_T)$ 를 찾는 문제로, 개념적으로 다음 목적함수를 최대화합니다.

여기서 $\text{prize}(v)$ 는 질의와의 유사도 점수 및 순위에 비례해 노드 $v$ 에 부여된 보상이고, $\text{cost}(e)$ 는 엣지 $e$ 를 부분그래프에 포함시키는 비용입니다. 논문 구현에서는 엣지에 균일 비용(uniform cost)을 할당하므로, 결과적으로 검색기는 관련 노드를 최대한 많이 끌어모으되 연결에 쓰는 엣지 수는 최소화하는 부분그래프를 선택하게 됩니다. 이렇게 추출된 부분그래프는 노드 속성과 엣지 트리플(triple)을 담은 사람이 읽을 수 있는 컨텍스트 문자열로 변환되어 LLM에 전달됩니다.

또한 노드 선택의 1차 기준인 유사도는 코사인 유사도(cosine similarity)입니다. 질의 임베딩 $\mathbf{q}$ 와 노드 임베딩 $\mathbf{n}$ 사이의 점수는 다음과 같이 정의됩니다.

분자는 두 벡터의 내적, 분모는 두 벡터 크기의 곱입니다. 이 값이 클수록 질의와 노드 설명이 의미적으로 가깝다는 뜻이며, 이를 기준으로 상위 $k$ 개 노드를 1차 선별한 뒤 PCST로 관계 맥락을 보강하는 구조입니다. 같은 코사인 유사도가 Vector RAG 베이스라인의 FAISS 최근접 이웃 검색에서도 그대로 쓰입니다.

챕터별 상세 리뷰

📖 Chapter 1: Introduction

챕터의 위치와 역할: 논문 전체의 문제의식과 연구 공백, 그리고 두 가지 기여를 선언하는 도입부입니다. 이후 모든 실험 설계가 여기서 제기한 질문에 답하기 위한 것임을 명확히 합니다.

저자의 서술 순서를 따라가면 다음과 같습니다.

1. LLM의 한계와 RAG의 등장: LLM은 다양한 도메인에서 강한 생성·추론 능력을 보이지만, 정적 학습 데이터에 의존해 미관측·도메인 특화 지식에 접근하지 못합니다. RAG는 출력을 외부 소스에 근거시켜 환각을 줄임으로써 이를 완화하되, 성능은 외부 지식의 구조화·검색 방식에 좌우됩니다.
2. 벡터 RAG의 한계: 전통적 RAG는 벡터 DB에 임베딩을 색인해 의미적 유사도로 검색합니다. 효율적이지만 엔티티 간 관계 구조를 무시하므로 중복 검색과 제한된 추론으로 이어질 수 있습니다.
3. 그래프 기반 RAG와 그 난점: 그래프 기반 RAG는 KG로 명시적 관계를 인코딩해 구조적·해석 가능한 검색을 가능하게 합니다. 다만 고품질 KG의 구축·유지가 여전히 만만치 않은 과제로 남습니다.
4. 온톨로지 학습의 부상과 연구 공백: 온톨로지는 도메인 개념·관계를 형식화해 그래프 구축의 청사진이 되며, LLM은 정형·비정형 데이터에서 온톨로지를 추출할 수 있게 했습니다. 그럼에도 RDB에서 유도한 온톨로지 기반 KG의 잠재력은 RAG 맥락에서 거의 탐구되지 않았고, 이 연구가 그 공백을 메웁니다.
5. 실험 개요: Granter.ai의 실제 보조금 신청서를 데이터셋으로 삼아 Vector RAG, GraphRAG(Microsoft Research), 그리고 RDB·텍스트에서 추출한 온톨로지 기반 여러 KG를 평가합니다. 코퍼스·검색 방법·KG 구축 파이프라인·평가 프레임워크를 통제해 온톨로지 출처와 구조의 효과만 분리합니다.
6. 두 가지 기여 선언: 앞서 정리한 (1) 청크 통합의 효과, (2) RDB 온톨로지의 비용 효율성을 명시합니다.

챕터의 핵심 기여: "KG를 어떻게 만드느냐가 RAG 성능을 좌우한다"는 가설을 통제 실험으로 검증하겠다는 연구 설계 선언, 그리고 RDB 온톨로지라는 미탐구 영역의 제시.

다음 챕터로의 연결: 이 문제의식이 어떤 선행 연구 위에 서 있는지를 2장 Related work에서 RAG·KG·온톨로지 학습 세 갈래로 정리합니다.

📖 Chapter 2: Related work

챕터의 위치와 역할: 연구의 학문적 좌표를 설정하는 장으로, 세 개의 하위 절(RAG, Knowledge Graphs, Ontology Learning)로 나뉩니다. 각 절은 이후 방법론에서 채택할 기법의 근거를 제공합니다.

2.1 RAG

RAG는 LLM을 외부 지식으로 보강해 환각과 도메인 인식 부족 같은 한계를 다루는 패러다임으로 널리 채택되었습니다. 저자의 서술을 따라 정리하면 다음과 같습니다.

• 기본 동작: 파이프라인에서 문서는 벡터 공간으로 임베딩되고, 의미적으로 유사한 청크가 검색되어 LLM 프롬프트를 보강합니다. 이를 통해 더 정확한 응답이 가능해집니다.
• 벡터 검색의 한계: 많은 응용에서 효과적이지만, 벡터 기반 검색은 텍스트 코퍼스 내 관계를 무시하고 지나치게 긴 컨텍스트를 생성하는 본질적 한계가 있습니다.
• 그래프 기반 RAG: 이를 극복하기 위해 구조화된 그래프로 데이터의 관계를 포착합니다. 최근 서베이들은 그래프가 해석 가능성을 높이고, 검색 중복을 줄이며, 다중 홉(multi-hop) 추론과 전역 요약(global summarisation)을 지원한다고 강조합니다. 모두 벡터 기반 방법이 약한 영역입니다.
• 하이브리드 접근: 벡터와 그래프 검색을 결합한 방식도 부상했습니다. 대표적으로 HybridRAG는 KG와 벡터 DB를 통합해 어느 한쪽 단독보다 우수한 검색 정확도와 답변 품질을 보였습니다.
• 평가 연구: Han et al.은 그래프 기반 RAG가 해석 가능성·추론에서 우세하지만 벡터 RAG가 상세한 단일 홉(single-hop) 질의에서는 여전히 경쟁력이 있다고 보였고, Myers et al.은 여러 KG 구축 옵션을 탐구해 하이브리드 방법이 최적일 수 있다고 결론지었습니다.

2.2 Knowledge Graphs

KG는 지식을 엔티티·관계·의미 기술(semantic description)로 구조화해 표현하며, 의미적 질의·추론·이종 소스 통합을 가능하게 합니다. 의미 검색, 추천 시스템, 질의응답 등의 기반 데이터 구조입니다.

KG 구축은 규칙 기반(rule-based)·통계 기반(statistical)·LLM 기반으로 자동화할 수 있으며, 각각 정밀도와 확장성 사이에서 서로 다른 트레이드오프가 있습니다. Choi와 Jung은 KG 구축을 추출(extraction) → 학습(learning) → 평가(evaluation) 3단계로 요약합니다. 추출은 정형·반정형·비정형 데이터로부터, 학습은 임베딩·추론 기법으로, 평가는 정확도·커버리지·일관성 측정으로 이루어집니다.

그럼에도 두 가지 광범위한 과제가 지속됩니다. 다양한 데이터 소스 통합에 따르는 구축 복잡성(construction complexity), 그리고 새 데이터에 적응해야 하는 유지보수(maintenance) 문제입니다. 특히 Hofer et al.은 KG 구축의 현재 병목으로 온톨로지 정렬(ontology alignment)과 스키마 진화(schema evolution)를 지목합니다. 바로 이 난제가 높은 해석 가능성과 구조적 추론을 요구하는 도메인에서 온톨로지 기반 접근의 부상을 촉발했고, 이 온톨로지 기반 KG가 본 연구 비교 분석의 토대가 됩니다.

2.3 Ontology Learning

온톨로지는 특정 도메인 내 개념·관계·제약을 정의하는 형식적 지식 표현입니다. KG 구축을 안내하는 데 쓰이면 더 일관되고 계층적인 지식 표현을 가능하게 하며, 다중 홉 추론·중의성 해소(disambiguation)·맥락 인식 검색을 지원합니다.

최근 LLM은 정형·비정형 데이터에서 온톨로지 학습을 자동화하는 데 큰 가능성을 보였습니다. Nayyeri et al.과 Bakker et al.은 프롬프트 기반 방식으로 RDB나 텍스트에서 온톨로지 요소를 직접 추출해 전통적 수동·규칙 기반 시스템을 우회합니다. 본 연구가 채택하는 두 갈래(RDB·텍스트 온톨로지 학습)가 바로 이 두 연구에 뿌리를 둡니다.

한편 Chepurova et al.과 Doumanas et al.은 온톨로지 검증을 통합하거나 온톨로지 공학 코퍼스로 LLM을 파인튜닝하면 도메인 정렬 정밀도가 향상되어 "더 지능적이고 자동화된 온톨로지 관리 시스템"이 가능함을 보였습니다. 다만 논리적 일관성 보장, 환각 완화, 기존 어휘·스키마 표준과의 정렬은 여전히 과제로 남습니다. 이 연구에서 온톨로지는 테스트할 RAG 시스템의 토대가 될 KG 구축을 안내하는 역할을 합니다.

챕터의 핵심 기여: 세 갈래 선행 연구를 종합해, 본 연구가 채택하는 RIGOR(2.3의 Nayyeri et al.), Bakker et al.의 텍스트 온톨로지 학습, G-Retriever 계열 검색기의 정당성을 마련합니다.

다음 챕터로의 연결: 이 선행 연구들이 3장 Methodology에서 구체적 파이프라인으로 구현됩니다.

📖 Chapter 3: Methodology

챕터의 위치와 역할: 논문의 기술적 심장부입니다. 6개 접근법을 베이스라인(3.1), 온톨로지 기반 KG(3.2), 공통 검색기(3.3)로 나누어 구체적 구현을 기술합니다.

3.1 RAG baselines

3.1.1 Vector RAG: 정석 벡터 기반 RAG로, 그래프 강화 접근의 부가 가치를 평가하기 위한 기준점입니다. 파이프라인은 다음과 같습니다.

• 문서를 LangChain의 RecursiveCharacterTextSplitter로 오버랩(overlap) 청크로 분할합니다.
• 각 청크를 Ollama의 nomic-embed-text:v1.5 모델로 임베딩합니다.
• 임베딩을 FAISS에 색인합니다.
• 검색은 코사인 유사도로 최근접 이웃(nearest neighbours)을 식별해 수행합니다.

이는 VectorRAG의 정석(canonical) 파이프라인으로, 그래프 강화 접근법들이 더해 주는 가치를 측정하는 기준점 역할을 합니다.

3.1.2 GraphRAG: Microsoft의 GraphRAG 프레임워크로, 그래프 기반 요약·검색으로 RAG를 확장합니다. 코퍼스에서 엔티티 그래프를 구성하고 커뮤니티 구조(community structure)를 활용해 의미적으로 관련된 부분그래프를 검색합니다. 구현은 공식 graphrag 파이썬 패키지를 기본 설정(검색에는 local search 방식)으로 돌렸습니다. 수동 튜닝 없는 out-of-the-box 최신(state-of-the-art) 기준 시스템 역할을 합니다.

3.2 Ontology-Grounded KGs

3.2.1 RDB Ontology Learning: RIGOR(Retrieval-Augmented Iterative Generation of Relational Database Ontologies)를 기반으로 변형해, RDB 스키마에서 직접 온톨로지를 생성합니다. 주요 조정 사항은 다음과 같습니다.

• 외부 참조 온톨로지를 여러 저장소 대신 DINGO(프로젝트·펀딩·행위자·정책 도메인 온톨로지) 하나로 제한하고, 어휘적 제약 추출이 쉽도록 OWL 2 Manchester 구문으로 수동 변환했습니다.
• 원래 RIGOR와 달리 RDB의 어휘적 뷰(lexical view)에 의존하지 않고, 컬럼과 기본키/외래키(PK/FK) 주석을 포함한 테이블 DDL 문을 LLM에 직접 입력했습니다.
• 일반 스키마 설명 외에 테이블 수준 문서가 없어 별도 문서는 포함하지 않았습니다.
• 델타 온톨로지와 최종 온톨로지를 모두 Turtle(TTL) 포맷으로 생성해 RDFLib로 반복 병합했습니다.
• LLM 추론은 temperature = 0으로 엄격한 지시 준수를 우선했습니다.
• 프롬프트에 엄격한 명명 규칙을 강제해 의미가 동일한 요소가 다른 이름으로 중복 생성되지 않게 했고, 해석 가능성을 위해 모든 온톨로지 요소에 라벨과 주석을 생성하도록 지시했습니다.

이런 수정으로 DB 스키마와 정렬되면서도 중복·노이즈를 최소화한 일관된 온톨로지 추출이 가능해졌습니다.

3.2.2 Text Ontology Learning: 텍스트 코퍼스에서 직접 온톨로지를 유도하는 두 번째 방법으로, Bakker et al.이 제시한 세 번째 추출 방식을 약간 조정해 따릅니다. 프롬프트를 엄격한 명명 규칙과 파싱 신뢰성 향상을 위해 조정했고, 각 문장마다 유효한 Turtle 구문 생성을 시도하되 파싱이 실패하면 2차 LLM 점검을 트리거해 구문을 수리하고 교정본을 출력합니다. 비정형 텍스트에서 도메인 특화 온톨로지를 자동 귀납하는 방식입니다.

3.2.3 KG Construction Framework: 두 온톨로지를 RAG 파이프라인과 통합하기 위해 LangChain Experimental의 LLMGraphTransformer 모듈 위에 KG 구축 프레임워크를 만들었습니다. 온톨로지에서 규칙·제약을 추출하고 텍스트 코퍼스로 이를 그래프 구조로 인스턴스화합니다. 주요 구현 세부는 (1) 허용 클래스·관계 목록 형태로 온톨로지 제약을 추출하는 파이프라인, (2) 청크 정보 유무 변형을 두어 정보 입도(granularity)가 그래프 형성·검색에 미치는 영향을 검토, (3) 출력을 CSV로 저장해 검색 과정과 호환성 확보입니다. 이 프레임워크가 그래프 기반 검색에 균일한 인터페이스를 제공합니다.

3.3 Retriever

구성된 그래프에 대한 검색은 G-Retriever(He et al.)에서 영감을 받았으나, 원본이 부분그래프 구조 모델링에 쓴 그래프 신경망(Graph Neural Network, GNN)을 제거하고 휴리스틱 기반으로 단순화했습니다. 동작 단계는 다음과 같습니다.

1. CSV에서 KG를 노드(텍스트 속성)와 엣지(레이블된 관계)로 분리해 적재합니다.
2. 각 노드 설명을 SentenceTransformer로 임베딩해 의미 벡터 공간을 만들고, 사용자 질의도 같은 공간에 임베딩한 뒤 코사인 유사도로 상위 $k$ 개 노드를 식별합니다.
3. 관계 맥락을 반영하기 위해 무방향 엣지 집합을 구성하고 균일 비용을 할당합니다.
4. 유사도 검색에서 높은 순위를 받은 노드에 유사도 점수와 순위에 비례한 prize를 부여합니다.
5. PCST 최적화로 노드 수를 최대화하고 엣지 수를 최소화하는 연결 부분그래프를 추출합니다.
6. 선택된 부분그래프를 사람이 읽을 수 있는 컨텍스트 문자열(노드=속성, 엣지=트리플)로 변환해 LLM에 전달합니다.

이 설계의 의도는 명확합니다. 그래프 변형 간 일관성을 유지해 성능 차이가 검색기 복잡도가 아니라 KG 품질을 반영하도록 하고, 해석 가능성·재현성을 보존하며 잠재적 교란 변수를 최소화하는 것입니다. 선행 연구는 파인튜닝이 검색을 개선할 수 있다고 보지만, 이 연구의 초점은 검색기 성능 극대화가 아니라 KG 품질 비교이므로 일부러 구조적이지만 단순한 검색 과정을 채택했습니다.

챕터의 핵심 기여: 6개 구성을 단일 변수(KG 구축 방식)만 다르게 만드는 통제 실험 인프라. 특히 검색기를 의도적으로 단순화해 교란을 제거한 설계가 백미입니다.

다음 챕터로의 연결: 이렇게 구축된 시스템을 무엇으로, 어떻게 평가하는지를 4장 Experimental Setup에서 정의합니다.

📖 Chapter 4: Experimental Setup

챕터의 위치와 역할: 평가의 토대인 데이터·질문·채점 기준을 확정하는 장입니다. 결과(5장)를 해석하려면 반드시 이 절의 채점 범주 정의를 이해해야 합니다.

4.1 Corpus Description

실험은 Granter.ai가 포르투갈의 "Vouchers for Startups — New Digital/Technological Products" 공모에 제출해 승인받은 실제 보조금 신청서로 수행되었습니다. 원본은 포르투갈어였고 영어로 번역한 뒤 최소한으로 익명화했습니다. 이 문서가 선택된 이유는 기업 수준 맥락(미션, 비즈니스 모델, 기술·관리 역량)과 기회별 내용(목표, 유형 정당화, 혁신 잠재력, 임팩트)을 모두 담은 대표적 실세계 예시이기 때문입니다. Granter 운영의 여러 차원에 걸친 상세한 사실·맥락 정보를 담고 있어 지식 검색·추론 평가에 풍부하고 일관된 데이터셋이 됩니다.

4.2 Question Set and Ground Truth

각 방법을 평가하기 위해 Granter 워크플로의 실제 작업에서 기대되는 정보 유형을 반영하는 20개 도메인 특화 질문을 수동으로 작성했습니다. 질문은 다섯 범주에 걸칩니다.

1. 기업·맥락 정보 (예: "Granter.ai의 주요 사업 활동은?")
2. 기술·방법론 측면 (예: "Granter.ai는 어떤 AI 방법론을 사용하는가?")
3. 전략·관리 세부 (예: "AI 에이전트의 해외 확장을 책임지는 팀원은?")
4. 재무·운영 지표 (예: "Granter.ai는 얼마의 자금을 조달했는가?")
5. 확장성·임팩트 (예: "무엇이 Granter.ai 솔루션을 여러 부문으로 확장 가능하게 하는가?")

각 질문에는 신청서에서 추출한 참조 답변을 짝지어 정답 데이터셋을 구성했고, 이는 정성적 비교(완결성·사실성)와 정량적 평가에 모두 사용됩니다.

4.3 Evaluation Procedure

각 검색 방법은 동일한 20개 질문으로 평가되며, 답변 품질 평가에는 수동 범주형 평가 프레임워크가 채택됩니다. 생성된 모든 답변을 정답과 비교해 다음 네 범주 중 하나로 분류합니다.

• Correct: 사실 내용과 완결성 모두에서 정답과 완전히 일치
• Incomplete: 부분적이지만 정확한 정보를 담되, 정답에 있는 관련 세부를 누락
• False/Wrong: 코퍼스가 뒷받침하지 않는 부정확·오도성 정보 포함
• "I don't know": 모델이 정보 부족을 명시하거나 답변을 거부

이 정성적 평가는 출력이 부분적으로만 맞거나 추측을 회피할 수 있는 지식 집약 과제에서 RAG 시스템의 성능 특성을 정확히 포착합니다. 틀린 답(False)과 모름(I don't know)을 구분한다는 점이 중요한데, 이는 환각의 정도를 식별하게 해 줍니다.

챕터의 핵심 기여: 단일 변수 통제를 평가 단계에서도 관철하는 4범주 수동 채점 체계. 특히 "모름"을 별도 범주로 둔 것이 환각 분석을 가능하게 합니다.

다음 챕터로의 연결: 이 채점 체계로 산출된 6개 구성의 실제 수치가 5장 Results에 제시됩니다.

📖 Chapter 5: Results

챕터의 위치와 역할: 모든 설계가 수렴하는 결론부입니다. 6개 구성의 채점 결과를 제시하고(5.1) 핵심 통찰을 비교 분석(5.2)합니다.

5.1 Overview

6개 구성의 결과는 각 평가 범주(Correct, Incomplete, False/Wrong, "I don't know")에 속한 답변 수로 보고됩니다(논문 Figure 4). 논문 부록(Table 1)은 각 방법의 답변 산출 파일을 함께 명시해, 어떤 답이 어느 범주로 분류되었는지 추적 가능하도록 했습니다.

5.2 Key Insights and Comparative Evaluation

저자의 분석 순서를 그대로 따르면 다음과 같습니다.

1. 최고 성능군 — 90% 동률: GraphRAG와 청크를 포함한 두 온톨로지 KG(RDB·텍스트)가 각각 20문항 중 18문항 정답(90%)으로 최고 정확도를 기록했고, 오답 1개와 "모름" 1개뿐이었습니다. 텍스트 세그먼트를 그래프 구조에 직접 통합하면 온톨로지 제약 KG가 최신 프레임워크 성능에 도달할 수 있음을 보입니다.
2. 청크 없는 온톨로지 KG의 부진: 청크 정보가 없는 온톨로지 그래프는 현저히 나빴습니다. Text Ontology KG는 정확도 15%(3/20)에 Incomplete 30%, RDB Ontology KG는 정확도 20%(4/20)에 미응답 45%였습니다. 노드에 텍스트 청크를 더하는 것이 사실적 근거와 완결성을 크게 향상시키며, 구현 복잡도는 늘지 않음을 시사합니다.
3. Vector RAG 베이스라인: 정확도 60%(12/20)에 Incomplete 20%로, 임베딩 기반 검색이 여전히 신뢰할 만하지만 그래프 기반 방법의 관계적 추론 능력에는 못 미침을 확인합니다.
4. 종합: 청크 통합은 모든 구성에서 일관되게 정확도·완결성을 높였습니다. 상징적 구조(온톨로지)와 맥락적 텍스트 세그먼트(청크)의 결합이 정확한 추론에 결정적이며, 온톨로지 기반 하이브리드 그래프 표현의 가치를 강조합니다.

챕터의 핵심 기여: "청크 결합 여부"가 온톨로지 KG의 성패를 가르는 단일 결정 요인이며, 청크를 넣으면 RDB·텍스트 온톨로지가 모두 GraphRAG와 동률에 도달한다는 실증.

다음 챕터로의 연결: 이 결과를 Conclusion이 비용·유지보수 관점의 실무적 함의로 확장하고, Future Work가 일반화를 위한 과제를 제시합니다.

📖 Chapter 6: Conclusion & Future Work

챕터의 위치와 역할: 5장의 실험 수치를 비용·유지보수 차원의 실무적 함의로 끌어올리는 마무리 장입니다. 논문은 이를 Conclusion과 Future Work 두 절로 분리해 제시합니다.

Conclusion

저자들은 KG를 구축하는 방식이 검색 정확도와 생성 품질 모두에 유의한 영향을 미친다고 결론짓습니다. 특히 텍스트 청크 정보를 통합한 온톨로지 기반 접근이 최고 성능을 달성하면서, 높은 해석 가능성과 최소한의 환각을 유지했습니다.

핵심 발견은 정적 RDB에서 추출한 온톨로지와 정렬한 KG가, 동적 텍스트 코퍼스에서 유도한 온톨로지에 필적하는 성능을 낸다는 것입니다. 이 접근법은 두 가지 실무적 이점을 가집니다.

1. 일회성 학습: 관계형 스키마는 시간이 지나도 안정적이므로 온톨로지 학습을 한 번만 수행하면 되어, 반복적 LLM 추론에 드는 연산 비용을 크게 줄입니다.
2. 병합 프레임워크 불필요: 텍스트 기반 학습은 새 문서마다 중복·충돌 엔티티가 생겨 정교한 병합·정렬 파이프라인이 필요합니다. 반면 DB 유래 온톨로지는 안정적 스키마를 제공해 도메인 온톨로지의 유지·갱신을 단순화합니다.

종합하면, RDB 온톨로지 추출은 안정적이고 정형화된 데이터 소스를 가진 산업에서 상징적 구조를 RAG 파이프라인에 통합하는 확장 가능하고 비용 효율적인 해법입니다. 다만 저자들은 이 결론이 제한된 데이터셋에 기반한 경험적 연구임을 분명히 하며, 다양한 도메인과 더 큰 데이터셋에서의 추가 검증이 필요하다고 명시합니다.

Future Work

논문은 가장 중요하다고 보는 세 가지 향후 과제를 제시합니다.

• 더 큰 코퍼스에서 텍스트 vs RDB 온톨로지 비교: 더 크고 다양한 코퍼스에서 두 방식을 비교해, 특히 연산 비용 측면에서 RDB 기반 온톨로지의 비용 우위를 더 정밀하게 정량화하면서 복잡한 데이터셋에서도 성능이 유지되는지 확인합니다.
• 다양한 산업으로의 확장성: 텍스트 데이터가 더 동적이고 계속 증가하는 맥락에서도 RDB·텍스트 온톨로지 기반 KG의 성능이 여전히 유사한지 탐구해, 안정적·동적 데이터 환경이 검색 성능에 미치는 영향을 명확히 합니다.
• RAG용 RDB 온톨로지 학습 심화: RDB로부터의 온톨로지 학습을 RAG 시스템에 맞게 더 깊이 파고들어, 다양한 산업 환경에 맞게 이 과정을 최적화·일반화하는 방법을 연구합니다.

챕터의 핵심 기여: 실험 수치를 "성능 동등 + 비용·유지보수 우위"라는 의사결정 프레임으로 번역하고, 일반화를 위한 구체적 연구 로드맵을 제시.

다음 챕터로의 연결: 이상의 6개 챕터로 논문 본문이 마무리됩니다. 이어지는 두 섹션에서는 실험 수치를 정량 중심으로 재분석하고, 분야 전반에 대한 함의를 정리합니다.

실험 결과 심층 분석

실험 논문인 만큼 5장 결과를 정량 수치 중심으로 다시 한번 깊게 분석합니다.

6개 구성별 정확도 종합

논문 5.2절에 보고된 수치를 정리하면 다음과 같습니다(전체 20문항 기준). 빈칸은 논문이 명시하지 않은 항목입니다.

베이스라인 대비 비교

Vector RAG(60%)는 견고한 하한선입니다. 임베딩 기반 검색만으로도 절반 이상을 맞추며, 단일 홉·사실 조회형 질의에서는 충분히 신뢰할 만합니다. 그러나 관계적·다중 홉 추론이 필요한 질의에서 한계를 드러내며, 청크를 결합한 그래프 기반 구성들에 30%포인트나 뒤처집니다.

GraphRAG(90%)는 최신 기준선입니다. 별도 튜닝 없이 기본 설정으로 돌렸음에도 최고 성능군에 속합니다. 주목할 점은 청크를 결합한 온톨로지 KG가 이 GraphRAG와 정확히 동률을 이뤘다는 것입니다. 즉 의도적으로 단순화한 휴리스틱 검색기(GNN 없는 PCST)를 쓰고도, 잘 설계된 온톨로지 제약 KG에 청크를 결합하면 최신 프레임워크에 도달할 수 있습니다.

RDB vs 텍스트 온톨로지 비교

이 논문의 두 번째 핵심 주장입니다. 청크를 결합한 조건에서 RDB 온톨로지와 텍스트 온톨로지는 둘 다 90%로 완전히 동등했습니다. 청크가 없는 조건에서는 RDB(20%)가 텍스트(15%)보다 근소하게 높았으나, 두 경우 모두 실용 수준에 한참 못 미치는 낮은 정확도였습니다. 결론적으로 온톨로지 출처(RDB냐 텍스트냐)는 성능을 가르는 결정 요인이 아니며, 진짜 결정 요인은 청크 결합 여부입니다. 이 동등성이 곧 RDB 온톨로지의 비용·유지보수 우위(아래)를 실용적 권고로 만들어 줍니다.

청크 결합의 효과

가장 극적인 발견입니다. 동일한 온톨로지·검색기를 쓰고 청크 결합 여부만 바꿨을 때의 변화를 보면 그 효과가 단일 변수로서 얼마나 강력한지 드러납니다.

엔티티·관계만 있는 순수 KG는 사실적 근거가 부족해 "모름"·미응답·불완전 답변이 양산됩니다(RDB 미응답 45%, 텍스트 Incomplete 30%). 노드에 원문 청크를 붙이는 단순한 조작 하나가 정확도를 15~20%에서 90%로 끌어올리며, 논문은 이것이 구현 복잡도를 거의 늘리지 않는다는 점을 거듭 강조합니다. 비용 대비 효과가 가장 확실한 지점입니다.

실패 사례와 한계 상황

채점 범주별 분포가 실패의 성격을 드러냅니다. 청크 없는 RDB KG의 대표적 실패 양상은 미응답("모름") 45%로, 그래프에 답을 구성할 사실 정보 자체가 부족해 모델이 답변을 회피한 경우입니다. 반면 청크 없는 텍스트 KG는 Incomplete 30%가 두드러져, 부분적으로만 맞는 답을 내놓는 경향이 강했습니다. 흥미롭게도 두 경우 모두 False/Wrong(환각)은 두드러지지 않았는데, 이는 온톨로지 제약 구조가 부정확한 답을 지어내기보다 모르면 회피하거나 불완전하게 답하도록 유도했음을 시사합니다. 최고 성능군조차 완벽하지는 않아 오답 1건과 모름 1건이 남았습니다.

비용 측면 분석

논문이 Conclusion에서 강조하는 RDB 온톨로지의 두 가지 실무적 이점이 비용 분석의 핵심입니다.

• 일회성 온톨로지 학습: 관계형 스키마는 시간이 지나도 안정적이므로 온톨로지 학습을 단 한 번만 수행하면 됩니다. 텍스트 기반 방식이 새 문서마다 LLM 추론을 반복해야 하는 것과 대조적으로, 반복적 LLM 추론에 드는 연산 비용을 크게 절감합니다.
• 온톨로지 병합 불필요: 텍스트 기반 학습에서는 새 문서가 추가될 때마다 중복·충돌 엔티티가 생겨 정교한 병합·정렬 파이프라인이 필요합니다. 반면 DB 유래 온톨로지는 안정적 스키마를 제공해 도메인 온톨로지의 유지·갱신을 단순화합니다.

성능이 동등하다면(위 RDB vs 텍스트 비교), 이 비용·유지보수 우위 때문에 안정적이고 정형화된 데이터 소스를 가진 산업에서는 RDB 온톨로지가 확장 가능하고 비용 효율적인 선택이 됩니다. 다만 논문은 구체적인 토큰 수나 $ 단위 금액을 제시하지는 않고, 정량적 비용 우위 측정을 향후 과제로 남깁니다.

재현성

연구진은 코드를 공개했습니다(github.com/tiagocrz/KGs_for_Vertical_AI). 다만 평가 코퍼스가 Granter.ai의 실제 보조금 신청서 단일 문서이고, 채점이 LLM 자동 평가가 아닌 수동 범주 분류라는 점에서 평가 자체의 대규모 재현에는 제약이 있습니다. 논문 부록은 각 방법의 출력 결과 파일(rag_results.txt, rdb_chunks_results.txt, test_queries_groundtruth.txt 등)을 명시해 답변 단위 검증 가능성을 일부 제공합니다.

기술적 함의와 응용

분야에 미치는 영향. 이 연구는 "그래프 RAG가 벡터 RAG보다 낫다"는 막연한 통념을 한 단계 정교화합니다. 진짜 결정 요인은 그래프냐 벡터냐가 아니라, 그래프 노드에 원문 맥락(청크)을 붙였는가입니다. 상징적 구조와 맥락적 텍스트를 결합한 하이브리드 표현이 정확한 추론의 핵심이라는 메시지는, 그래프 RAG를 설계하는 실무자에게 즉시 적용 가능한 지침입니다.

다른 연구 영역으로의 확장. RDB 온톨로지 학습을 RAG에 본격 도입한 것은 비교적 새로운 시도로, 안정적 스키마를 가진 정형 데이터 자산(ERP, CRM, 사내 DB)을 보유한 조직에 특히 함의가 큽니다. 텍스트에서 매번 온톨로지를 재학습·병합하는 대신, 스키마에서 한 번 뽑은 온톨로지로 KG의 골격을 고정하고 청크로 살을 붙이는 전략이 가능합니다.

실제 산업 적용 시 고려사항. 실무에 바로 가져갈 교훈은 두 가지입니다. 첫째, 그래프 RAG를 한다면 "엔티티+관계"에서 멈추지 말고 노드에 원문 청크를 반드시 결합하십시오. 이 단순한 추가가 정확도를 15~20%에서 90%로 끌어올립니다. 둘째, 안정적 RDB 스키마를 가진 조직이라면 텍스트 대신 DB 스키마에서 온톨로지를 추출하는 편이 성능 손실 없이 훨씬 경제적입니다.

향후 연구 방향. 논문이 명시한 세 가지 향후 과제(더 큰 코퍼스 비교, 산업별 확장성, RAG용 RDB 온톨로지 학습 심화)는 위 Chapter 6에서 상술했습니다. 공통된 전제는, 본 연구가 단일·소규모 데이터셋(문서 1건, 질문 20개)에 기반한 경험적 연구이므로 일반화를 위해 더 다양한 도메인과 더 큰 데이터셋에서의 검증이 필요하다는 점입니다.

TrendHacker와의 접점. TrendHacker의 태그 파이프라인 역시 결정론적으로 엔티티를 추출해 공출현 그래프(co-occurrence graph)를 구성합니다. 이 논문의 교훈은 곧, 엔티티·관계만으로 이루어진 그래프에 원문 맥락(청크)을 결합할 때 다운스트림 활용도가 비약적으로 높아진다는 점입니다. 향후 그래프 위에 검색·질의응답 레이어를 얹을 때 직접적인 설계 시사점이 됩니다.