Basic RAG + Advanced RAG(Hybrid Search & Re-ranking)

개요

3주차에서 구축한 RAG Indexing 파이프라인에 Generation을 연결하여 end-to-end RAG를 완성하고, Naive(Basic) RAG의 검색 한계를 넘어서는 Advanced RAG 기법을 학습하고 실습한다. 이번 시간의 이론 내용으로는 Parent-Child 방식, Hybrid Search, Re-ranking, 메타데이터 필터링 / 컨텍스트 압축을 조사하고, 실습에서는 다년도 문서를 다루는 RAG 시스템을 직접 구축한 뒤, 테스트 결과를 정리한다.

---

1. Advanced RAG

정의 :

Naive RAG(Basic RAG)의 단순한 검색 -> 생성 파이프라인을 개선해서, 검색 전 / 중 / 후 단계에 다양한 기법을 추가한 고도화된 RAG이다.

 

구성요소 : 

Pre-retrieval (검색 전) 쿼리를 더 잘 검색되도록 가공

• Query Rewriting (쿼리 재작성)
• Query Expansion (쿼리 확장)
• HyDE (가상 문서 생성 후 검색)

Retrieval (검색 중) 검색 자체를 고도화

• Hybrid Search (BM25 + 벡터)
• Parent-Child Chunking
• Reranker (Cross-encoder)

Post-retrieval (검색 후) 검색 결과를 LLM에 넘기기 전에 정제

• Context Compression (불필요한 내용 압축)
• Reranking (최종 순위 재조정)
• Context Selection (관련 청크만 선별)

---

2. 필요 개념 정리

1) Parent Child Chunking

일반 청킹의 문제점 : 

일반 청킹은 문서를 일정한 크기로 잘라서 그대로 검색하고 LLM에 넘긴다.

여기서 두 가 지 트레이드오프가 생긴다.

• 청크가 작으면 -> 검색 정확도는 높아지지만, LLM에 전달되는 문맥이 너무 적음
• 청크가 크면 -> 문맥은 풍부하지만, 검색 정확도가 떨어짐

Parent-Child Chunking 이란 :

이 딜레마를 해결하기 위해 청크를 두 가지 단위로 분리하는 방식이다.

 

역할	크기	하는일
Child 청크	작음	검색(Retrieval)에 사용
Parent 청크	큼	LLM에 전달하는 문맥으로 사용

 

 

흐름 :

1. 문서를 큰 단위(Parent)로 나눔
2. Parent를 다시 작은 단위(Child)로 나눔
3. Child 청크를 벡터 DB에 저장해 검색에 활용
4. 검색된 Child가 속한 Parent 청크를 LLM에 전달

 

2) Hybrid Search

정의 : 

벡터 검색 (Semantic Search)과 키워드 검색(BM25)을 결합하여 의미 이해와 정확한 키워드 매칭을 동시에 달성하는 검색 방식이다. 

 

BM25 이란

쿼리의 단어가 문서에 얼마나 자주, 얼마나 희귀하게 등장하는지를 점수로 계산해서 관련성을 측정하는 알고리즘이다.

 

BM25 핵심 구성 3가지

1. TF(Term Frequency) - 단어 등장 빈도 : 쿼리의 단어가 문서에 많이 나올수록 점수가 올라간다. 근데 BM25는 단순 TF와 달리 빈도가 높아질수록 점수 증가폭이 줄어든다.
2. IDF(Inverse Document Frequency) - 단어 희귀도 : 전체 문서에서 흔한 단어("그리고", "the")는 점수를 낮추고, 희귀한 단어는 점수를 높인다.
3. 문서 길이 정규화 : 긴 문서는 단어가 많이 등장할 확률이 자연히 높으니까, 문서 길이를 보정해서 짧은 문서가 불리하지 않게 만든다.

 

벡터 검색 vs BM25 vs Hybrid 장단점

검색 방식	강점	약점
벡터 검색 (Semantic)	의미•맥락 이해, 표현 달라도 검색	정확 키워드 매칭 약함, 전문 용어 취약
BM25 (Keyword)	정확한 키워드•전문 용어에 강함, 빠름	의미 이해 불가, 동의어•유사 표현 놓침
Hybrid (결합)	두 방식 장점 모두 확보, 높은 재현율 + 정밀도	구현 복잡, 가중치 튜닝 필요

 

 

결합 방식

방식	설명	특징
RRF(Reciprocal Rank Fusion)	각 검색의 순위를 기반으로 점수 계산 후 병합	튜닝 불필요, 안정적
가중치 기반 Linear Combination	각 점수를 정규화 후 가중치로 병합	세밀한 제어 가능, 튜닝 필요

 

RRF 계산 방법

score = Σ weight_i / (rank_i + k)   # k=60 default

 

3) Re-ranking 

정의 :

1차 검색으로 뽑은 후보 문서들을 더 정밀한 모델로 다시 순위를 매기는 과정. 빠른 검색(재현율)과 정확한 순위(정밀도)를 분리하여 두 마리 토끼를 모두 잡는 전략

 

Bi-encoder vs Cross-encoder 핵심 비교

구분	Bi-encoder	Cross-encoder
정의	질문•문서를 각각 독립 인코딩 후 코사인 유사도 비교	질문•문서를 하나의 입력으로 합쳐 트랜스포머에 동시 통과
입력 방식	Query -> 벡터 / Document -> 벡터 -> 코사인 비교	쿼리와 Document -> 유사도 점수 출력
속도	빠름(문서 임베딩 사전 계산 가능)	느림(쿼리마다 전체 추론 필요)
정확도	보통(의미를 하나의 벡터로 압축 -> 정보 손실)	높음(질문•문서 토큰이 직접 상호작용)
확장성	수백만 문서에도 사용가능	소수 후보에만 적용 가능
사용 위치	1단계 : 대규모 후보 검색	2단계 : 후보 정밀 재순위

 

 

4) 메타데이터 필터링과 컨텍스트 압축

기법 - 1 : 메타데이터 필터링

청크에 부착된 구조적 속성(출처, 날짜, 카테고리 등)을 기준으로 벡터 유사도 검색 이전에 검색 범위를 좁히는 기법

 

필요한 이유 :

표준 RAG 파이프라인은 모든 문서를 하나의 공유 벡터 공간에 임베딩한다. 사용자가 질문을 했을 때 검색기는 코사인 유사도로 모든 청크를 평가해 상위 k를 반환한다. 만약 인덱스에 3년치 정책 문서가 있다면, 유사도 0.91 구버전이 유사도 0.87인 최신 문서보다 먼저 반환할 수 있다.

 

def filter_by_year(docs, source_year):
    filtered = [d for d in docs if d.metadata.get("source_year", "") == source_year]
    return filtered if filtered else docs

 

 

기법 - 2 : 컨텍스트 압축

검색된 청크 전체를 그대로 LLM에 넘기지 않고, 질문과 관련된 문장•구절만 추출•압축하여 전달하는 기법

 

필요한 이유 :

검색의 문제는 데이터를 인덱싱할 때 시스템이 어떤 쿼리를 받을지 미리 알 수 없다. 따라서 쿼리와 가장 관련 있는 정보가 관련 없는 텍스트가 대량으로 포함된 문서 속에 묻혀 있을 수 있다. 이 전체 문서를 그대로 전달하면 LLM 호출 비용이 높아지고 응답 품질이 낮아질 수 있다.

 

[원본 청크: 500 tokens]  →  [압축 후: 120 tokens, 핵심 내용만]

---

 

3 실습 환경 및 전략

1) 실행 환경 및 사용 모델

 

항목	내용
언어	Python 3.14
프레임워크	LangChain
LLM	gpt-4o-mini
임베딩 모델	text-embedding-3-small
Re-ranker	BAAI/bge-reranker-v2-m3 (로컬, sentence-transformers)
벡터 저장소	FAISS
Hybrid Search	FAISS (Dense Vector) + BM25Retriever (Sparse, langchain-community)

 

2) 인덱싱 전략

PDF 문서를 마크다운 형식으로 변경

PDF 파싱 시 표 구조가 손실되는 문제를 방지하기 위해 25,26년 자료를 각각 마크다운으로 변환했다.

 

Parent-Child 청킹 구조

각 child chunk의 메타데이터에 source_year, parent_id, parent_content를 저장하여 검색 시 child로 찾고, LLM에는 parent_content를 전달하는 Parent-Child 구조를 채택했다.

metadata = {
    "source_year": "2025",       # 년도 필터링 기준
    "parent_id": "2025_p0",      # 중복 parent 제거용
    "parent_content": "...",     # LLM에 전달할 넓은 컨텍스트
}

 

 

청크 크기 실험

초기 설정(c300_p1500)에서 정확도가 낮아 청크 크기를 확대(c1000_p3000)하여 재실험했다.

구분	child chunk	parent chunk	비고
초기 (c300_p1500)	300자, overlap 50자	1500자, overlap 100자	HTML 표 행 분절 문제 발생
개선 (c1000_p3000)	1000자, overlap 80자	3000자, overlap 150자	HTML 표 행 단위 의미 보존

 

4) Golden Dataset 설계

구분	문항 수	source_year
2025년 전용 (easy/medium/hard)	8문항	2025
2026년 전용 (easy/medium/hard)	8문항	2026
cross-year (2025 기준)	2문항	2025+2026
cross-year (2026 기준)	2문항	2025+2026
합계	20문항

 

cross-year 설계 의도: CT 검사 본인부담금(2025년 500원 → 2026년 5%)과 항정신병 장기지속형 주사제 본인부담률(2025년 5% → 2026년 2%)처럼 연도 간 수치가 바뀐 항목을 쌍으로 구성했다. 동일 질문 구조에서 년도만 달리하여 RAG 시스템의 년도 구분 능력을 직접 평가할 수 있다.

---

 

4. 실습 과제 예측

1. 년도 혼동이 가장 많이 발생할 질문 유형

예측 2025년과 2026년 문서 구조가 유사한 항목, 특히 본인부담률 표 형식이 동일한 항목에서 년도 혼동이 많이 발생할 것으로 예측했다. 추나요법, 정신질환 외래처럼 두 문서에 동일한 키워드가 반복되는 항목이 취약할 것으로 봤다.

실제 결과 예측이 맞았다. q15(복잡추나 2026)에서 2025 청크만 반환되는 년도 혼선이 발생했다. BM25가 키워드 매칭으로 두 연도의 유사 문서를 동시에 끌어오는 경우가 많았고, Hybrid Only 방식에서 년도 혼선이 가장 빈번했다.

2. Hybrid Search가 가장 효과를 볼 질문 유형

예측 "복잡추나", "선택의료급여기관", "장기지속형 주사제"처럼 도메인 고유 용어가 포함된 질문에서 BM25의 키워드 매칭이 벡터 검색을 보완할 것으로 예측했다.

실제 결과 부분적으로 맞았다. Hybrid + Re-ranking (c1000_p3000, no filter)가 70%로 가장 높은 정답률을 보였지만, Hybrid Only 단독은 30%로 Basic RAG(40%)보다 낮았다. Re-ranking 및 청크 크기와의 조합에서 효과가 나타났다.

3. Re-ranking이 결과를 개선 또는 악화시키는 경우

예측 Re-ranking이 전반적으로 정답률을 높일 것으로 예측했다. 다만 후보 풀이 적거나 관련 청크 자체가 없을 경우 오히려 노이즈 청크를 상위로 올릴 수 있다고 봤다.

실제 결과 예측이 맞았다. Hybrid Only(30%) → Hybrid + Re-ranking no_filter(45%)로 15%p 상승해 Re-ranking 효과는 유효했다. 반면 년도 필터링 후 후보 풀이 줄어든 상태에서 Re-ranking을 적용한 year_filter 버전은 30%로 악화됐다(q03, q14, q20).

4. 메타데이터 필터링의 년도 혼동 해결 효과

예측 메타데이터 필터링이 년도 혼동을 완전히 제거할 수 있을 것으로 예측했다. 다만 필터링으로 후보 풀이 좁아져 관련 청크 자체가 탈락하는 부작용이 있을 수 있다고 봤다.

실제 결과 예측이 정확했다. year_filter 버전은 년도 혼선 0%를 달성했지만, 정답률은 30%로 가장 낮았다. 필터가 후보 풀을 좁혀 관련 청크가 탈락하는 역효과가 실제로 발생했다.

---

5. 실습 테스트 결과 비교

Step 1: Basic RAG

파이프라인 구성

질문 → FAISS 벡터 검색 (Top-3) → parent_content 컨텍스트 구성 → LLM → 답변

 

• Retriever: vectorstore.similarity_search(question, k=3)
• LLM: gpt-4o-mini, temperature=0
• 프롬프트: 컨텍스트에 [출처 년도: YYYY]를 명시하여 LLM이 년도를 인식하도록 구성

아래 컨텍스트를 바탕으로 질문에 답하세요.
각 컨텍스트에는 출처 년도가 표시되어 있습니다. 질문이 특정 년도를 묻는 경우 해당 년도의 정보만 사용하세요.
컨텍스트에 없는 내용은 "정보를 찾을 수 없습니다"라고 답하세요.
답변은 핵심 값만 간결하게 답하세요.

 

결과

항목	값
전체 정답률	8 / 20 (40%)

문항별 결과

질문ID	난이도	source_year	검색된 청크 포함 여부	년도 분석	LLM 생성 답변	정답 여부	오답 원인
q01	easy	2025	X	Top1 역전 (Top1=2026, Top3에 2025 포함)	정보를 찾을 수 없습니다	오답	1종 의원 외래 본인부담금 청크 미검색
q02	easy	2025	O	혼선 없음 (Top1~3 모두 2025)	5%	정답
q03	easy	2025	O	혼선 없음 (Top1=2025, Top2 혼재)	0% (무료)	정답
q04	medium	2025	O	혼선 없음 (Top1=2025, Top2 혼재)	입원 본인부담률은 3%이며, 식대 본인부담률은 20%입니다	정답
q05	medium	2025	X	Top1 역전 (Top1=2026, Top2·3에 2025 포함)	정보를 찾을 수 없습니다	오답	복잡추나 관련 청크 미검색
q06	medium	2025	X	Top1 역전 (Top1·2=2026, Top3=2025)	정보를 찾을 수 없습니다	오답	조현병 외래 본인부담률 청크 미검색
q07	hard	2025	X	Top1 역전 (Top1=2026, Top2=2025)	정보를 찾을 수 없습니다	오답	치매 입원 5% 청크 미검색, 식대 청크만 검색
q08	hard	2025	X	혼선 없음 (Top1=2025, Top2 혼재)	정보를 찾을 수 없습니다	오답	상한일수 초과 본인부담률 청크 미검색
q09	cross-year	2025+2026	X	cross-year, 2026 편향 (Top1~3 모두 2026)	정보를 찾을 수 없습니다	오답	CT 검사 본인부담금 청크 미검색
q10	cross-year	2025+2026	O	cross-year 혼재 (허용 범위)	5%	정답
q11	easy	2026	O	Top1 역전 (Top1=2025, Top2=2026)	1,500~2,000원	정답
q12	easy	2026	O	Top1 역전 (Top1=2025, Top2·3=2026)	20%	정답
q13	easy	2026	X	혼선 없음 (Top1·2=2026, Top3 혼재)	정보를 찾을 수 없습니다	오답	제왕절개 분만 입원 청크 미검색
q14	medium	2026	O	Top1 역전 (Top1·2=2025, Top3=2026)	6세 이상 15세 이하 아동인 경우 입원 본인부담률은 3%입니다	정답
q15	medium	2026	X	전체 편향 (Top1~3 모두 2025, 연도 혼선)	정보를 찾을 수 없습니다	오답	2026년 복잡추나 청크 미검색, 2025년 청크만 반환
q16	medium	2026	O	혼선 없음 (Top1=2026, Top2 혼재)	총 진료비의 15%	오답	LLM이 15%로 오답 (정답 5%)
q17	hard	2026	X	혼선 없음 (Top1=2026, Top2 혼재)	정보를 찾을 수 없습니다	오답	MRI 외래 본인부담률 청크 미검색
q18	hard	2026	X	Top1 역전 (Top1=2025, Top2=2026)	정보를 찾을 수 없습니다	오답	상한일수 초과 입원 청크 미검색
q19	cross-year	2025+2026	X	cross-year 혼재 (허용 범위)	정보를 찾을 수 없습니다	오답	CT 본인부담률 청크 미검색
q20	cross-year	2025+2026	O	cross-year 혼재 (허용 범위)	2%	정답
합계						8/20 (40%)

년도 혼동 분석

올바른 주제를 검색했지만 다른 년도의 청크를 가져온 경우를 별도로 분석합니다.

항목	값
올바른 년도 검색 성공률	7 / 16 (44%) — 단일 년도 16문항 기준, Top1이 정답 년도인 경우
년도 혼동으로 인한 오답 수	6건 (q01·q05·q06·q07·q15·q18)
년도 혼동 있으나 정답	3건 (q11·q12·q14 — 2025/2026 내용 동일하여 정답 도출)
주요 년도 혼동 패턴	2025/2026 동일 정책 항목에서 임베딩 포화 발생 — 두 청크의 벡터가 거의 동일해져 연도 구분 불가

2주차 대비 비교

방식	정답률	비고
2주차 Zero-shot (전체 데이터 in system prompt)	83%
2주차 최고 성능 기법	92%	Few-shot
4주차 Basic RAG	40%

 

Step 2: Advanced RAG (Hybrid Search + Re-ranking, 년도 필터링 없음)

파이프라인 구성

질문 → FAISS (Top-5) + BM25 (Top-5) → 합쳐서 최대 10개
     → Re-ranking (상위 3개) → parent_content 컨텍스트 구성 → LLM → 답변

 

설정값

항목	설정값
BM25 Retriever k	5
Vector Retriever k	5
Ensemble 방식	RRF (Reciprocal Rank Fusion)
RRF 가중치 (vector : BM25)	0.5 : 0.5
Re-ranker 모델	BAAI/bge-reranker-v2-m3
Re-ranking 후 최종 Top-K	3
메타데이터 필터링	없음

 

주요 설계 결정:

• Re-ranker 입력을 child chunk(300자) 대신 parent_content(1500자) 기준으로 스코어링 → 짧은 chunk로 인한 컨텍스트 손실 방지
• 년도 필터링 미적용 → Re-ranking이 연도 혼선을 자연스럽게 보정하는지 검증
• BM25는 매 실행 시 메모리에서 재구성 (FAISS는 지속 활용)

결과

항목	값
전체 정답률	9 / 20 (45%)

문항별 결과

질문ID	난이도	source_year	검색 방식	색 결과 포함 여부	년도 분석	LLM 생성 답변	정답 여부
q01	easy	2025	Hybrid	X	Top1 역전 (Top1·2=2026, Top3=2025)	정보를 찾을 수 없습니다	오답
q02	easy	2025	Hybrid	O	혼선 없음 (Top1~3 모두 2025)	5%	정답
q03	easy	2025	Hybrid	X	전체 편향 (Top1~3 모두 2026)	정보를 찾을 수 없습니다	오답
q04	medium	2025	Hybrid	O	혼선 없음 (Top1·2=2025, Top3=2026 혼재)	입원 본인부담률은 3%이며, 식대 본인부담률은 20%를 적용받습니다	정답
q05	medium	2025	Hybrid	X	Top1 역전 (Top1·2=2026, Top3=2025)	정보를 찾을 수 없습니다	오답
q06	medium	2025	Hybrid	O	Top1 역전 (Top1=2026, Top2=2025)	15%	오답
q07	hard	2025	Hybrid	X	Top1 역전 (Top1·2=2026, Top3=2025)	정보를 찾을 수 없습니다	오답
q08	hard	2025	Hybrid	X	Top1 역전 (Top1=2026, Top2=2025)	정보를 찾을 수 없습니다	오답
q09	cross-year	2025+2026	Hybrid	X	cross-year, 2026 편향 (Top1~3 모두 2026)	정보를 찾을 수 없습니다	오답
q10	cross-year	2025+2026	Hybrid	O	cross-year 혼재 (Top1·2=2026, Top3=2025)	5%	정답
q11	easy	2026	Hybrid	O	혼선 없음 (Top1=2026, Top2=2025 혼재)	1,500~2,000원입니다	정답
q12	easy	2026	Hybrid	O	혼선 없음 (Top1=2026, Top2=2025 혼재)	20%입니다	정답
q13	easy	2026	Hybrid	X	혼선 없음 (Top1·2=2026, Top3=2025 혼재)	정보를 찾을 수 없습니다	오답
q14	medium	2026	Hybrid	O	Top1 역전 (Top1·2=2025, Top3=2026)	입원 본인부담률은 3%이며, 식대 본인부담률은 20%를 적용받습니다	정답
q15	medium	2026	Hybrid	X	Top1 역전 (Top1=2025, Top2·3=2026)	정보를 찾을 수 없습니다	오답
q16	medium	2026	Hybrid	O	혼선 없음 (Top1=2026, Top2·3=2025 혼재)	15%	오답
q17	hard	2026	Hybrid	O	전체 편향 (Top1~3 모두 2025, 내용 동일로 정답)	총 진료비의 15%입니다	정답
q18	hard	2026	Hybrid	O	혼선 없음 (Top1·2=2026, Top3=2025 혼재)	20%	정답
q19	cross-year	2025+2026	Hybrid	O	cross-year 혼재 (Top1·2=2026, Top3=2025)	5%	정답
q20	cross-year	2025+2026	Hybrid	X	cross-year, 2026 편향 (Top1~3 모두 2026)	정보를 찾을 수 없습니다	오답
합계							9/20 (45%)

 

Step 3: Basic RAG vs Advanced RAG 비교 분석

두 파이프라인의 성능을 비교하고 어떤 차이가 나는지 분석합니다.

 

3-1. 정답률 비교 테이블

방식	전체 정답률	easy(6문항)	medium(6문항)	hard(4문항)	cross-year(4문항)	년도 혼동 오답 수
Basic RAG (벡터 검색만)	8/20 (40%)	4/6	2/6	0/4	2/4	6건
Advanced RAG (Hybrid + Re-ranking, no filter)	9/20 (45%)	3/6	2/6	2/4	2/4	5건

3-2. 문항별 변화 분석

질문 ID	Basic RAG	Advanced RAG (no filter)	변화	변화 원인 분석
q01	오답	오답	유지
q02	정답	정답	유지
q03	정답	오답	악화	Re-ranking 후 분만 관련 청크가 탈락, 식대·임플란트 청크로 교체
q04	정답	정답	유지
q05	오답	오답	유지
q06	오답	오답	유지	LLM 치매/조현병 항목 혼동 공통
q07	오답	오답	유지	치매 입원 5% 청크 미검색 공통
q08	오답	오답	유지
q09	오답	오답	유지
q10	정답	정답	유지
q11	정답	정답	유지
q12	정답	정답	유지
q13	오답	오답	유지
q14	정답	정답	유지	양 연도 내용 동일, Top1·2=2025 역전되어도 정답 도출
q15	오답	오답	유지
q16	오답	오답	유지	LLM이 두 방식 모두 15%로 오답
q17	오답	정답	개선	2025/2026 MRI 본인부담률 내용 동일, 연도 혼선에도 정답 도출
q18	오답	정답	개선	Re-ranking에서 2026 상한일수 관련 청크가 상위로 올라옴
q19	오답	정답	개선	CT 본인부담률 정보 도출 성공 (cross-year 혼재 허용)
q20	정답	오답	악화	Basic은 직접 수치 청크 포함, Re-ranking 후 주사제 세부 항목 청크 탈락

3-3. 기법별 기여도 분석

방식	정답률	핵심 변화
Basic RAG (벡터만)	40%	베이스라인
+ Hybrid Search only (RRF)	30%	BM25 부작용으로 오히려 하락
+ Hybrid + Re-ranking (no filter)	45%	Re-ranking이 BM25 혼동 보정

 

Step 4: 청크 크기 비교 실험 (c300_p1500 vs c1000_p3000)

비교 조건: Advanced RAG (Hybrid + Re-ranking, 년도 필터링 없음) 동일 파이프라인에서 청크 크기만 변경

 

정답률 비교

구분	c300_p1500	c1000_p3000	변화
전체	9 / 20 (45%)	14 / 20 (70%)	+25%p
easy (6문항)	4 / 6 (67%)	4 / 6 (67%)	동일
medium (6문항)	2 / 6 (33%)	5 / 6 (83%)	+50%p
hard (4문항)	1 / 4 (25%)	2 / 4 (50%)	+25%p
cross-year (4문항)	2 / 4 (50%)	3 / 4 (75%)	+25%p

문항별 정오답 비교

질문 ID	난이도	c300_p1500	c1000_p3000	변화	원인
q01	easy	정답	정답	유지
q02	easy	정답	정답	유지
q03	easy	오답	오답	유지	분만 면제 정보 양쪽 모두 청크 미포함
q04	medium	정답	정답	유지
q05	medium	오답	정답	개선	c1000에서 선별급여 표 전체 행 포함
q06	medium	오답	정답	개선	c1000에서 정신질환 외래진료 표 온전히 검색
q07	hard	오답	오답	유지	치매 입원 특례 5% 정보 양쪽 모두 미포함
q08	hard	정답	정답	유지
q09	cross-year	오답	오답	유지	CT 본인부담금 직접 수치 청크 미검색
q10	cross-year	정답	정답	유지
q11	easy	정답	정답	유지
q12	easy	정답	정답	유지
q13	easy	오답	오답	유지	분만 면제 정보 양쪽 모두 청크 미포함
q14	medium	오답	오답	유지	필터 없음에도 관련 청크 미검색
q15	medium	오답	오답	유지	복잡추나 2026 청크 양쪽 모두 미검색
q16	medium	오답	오답	유지	LLM 치매/조현병 항목 혼동 (청크 크기 무관)
q17	hard	오답	오답	유지	MRI 외래 세부 청크 미검색
q18	hard	오답	정답	개선	c1000에서 상한일수 관련 청크 확보
q19	cross-year	정답	정답	유지
q20	cross-year	오답	정답	개선	c1000에서 정신질환 외래진료 표 전체 포함
합계		9/20 (45%)	14/20 (70%)	+25%p

 

Step 5: Advanced RAG no_filter vs year_filter 비교

동일한 Hybrid + Re-ranking (c300_p1500) 파이프라인에서 년도 pre-filtering 적용 여부만 달리한 비교

 

정답률 비교

방식	전체	easy (6문항)	medium (6문항)	hard (4문항)	cross-year (4문항)	년도 혼선
Advanced RAG (no filter)	9/20 (45%)	3/6	2/6	2/4	2/4	다수 (BM25 혼동·임베딩 포화 지속)
Advanced RAG (year filter)	6/20 (30%)	3/6	1/6	0/4	2/4	0건 (pre-filtering으로 완전 차단)

 

문항별 변화 (no_filter → year_filter)

질문 ID	no_filter	year_filter	변화	원인 분석
q01	오답	오답	유지
q02	정답	정답	유지
q03	오답	오답	유지
q04	정답	정답	유지
q05	오답	오답	유지
q06	오답	오답	유지
q07	오답	오답	유지
q08	오답	오답	유지
q09	오답	오답	유지
q10	정답	정답	유지
q11	정답	정답	유지
q12	정답	정답	유지
q13	오답	오답	유지
q14	정답	오답	악화	2026 필터 후 후보 풀 축소, Re-ranking에서 관련 청크 탈락
q15	오답	오답	유지
q16	오답	오답	유지
q17	정답	오답	악화	2026 필터 적용 후 관련 청크가 후보 풀에서 탈락
q18	정답	오답	악화	2026 필터 후 상한일수 관련 청크 탈락
q19	정답	정답	유지
q20	오답	오답	유지
합계	9/20 (45%)	6/20 (30%)	-3

년도 혼선 분석

항목	값
no_filter 년도 혼선 발생 문항	q01·q03·q05·q07·q08·q15·q17 등 다수
year_filter 년도 혼선 오답 수	0건 (pre-filtering으로 완전 차단)
주요 패턴	2026 문서 내 '2025년 변경사항' 섹션 BM25 과검색, 2025/2026 동일 정책 임베딩 포화

 

Step 6: 전체 비교 분석

정답률 전체 비교

방식	전체	easy	medium	hard	cross-year
Basic RAG (벡터만)	8/20 (40%)	4/6	2/6	0/4	2/4
Hybrid Only (필터·리랭킹 없음)	6/20 (30%)	3/6	1/6	0/4	2/4
Advanced RAG (no filter, c300_p1500)	9/20 (45%)	4/6	2/6	1/4	2/4
Advanced RAG (year filter, c300_p1500)	6/20 (30%)	3/6	1/6	0/4	2/4
Advanced RAG (no filter, c1000_p3000)	14/20 (70%)	4/6	5/6	2/4	3/4

기법별 기여도

방식	정답률	핵심 변화
Basic RAG (벡터만)	40%	베이스라인
+ Hybrid Search only (RRF)	30%	BM25 부작용으로 오히려 하락
+ Hybrid + Re-ranking (no filter)	45%	Re-ranking이 BM25 혼동 보정
+ Hybrid + Re-ranking + 년도 필터링	30%	필터로 후보 풀 과도 축소
+ Hybrid + Re-ranking + 청크 크기 확대	70%	HTML 표 구조 보존으로 급상승

 

---

6. 인사이트

1. 청킹 전략이 파이프라인보다 우선: 검색 알고리즘(Hybrid, Re-ranking, 필터링)을 모두 조합해도 45%였던 정답률이 청크 크기 변경 하나로 70%까지 올랐다. 의료급여 문서처럼 HTML 표 중심 문서에서는 청크가 표 행 단위를 온전히 담아야 LLM이 항목명과 수치를 함께 확인할 수 있다.
2. Hybrid Search는 Re-ranking과 반드시 함께: BM25가 2026 문서 내 '2025년 변경사항' 섹션 키워드에 과도하게 반응하여 Hybrid Only(30%)는 Basic RAG(40%)보다 낮았다. Re-ranking을 추가하면 쿼리-문서 관련성 재평가로 BM25 부작용이 보정되어 45%로 회복됐다.
3. Re-ranking은 hard 문항 개선에 효과적: Basic RAG에서 0/4였던 hard 문항이 Hybrid + Re-ranking에서 2/4로 개선됐다. 벡터 검색 단독으로 놓쳤던 청크를 BM25 키워드 매칭으로 확보하고, Re-ranking이 관련성 높은 청크를 상위로 올린 결과다.
4. medium 난이도에서 청크 크기 효과 집중: easy는 단순 수치 조회라 c300에서도 충분히 검색됐고, hard는 정보가 여러 청크에 분산되어 크기를 늘려도 한계가 있다. 표 구조가 핵심인 medium(33% → 83%)에서 개선 폭이 가장 컸다.
5. 연도 혼선 제거가 정답률 향상을 보장하지 않는다: year_filter는 연도 혼선을 0%로 줄였지만, 필터링으로 후보 풀이 축소되면서 관련 청크가 탈락하는 부작용이 발생해 정답률이 45% → 30%로 오히려 하락했다. 연도 혼선 제거와 정답률 향상은 별개의 문제이며, 필터링 자체가 정답률 하락의 직접 원인이 될 수 있다.
6. 임베딩 포화는 필터링·Re-ranking으로 해결 불가: 임베딩 포화(두 연도의 문서 내용이 거의 동일할 때 벡터 공간에서 두 청크가 같은 위치에 수렴해 연도 구분 자체가 불가능해지는 현상)는 2025·2026 문서가 동일 정책 내용을 반복 수록할 때 발생하며, 청크 내에 연도 정보를 텍스트로 명시하거나 연도별 별도 인덱스를 구성하는 방식이 근본적인 해결책이 될 수 있다.

---

테스트 깃허브 주소

https://github.com/jasonpark112/aiagent-repo/tree/jasonpark112/week-4/jasonpark112

aiagent-repo/week-4/jasonpark112 at jasonpark112 · jasonpark112/aiagent-repo