Parsing & Cleaning
파싱과 정제
Parsing & Cleaning(파싱과 정제)은 RAG 파이프라인에서 중요한 개념입니다. 외부 문서를 검색해 LLM의 Context에 근거를 공급하는 과정 안에서 이 단계가 받는 입력, 수행하는 처리, 다음 단계로 전달하는 결과를 연결해 이해합니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
파싱과 정제을 단독 용어로 외우지 않고 실제 RAG 파이프라인 시스템에서의 역할과 트레이드오프를 이해해야 설계·디버깅·평가 시 원인을 추적할 수 있습니다.
WHERE IS IT USED?
어디에 사용되나?
검색 증강 생성Enterprise SearchKnowledge QA근거 기반 답변
17.04 CONCEPT VIEW
Parsing & Cleaning
이 Topic은 이후 실제 계산/시각화 학습 시뮬레이션으로 확장됩니다.
QUERY→
EMBED→
RETRIEVE→
RERANK→
CONTEXT→
LLM→
ANSWER
Q · How does RAG reduce hallucination?
#1 CHUNK BGrounding asks the model to answer from supplied context.84%
#2 CHUNK ARAG retrieves external evidence before generation.91%
#3 CHUNK CReranking can improve the order of retrieved candidates.73%
CONTEXT ASSEMBLED[B] Grounding asks the model to answer from supplied context. [A] RAG retrieves external evidence before generation. [C] Reranking can improve the order of retrieved candidates.
RAG PIPELINE LAB
Query → Vector → Top-K → Rerank → Context → LLM
검색된 Chunk만 Context 후보가 됩니다. RAG 품질은 생성 모델뿐 아니라 검색·청킹·재랭킹 품질에 크게 좌우됩니다.
검색된 Chunk만 Context 후보가 됩니다. RAG 품질은 생성 모델뿐 아니라 검색·청킹·재랭킹 품질에 크게 좌우됩니다.
INTERACTIVE CONCEPT LABRAG PIPELINE LAB
CURRENT STAGE1 / 6 · Question
Parsing & Cleaning
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Parsing & Cleaning
✓파싱과 정제
✓입력 → 처리 → 출력
✓앞뒤 Topic과의 연결
이해 확인 질문
Q1Parsing & Cleaning은 전체 RAG 파이프라인 흐름의 어느 위치에 있는가?
Q2파싱과 정제 단계의 입력과 출력은 무엇인가?
Q3이 단계를 잘못 설계하면 어떤 품질 또는 운영 문제가 생기는가?
CATEGORY
RAG외부 지식을 검색해 LLM 컨텍스트에 주입하는 전체 파이프라인을 설계합니다.
CURRENT PATH
17.04 Parsing & Cleaning이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.