_Geulbeot/02. Prompts/진행과정/데이터 처리 파이프라인/General_데이터 처리 파이프라인_코퍼스생성_v01.md

source

source
D:\for python\geulbeot(history)\geulbeot-light(6th)_0128\geulbeot-light\converters\pipeline\step6_corpus.py

[의미 기반 로직 추출 완료]

Corpus 생성 가이드

1. 요약된 청크(Chunk)들을 수집한다.
2. 각 청크에 메타데이터(페이지, 출처)를 부여한다.
3. RAG(검색 증강 생성) 최적화를 위해 임베딩 처리를 준비한다. ...