_Geulbeot/02. Prompts/진행과정/데이터 처리 파이프라인/General_데이터 처리 파이프라인_청킹로직_v01.md

source

source
D:\for python\geulbeot(history)\geulbeot-light(6th)_0128\geulbeot-light\converters\pipeline\step4_chunk.py

[의미 기반 로직 추출 완료]

1. 입력 문서를 의미 단위로 분할(Chunking)한다.
2. 각 청크별로 핵심 내용을 요약한다.
3. 중복된 정보를 제거하고 논리적 연결성을 검토한다. ...