Kyeongmin/C.E.L_Slide_test2

Files

T

KyeongminandClaude Opus 4.8 b836e79ee1 wip: phase_z2 evidence 파이프라인 + matching 실험(phase2~26) + 프론트 trace 패널 진행분 스냅샷

- src: phase_z2 composition/mapper/pipeline/placement_planner/retry, ai_fallback(prompts/schema/validate), mdx_text_atoms 신규
- Front: PipelineTracePanel 신규, FramePanel/SlideCanvas/Home/designAgentApi 등 갱신 + 테스트 4종 추가
- templates/phase_z2: catalog(component_expansion_registry, node_slot_mapping 신규), frames, families, slide_base 갱신
- tests/matching: phase2~26 매칭 실험 스크립트·리포트·온톨로지 전체 (미커밋 진행분)
- tests: b4_v4 evidence, task5~28.5 시리즈, regression(imp95 baseline) 등 신규 테스트 대량 추가
- docs/reference: MDX 구조 인벤토리, MDX→Frame 구조 계약 문서
- scripts: mdx 계약/parity/coverage/viewport 체크, gitea comment, run sync 유틸
- .gitignore: tmp*.json, chromedriver, .orchestrator, *.pkl, Front_test* 등 임시/스냅샷 제외

미완성 작업의 보존용 스냅샷 커밋 (2026-07-02)

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-07-02 17:03:42 +09:00

9.2 KiB

Raw Permalink Blame History

Phase 7 — 2~3단계 파이프라인 검증

한 줄 결론(사용자): semantic 단독 승자 말고, Kiwi+BM25로 top-k 후보 → 청킹+SBERT나 Cross로 rerank → 필요시 구조 감점, 2~3단계 파이프라인으로.

방향 3 — Kiwi+BM25 recall: Top-3 4/4, Top-5 4/4 (retriever 단계에서 정답이 후보군에 들어있는가 = 파이프라인 이론 상한)

Kiwi+BM25 Top-5 후보 목록

유닛	정답	Top-5 후보	정답 포함?
1. (MDX 1) 팝업 — DX와 BIM의 구분	18	18, 16, 17, 29, 24	✓
2. (MDX 2) 2.2 DX 시행 주체별 기대효과	14	14, 12, 29, 07, 08	✓
3. (MDX 03) 1. DX 시행을 위한 필수요건	13	15, 13, 16, 20, 18	✓
4. (MDX 03) 2. Process 혁신과 Product 변화	29	29, 12, 07, 18, 08	✓

전략별 1순위 정답률 집계

전략	MDX1 팝업(18)	MDX2 2.2(14)	MDX03-1(13)	MDX03-2(29)	합계
Kiwi+BM25 단독	✓	✓	✗(15)	✓	3/4
Cross 단독	✗(24)	✓	✓	✗(16)	2/4
청킹+SBERT 단독	✓	✗(07)	✗(15)	✓	2/4
BM25 top5 → Cross rerank	✗(24)	✓	✓	✓	3/4
BM25 top5 → 청킹+SBERT rerank	✓	✗(07)	✗(15)	✓	2/4
BM25+Cross + 구조 감점(α=0.3)	✗(17)	✓	✗(16)	✗(18)	1/4
BM25+SBERT-청크 + 구조 감점	✗(17)	✗(07)	✗(18)	✗(18)	0/4

유닛별 전략 Top-3 상세

1. (MDX 1) 팝업 — DX와 BIM의 구분 — 정답 Frame 18

전략	1순위	2순위	3순위
Kiwi+BM25 단독	⭐ 18 BIM과 DX의 이해	16	17 현황 및 문제점
Cross 단독	24 Engn. S/W의 구성 과…	07	10 현장 실효성 증대 위한 **…
청킹+SBERT 단독	⭐ 18 BIM과 DX의 이해	09 시공 전 모델 기반 시공상세…	25 3rd Party
BM25 top5 → Cross rerank	24 Engn. S/W의 구성 과…	17 현황 및 문제점	⭐ 18 BIM과 DX의 이해
BM25 top5 → 청킹+SBERT rerank	⭐ 18 BIM과 DX의 이해	29 좌측 배너 과정 (Proce…	24 Engn. S/W의 구성 과…
BM25+Cross + 구조 감점(α=0.3)	17 현황 및 문제점	⭐ 18 BIM과 DX의 이해	16
BM25+SBERT-청크 + 구조 감점	17 현황 및 문제점	⭐ 18 BIM과 DX의 이해	29 좌측 배너 과정 (Proce…

2. (MDX 2) 2.2 DX 시행 주체별 기대효과 — 정답 Frame 14

전략	1순위	2순위	3순위
Kiwi+BM25 단독	⭐ 14	12 건설산업의 목표 (BIM의 …	29 좌측 배너 과정 (Proce…
Cross 단독	⭐ 14	23 Application S/W…	18 BIM과 DX의 이해
청킹+SBERT 단독	07	18 BIM과 DX의 이해	09 시공 전 모델 기반 시공상세…
BM25 top5 → Cross rerank	⭐ 14	29 좌측 배너 과정 (Proce…	08 효율적인 정보의 관리와 활용
BM25 top5 → 청킹+SBERT rerank	07	29 좌측 배너 과정 (Proce…	08 효율적인 정보의 관리와 활용
BM25+Cross + 구조 감점(α=0.3)	⭐ 14	07	08 효율적인 정보의 관리와 활용
BM25+SBERT-청크 + 구조 감점	07	08 효율적인 정보의 관리와 활용	29 좌측 배너 과정 (Proce…

3. (MDX 03) 1. DX 시행을 위한 필수요건 — 정답 Frame 13

전략	1순위	2순위	3순위
Kiwi+BM25 단독	15 정책목표	⭐ 13 필수조건	16
Cross 단독	⭐ 13 필수조건	15 정책목표	17 현황 및 문제점
청킹+SBERT 단독	15 정책목표	⭐ 13 필수조건	20 디지털 전환(DX)은 S/W…
BM25 top5 → Cross rerank	⭐ 13 필수조건	15 정책목표	20 디지털 전환(DX)은 S/W…
BM25 top5 → 청킹+SBERT rerank	15 정책목표	⭐ 13 필수조건	20 디지털 전환(DX)은 S/W…
BM25+Cross + 구조 감점(α=0.3)	16	18 BIM과 DX의 이해	20 디지털 전환(DX)은 S/W…
BM25+SBERT-청크 + 구조 감점	18 BIM과 DX의 이해	16	15 정책목표

4. (MDX 03) 2. Process 혁신과 Product 변화 — 정답 Frame 29

전략	1순위	2순위	3순위
Kiwi+BM25 단독	⭐ 29 좌측 배너 과정 (Proce…	12 건설산업의 목표 (BIM의 …	07
Cross 단독	16	⭐ 29 좌측 배너 과정 (Proce…	12 건설산업의 목표 (BIM의 …
청킹+SBERT 단독	⭐ 29 좌측 배너 과정 (Proce…	12 건설산업의 목표 (BIM의 …	30 산업별 현황
BM25 top5 → Cross rerank	⭐ 29 좌측 배너 과정 (Proce…	12 건설산업의 목표 (BIM의 …	07
BM25 top5 → 청킹+SBERT rerank	⭐ 29 좌측 배너 과정 (Proce…	12 건설산업의 목표 (BIM의 …	18 BIM과 DX의 이해
BM25+Cross + 구조 감점(α=0.3)	18 BIM과 DX의 이해	07	12 건설산업의 목표 (BIM의 …
BM25+SBERT-청크 + 구조 감점	18 BIM과 DX의 이해	⭐ 29 좌측 배너 과정 (Proce…	07

9.2 KiB Raw Permalink Blame History Unescape Escape