wip: phase_z2 evidence 파이프라인 + matching 실험(phase2~26) + 프론트 trace 패널 진행분 스냅샷
- src: phase_z2 composition/mapper/pipeline/placement_planner/retry, ai_fallback(prompts/schema/validate), mdx_text_atoms 신규 - Front: PipelineTracePanel 신규, FramePanel/SlideCanvas/Home/designAgentApi 등 갱신 + 테스트 4종 추가 - templates/phase_z2: catalog(component_expansion_registry, node_slot_mapping 신규), frames, families, slide_base 갱신 - tests/matching: phase2~26 매칭 실험 스크립트·리포트·온톨로지 전체 (미커밋 진행분) - tests: b4_v4 evidence, task5~28.5 시리즈, regression(imp95 baseline) 등 신규 테스트 대량 추가 - docs/reference: MDX 구조 인벤토리, MDX→Frame 구조 계약 문서 - scripts: mdx 계약/parity/coverage/viewport 체크, gitea comment, run sync 유틸 - .gitignore: tmp*.json, chromedriver, .orchestrator, *.pkl, Front_test* 등 임시/스냅샷 제외 미완성 작업의 보존용 스냅샷 커밋 (2026-07-02) Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
Claude Opus 4.8
@@ -0,0 +1,79 @@
|
||||
# Phase 7 — 2~3단계 파이프라인 검증
|
||||
|
||||
**한 줄 결론(사용자)**: semantic 단독 승자 말고, Kiwi+BM25로 top-k 후보 → 청킹+SBERT나 Cross로 rerank → 필요시 구조 감점, 2~3단계 파이프라인으로.
|
||||
|
||||
**방향 3 — Kiwi+BM25 recall**: Top-3 4/4, Top-5 4/4
|
||||
(retriever 단계에서 정답이 후보군에 들어있는가 = 파이프라인 이론 상한)
|
||||
|
||||
### Kiwi+BM25 Top-5 후보 목록
|
||||
|
||||
| 유닛 | 정답 | Top-5 후보 | 정답 포함? |
|
||||
|------|------|------------|----------|
|
||||
| 1. (MDX 1) 팝업 — DX와 BIM의 구분 | **18** | 18, 16, 17, 29, 24 | ✓ |
|
||||
| 2. (MDX 2) 2.2 DX 시행 주체별 기대효과 | **14** | 14, 12, 29, 07, 08 | ✓ |
|
||||
| 3. (MDX 03) 1. DX 시행을 위한 필수요건 | **13** | 15, 13, 16, 20, 18 | ✓ |
|
||||
| 4. (MDX 03) 2. Process 혁신과 Product 변화 | **29** | 29, 12, 07, 18, 08 | ✓ |
|
||||
|
||||
### 전략별 1순위 정답률 집계
|
||||
|
||||
| 전략 | MDX1 팝업(18) | MDX2 2.2(14) | MDX03-1(13) | MDX03-2(29) | 합계 |
|
||||
|------|---------------|--------------|-------------|-------------|------|
|
||||
| Kiwi+BM25 단독 | ✓ | ✓ | ✗(15) | ✓ | **3/4** |
|
||||
| Cross 단독 | ✗(24) | ✓ | ✓ | ✗(16) | **2/4** |
|
||||
| 청킹+SBERT 단독 | ✓ | ✗(07) | ✗(15) | ✓ | **2/4** |
|
||||
| BM25 top5 → Cross rerank | ✗(24) | ✓ | ✓ | ✓ | **3/4** |
|
||||
| BM25 top5 → 청킹+SBERT rerank | ✓ | ✗(07) | ✗(15) | ✓ | **2/4** |
|
||||
| BM25+Cross + 구조 감점(α=0.3) | ✗(17) | ✓ | ✗(16) | ✗(18) | **1/4** |
|
||||
| BM25+SBERT-청크 + 구조 감점 | ✗(17) | ✗(07) | ✗(18) | ✗(18) | **0/4** |
|
||||
|
||||
---
|
||||
|
||||
## 유닛별 전략 Top-3 상세
|
||||
|
||||
### 1. (MDX 1) 팝업 — DX와 BIM의 구분 — 정답 Frame **18**
|
||||
|
||||
| 전략 | 1순위 | 2순위 | 3순위 |
|
||||
|------|-------|-------|-------|
|
||||
| Kiwi+BM25 단독 | ⭐ <br>**18**<br>BIM과 DX의 이해 | <br>**16**<br> | <br>**17**<br>현황 및 문제점 |
|
||||
| Cross 단독 | <br>**24**<br>Engn. S/W의 구성 과… | <br>**07**<br> | <br>**10**<br>현장 실효성 증대 위한 **… |
|
||||
| 청킹+SBERT 단독 | ⭐ <br>**18**<br>BIM과 DX의 이해 | <br>**09**<br>시공 전 모델 기반 시공상세… | <br>**25**<br>3rd Party |
|
||||
| BM25 top5 → Cross rerank | <br>**24**<br>Engn. S/W의 구성 과… | <br>**17**<br>현황 및 문제점 | ⭐ <br>**18**<br>BIM과 DX의 이해 |
|
||||
| BM25 top5 → 청킹+SBERT rerank | ⭐ <br>**18**<br>BIM과 DX의 이해 | <br>**29**<br>좌측 배너 과정 (Proce… | <br>**24**<br>Engn. S/W의 구성 과… |
|
||||
| BM25+Cross + 구조 감점(α=0.3) | <br>**17**<br>현황 및 문제점 | ⭐ <br>**18**<br>BIM과 DX의 이해 | <br>**16**<br> |
|
||||
| BM25+SBERT-청크 + 구조 감점 | <br>**17**<br>현황 및 문제점 | ⭐ <br>**18**<br>BIM과 DX의 이해 | <br>**29**<br>좌측 배너 과정 (Proce… |
|
||||
|
||||
### 2. (MDX 2) 2.2 DX 시행 주체별 기대효과 — 정답 Frame **14**
|
||||
|
||||
| 전략 | 1순위 | 2순위 | 3순위 |
|
||||
|------|-------|-------|-------|
|
||||
| Kiwi+BM25 단독 | ⭐ <br>**14**<br> | <br>**12**<br>건설산업의 목표 (BIM의 … | <br>**29**<br>좌측 배너 과정 (Proce… |
|
||||
| Cross 단독 | ⭐ <br>**14**<br> | <br>**23**<br>Application S/W… | <br>**18**<br>BIM과 DX의 이해 |
|
||||
| 청킹+SBERT 단독 | <br>**07**<br> | <br>**18**<br>BIM과 DX의 이해 | <br>**09**<br>시공 전 모델 기반 시공상세… |
|
||||
| BM25 top5 → Cross rerank | ⭐ <br>**14**<br> | <br>**29**<br>좌측 배너 과정 (Proce… | <br>**08**<br>효율적인 정보의 관리와 활용 |
|
||||
| BM25 top5 → 청킹+SBERT rerank | <br>**07**<br> | <br>**29**<br>좌측 배너 과정 (Proce… | <br>**08**<br>효율적인 정보의 관리와 활용 |
|
||||
| BM25+Cross + 구조 감점(α=0.3) | ⭐ <br>**14**<br> | <br>**07**<br> | <br>**08**<br>효율적인 정보의 관리와 활용 |
|
||||
| BM25+SBERT-청크 + 구조 감점 | <br>**07**<br> | <br>**08**<br>효율적인 정보의 관리와 활용 | <br>**29**<br>좌측 배너 과정 (Proce… |
|
||||
|
||||
### 3. (MDX 03) 1. DX 시행을 위한 필수요건 — 정답 Frame **13**
|
||||
|
||||
| 전략 | 1순위 | 2순위 | 3순위 |
|
||||
|------|-------|-------|-------|
|
||||
| Kiwi+BM25 단독 | <br>**15**<br>정책목표 | ⭐ <br>**13**<br>필수조건 | <br>**16**<br> |
|
||||
| Cross 단독 | ⭐ <br>**13**<br>필수조건 | <br>**15**<br>정책목표 | <br>**17**<br>현황 및 문제점 |
|
||||
| 청킹+SBERT 단독 | <br>**15**<br>정책목표 | ⭐ <br>**13**<br>필수조건 | <br>**20**<br>디지털 전환(DX)은 S/W… |
|
||||
| BM25 top5 → Cross rerank | ⭐ <br>**13**<br>필수조건 | <br>**15**<br>정책목표 | <br>**20**<br>디지털 전환(DX)은 S/W… |
|
||||
| BM25 top5 → 청킹+SBERT rerank | <br>**15**<br>정책목표 | ⭐ <br>**13**<br>필수조건 | <br>**20**<br>디지털 전환(DX)은 S/W… |
|
||||
| BM25+Cross + 구조 감점(α=0.3) | <br>**16**<br> | <br>**18**<br>BIM과 DX의 이해 | <br>**20**<br>디지털 전환(DX)은 S/W… |
|
||||
| BM25+SBERT-청크 + 구조 감점 | <br>**18**<br>BIM과 DX의 이해 | <br>**16**<br> | <br>**15**<br>정책목표 |
|
||||
|
||||
### 4. (MDX 03) 2. Process 혁신과 Product 변화 — 정답 Frame **29**
|
||||
|
||||
| 전략 | 1순위 | 2순위 | 3순위 |
|
||||
|------|-------|-------|-------|
|
||||
| Kiwi+BM25 단독 | ⭐ <br>**29**<br>좌측 배너 과정 (Proce… | <br>**12**<br>건설산업의 목표 (BIM의 … | <br>**07**<br> |
|
||||
| Cross 단독 | <br>**16**<br> | ⭐ <br>**29**<br>좌측 배너 과정 (Proce… | <br>**12**<br>건설산업의 목표 (BIM의 … |
|
||||
| 청킹+SBERT 단독 | ⭐ <br>**29**<br>좌측 배너 과정 (Proce… | <br>**12**<br>건설산업의 목표 (BIM의 … | <br>**30**<br>산업별 현황 |
|
||||
| BM25 top5 → Cross rerank | ⭐ <br>**29**<br>좌측 배너 과정 (Proce… | <br>**12**<br>건설산업의 목표 (BIM의 … | <br>**07**<br> |
|
||||
| BM25 top5 → 청킹+SBERT rerank | ⭐ <br>**29**<br>좌측 배너 과정 (Proce… | <br>**12**<br>건설산업의 목표 (BIM의 … | <br>**18**<br>BIM과 DX의 이해 |
|
||||
| BM25+Cross + 구조 감점(α=0.3) | <br>**18**<br>BIM과 DX의 이해 | <br>**07**<br> | <br>**12**<br>건설산업의 목표 (BIM의 … |
|
||||
| BM25+SBERT-청크 + 구조 감점 | <br>**18**<br>BIM과 DX의 이해 | ⭐ <br>**29**<br>좌측 배너 과정 (Proce… | <br>**07**<br> |
|
||||
Reference in New Issue
Block a user