wip: phase_z2 evidence 파이프라인 + matching 실험(phase2~26) + 프론트 trace 패널 진행분 스냅샷
- src: phase_z2 composition/mapper/pipeline/placement_planner/retry, ai_fallback(prompts/schema/validate), mdx_text_atoms 신규 - Front: PipelineTracePanel 신규, FramePanel/SlideCanvas/Home/designAgentApi 등 갱신 + 테스트 4종 추가 - templates/phase_z2: catalog(component_expansion_registry, node_slot_mapping 신규), frames, families, slide_base 갱신 - tests/matching: phase2~26 매칭 실험 스크립트·리포트·온톨로지 전체 (미커밋 진행분) - tests: b4_v4 evidence, task5~28.5 시리즈, regression(imp95 baseline) 등 신규 테스트 대량 추가 - docs/reference: MDX 구조 인벤토리, MDX→Frame 구조 계약 문서 - scripts: mdx 계약/parity/coverage/viewport 체크, gitea comment, run sync 유틸 - .gitignore: tmp*.json, chromedriver, .orchestrator, *.pkl, Front_test* 등 임시/스냅샷 제외 미완성 작업의 보존용 스냅샷 커밋 (2026-07-02) Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,28 @@
|
||||
# Phase 5 — Case 2. 세부 단위(팝업·표) 매칭 통합표
|
||||
|
||||
**비교 대상**: 7개 방법 (키워드 3 + 구조 1 + 의미 3)
|
||||
- 의미 매칭은 **SBERT 한 모델에 3가지 전처리 전략** 적용 (원본/축약/청크)
|
||||
- 세부 단위(팝업·표)가 키워드 vs 의미 매칭 성능 차이를 드러내는지 확인용
|
||||
|
||||
정답 프레임은 ⭐로 표시했습니다.
|
||||
|
||||
| 콘텐츠 | TF-IDF | Char 3-gram | Kiwi+BM25 | 구조 메타 | ko-srobert | 축약+srobert | 청킹+srobert |
|
||||
|------|------|------|------|------|------|------|------|
|
||||
| **6. MDX01-2-details** (팝업+표)<br>정답 = Frame **18** | | | | | | | |
|
||||
| **1순위** | ⭐ <br>**18** (91%)<br>BIM과 DX의 이해 | ⭐ <br>**18** (47%)<br>BIM과 DX의 이해 | ⭐ <br>**18** (128.9)<br>BIM과 DX의 이해 | <br>**17** (80%)<br>현황 및 문제점 | ⭐ <br>**18** (89%)<br>BIM과 DX의 이해 | <br>**29** (76%)<br>좌측 배너 과정 (Proce… | ⭐ <br>**18** (83%)<br>BIM과 DX의 이해 |
|
||||
| **2순위** | <br>**16** (14%)<br> | <br>**22** (6%)<br>Model에 특화된 Engn… | <br>**16** (44.0)<br> | <br>**01** (65%)<br> | <br>**29** (84%)<br>좌측 배너 과정 (Proce… | <br>**19** (64%)<br>**설계방식의 왜곡**은 엔… | <br>**09** (76%)<br>시공 전 모델 기반 시공상세… |
|
||||
| **3순위** | <br>**24** (12%)<br>Engn. S/W의 구성 과… | <br>**30** (5%)<br>산업별 현황 | <br>**17** (33.3)<br>현황 및 문제점 | <br>**05** (60%)<br>보상현황·민원 관리 | <br>**30** (80%)<br>산업별 현황 | <br>**20** (62%)<br>디지털 전환(DX)은 S/W… | <br>**25** (76%)<br>3rd Party |
|
||||
| **12. MDX02-2.2-table** (표)<br>정답 = Frame **14** | | | | | | | |
|
||||
| **1순위** | ⭐ <br>**14** (61%)<br> | ⭐ <br>**14** (20%)<br> | ⭐ <br>**14** (114.8)<br> | <br>**17** (80%)<br>현황 및 문제점 | ⭐ <br>**14** (89%)<br> | <br>**29** (64%)<br>좌측 배너 과정 (Proce… | <br>**07** (84%)<br> |
|
||||
| **2순위** | <br>**12** (37%)<br>건설산업의 목표 (BIM의 … | <br>**12** (7%)<br>건설산업의 목표 (BIM의 … | <br>**12** (67.8)<br>건설산업의 목표 (BIM의 … | <br>**01** (65%)<br> | <br>**07** (85%)<br> | <br>**08** (59%)<br>효율적인 정보의 관리와 활용 | <br>**18** (74%)<br>BIM과 DX의 이해 |
|
||||
| **3순위** | <br>**29** (19%)<br>좌측 배너 과정 (Proce… | <br>**29** (6%)<br>좌측 배너 과정 (Proce… | <br>**29** (59.3)<br>좌측 배너 과정 (Proce… | <br>**05** (60%)<br>보상현황·민원 관리 | <br>**29** (82%)<br>좌측 배너 과정 (Proce… | <br>**15** (57%)<br>정책목표 | <br>**09** (73%)<br>시공 전 모델 기반 시공상세… |
|
||||
|
||||
---
|
||||
|
||||
## 관찰 포인트
|
||||
|
||||
1. **세부 단위에서는 키워드 > 의미**: 팝업·표처럼 구체적 텍스트가 많은 유닛에서는 TF-IDF/Char/Kiwi+BM25 모두 1위 정답. 직접 단어 겹침이 크기 때문.
|
||||
2. **구조 메타**는 두 유닛 모두 동일 결과 (17/01/05) — 세부 단위는 구조적 특징이 거의 같아서 변별력 없음.
|
||||
3. **축약+srobert 전략은 세부 단위에 부적합**: 제목/볼드만 뽑으면 팝업·표의 핵심 내용이 날아감. 두 유닛 모두 실패.
|
||||
4. **청킹+srobert**: 블릿·섹션 구조가 명확한 팝업(6번)은 성공, 표만 있는 12번은 청크 나누기가 애매해 실패.
|
||||
5. **ko-srobert 원본**: 의미 방법 중 세부 단위에 가장 적합. 두 유닛 모두 1위 정답.
|
||||
Reference in New Issue
Block a user