KyeongminandClaude Opus 4.8
b836e79ee1
- src: phase_z2 composition/mapper/pipeline/placement_planner/retry, ai_fallback(prompts/schema/validate), mdx_text_atoms 신규 - Front: PipelineTracePanel 신규, FramePanel/SlideCanvas/Home/designAgentApi 등 갱신 + 테스트 4종 추가 - templates/phase_z2: catalog(component_expansion_registry, node_slot_mapping 신규), frames, families, slide_base 갱신 - tests/matching: phase2~26 매칭 실험 스크립트·리포트·온톨로지 전체 (미커밋 진행분) - tests: b4_v4 evidence, task5~28.5 시리즈, regression(imp95 baseline) 등 신규 테스트 대량 추가 - docs/reference: MDX 구조 인벤토리, MDX→Frame 구조 계약 문서 - scripts: mdx 계약/parity/coverage/viewport 체크, gitea comment, run sync 유틸 - .gitignore: tmp*.json, chromedriver, .orchestrator, *.pkl, Front_test* 등 임시/스냅샷 제외 미완성 작업의 보존용 스냅샷 커밋 (2026-07-02) Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
86 lines
3.5 KiB
Markdown
86 lines
3.5 KiB
Markdown
# V4 slot 축 ablation — 실증
|
||
## 질문
|
||
V4 confidence 계산식의 slot 축 (W_SLOT=0.15) 이 frame 매칭에 실제로 기여하는가?
|
||
## 방법
|
||
- **Baseline**: 5축 가중치 그대로 — 0.25 anchor + 0.20 card + 0.20 rel + 0.15 slot + 0.20 content
|
||
- **Ablated**: W_SLOT=0, 나머지 4축 비례 재정규화 (sum=1.0)
|
||
- anchor: 0.294, cardinality: 0.235, relation: 0.235, content: 0.235
|
||
- 32 frame × 7 MDX 섹션 confidence 재계산 → label 재할당 → 비교
|
||
|
||
## 결과 1 — TARGET 4 섹션의 정답 frame 라벨/순위 변화
|
||
| MDX | 정답 Frame | Baseline conf / 라벨 / 순위 | Ablated conf / 라벨 / 순위 | 변화 |
|
||
|---|---|---|---|---|
|
||
| 01-2 | Frame 18 | 0.946 / use_as_is / 순위 1 | 0.936 / use_as_is / 순위 1 | 동일 |
|
||
| 02-2.2 | Frame 14 | 0.293 / reject / 순위 7 | 0.292 / reject / 순위 5 | ⚠️ 변화 |
|
||
| 03-1 | Frame 13 | 0.927 / use_as_is / 순위 1 | 0.914 / use_as_is / 순위 1 | 동일 |
|
||
| 03-2 | Frame 29 | 0.920 / use_as_is / 순위 1 | 0.906 / use_as_is / 순위 1 | 동일 |
|
||
|
||
**TARGET Top-1 정답률**: Baseline 3/4, Ablated 3/4
|
||
|
||
## 결과 2 — 각 섹션 Top-3 매칭 변화
|
||
|
||
### [01-2] TARGET (정답 Frame 18)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 18 🎯 (0.946, use_as_is) | Frame 18 🎯 (0.936, use_as_is) |
|
||
| 2 | Frame 29 (0.868, reject) | Frame 29 (0.844, light_edit) |
|
||
| 3 | Frame 24 (0.757, light_edit) | Frame 24 (0.802, light_edit) |
|
||
|
||
### [02-2.2] TARGET (정답 Frame 14)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 6 (0.492, reject) | Frame 6 (0.438, reject) |
|
||
| 2 | Frame 27 (0.395, reject) | Frame 27 (0.377, reject) |
|
||
| 3 | Frame 24 (0.384, reject) | Frame 24 (0.363, reject) |
|
||
|
||
### [03-1] TARGET (정답 Frame 13)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 13 🎯 (0.927, use_as_is) | Frame 13 🎯 (0.914, use_as_is) |
|
||
| 2 | Frame 20 (0.841, light_edit) | Frame 20 (0.813, light_edit) |
|
||
| 3 | Frame 28 (0.720, reject) | Frame 28 (0.671, restructure) |
|
||
|
||
### [03-2] TARGET (정답 Frame 29)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 29 🎯 (0.920, use_as_is) | Frame 29 🎯 (0.906, use_as_is) |
|
||
| 2 | Frame 18 (0.814, reject) | Frame 18 (0.781, light_edit) |
|
||
| 3 | Frame 23 (0.647, reject) | Frame 24 (0.664, restructure) |
|
||
|
||
### [01-1] Holdout (holdout)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 11 (0.910, use_as_is) | Frame 11 (0.894, light_edit) |
|
||
| 2 | Frame 12 (0.826, light_edit) | Frame 12 (0.795, light_edit) |
|
||
| 3 | Frame 20 (0.817, light_edit) | Frame 20 (0.784, light_edit) |
|
||
|
||
### [02-1] Holdout (holdout)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 12 (0.914, use_as_is) | Frame 12 (0.899, light_edit) |
|
||
| 2 | Frame 14 (0.766, reject) | Frame 14 (0.724, restructure) |
|
||
| 3 | Frame 20 (0.751, reject) | Frame 20 (0.707, restructure) |
|
||
|
||
### [02-2.1] Holdout (holdout)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 7 (0.469, reject) | Frame 7 (0.464, reject) |
|
||
| 2 | Frame 24 (0.465, reject) | Frame 24 (0.459, reject) |
|
||
| 3 | Frame 6 (0.465, reject) | Frame 29 (0.459, reject) |
|
||
|
||
## 결과 3 — 라벨 분포 변화 (32 frame 기준)
|
||
| MDX | use_as_is | light_edit | restructure | reject |
|
||
|---|---|---|---|---|
|
||
| 01-2 | 1 | 1→2 | 2 | 28→27 |
|
||
| 02-2.2 | 0 | 0 | 0 | 32 |
|
||
| 03-1 | 1 | 1 | 0→2 | 30→28 |
|
||
| 03-2 | 1 | 0→1 | 1 | 30→29 |
|
||
| 01-1 | 1→0 | 2→3 | 2→4 | 27→25 |
|
||
| 02-1 | 1→0 | 0→1 | 1→4 | 30→27 |
|
||
| 02-2.1 | 0 | 0 | 0 | 32 |
|
||
|
||
## 결론
|
||
- **Top-1 일치 섹션 수**: 7/7
|
||
- **Top-3 멤버 일치 섹션 수**: 5/7
|
||
- **TARGET Top-1 정답률**: Baseline 3/4 → Ablated 3/4
|