Kyeongmin/C.E.L_Slide_test2
1
0
Fork 0
Code Issues 6 Pull Requests Actions Packages Projects Releases Wiki Activity
Files
4d7c4017799235e169e9b27ec65d52cf69096ba0
C.E.L_Slide_test2/tests/pipeline/reports/V4_SLOT_ABLATION.md
T
KyeongminandClaude Opus 4.8 b836e79ee1 wip: phase_z2 evidence 파이프라인 + matching 실험(phase2~26) + 프론트 trace 패널 진행분 스냅샷 
- src: phase_z2 composition/mapper/pipeline/placement_planner/retry, ai_fallback(prompts/schema/validate), mdx_text_atoms 신규
- Front: PipelineTracePanel 신규, FramePanel/SlideCanvas/Home/designAgentApi 등 갱신 + 테스트 4종 추가
- templates/phase_z2: catalog(component_expansion_registry, node_slot_mapping 신규), frames, families, slide_base 갱신
- tests/matching: phase2~26 매칭 실험 스크립트·리포트·온톨로지 전체 (미커밋 진행분)
- tests: b4_v4 evidence, task5~28.5 시리즈, regression(imp95 baseline) 등 신규 테스트 대량 추가
- docs/reference: MDX 구조 인벤토리, MDX→Frame 구조 계약 문서
- scripts: mdx 계약/parity/coverage/viewport 체크, gitea comment, run sync 유틸
- .gitignore: tmp*.json, chromedriver, .orchestrator, *.pkl, Front_test* 등 임시/스냅샷 제외

미완성 작업의 보존용 스냅샷 커밋 (2026-07-02)

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
2026-07-02 17:03:42 +09:00

3.5 KiB
Raw Blame History

V4 slot 축 ablation — 실증

질문

V4 confidence 계산식의 slot 축 (W_SLOT=0.15) 이 frame 매칭에 실제로 기여하는가?

방법

  • Baseline: 5축 가중치 그대로 — 0.25 anchor + 0.20 card + 0.20 rel + 0.15 slot + 0.20 content
  • Ablated: W_SLOT=0, 나머지 4축 비례 재정규화 (sum=1.0)
    • anchor: 0.294, cardinality: 0.235, relation: 0.235, content: 0.235
  • 32 frame × 7 MDX 섹션 confidence 재계산 → label 재할당 → 비교

결과 1 — TARGET 4 섹션의 정답 frame 라벨/순위 변화

MDX 정답 Frame Baseline conf / 라벨 / 순위 Ablated conf / 라벨 / 순위 변화
01-2 Frame 18 0.946 / use_as_is / 순위 1 0.936 / use_as_is / 순위 1 동일
02-2.2 Frame 14 0.293 / reject / 순위 7 0.292 / reject / 순위 5 ⚠️ 변화
03-1 Frame 13 0.927 / use_as_is / 순위 1 0.914 / use_as_is / 순위 1 동일
03-2 Frame 29 0.920 / use_as_is / 순위 1 0.906 / use_as_is / 순위 1 동일

TARGET Top-1 정답률: Baseline 3/4, Ablated 3/4

결과 2 — 각 섹션 Top-3 매칭 변화

[01-2] TARGET (정답 Frame 18)

순위 Baseline Ablated
1 Frame 18 🎯 (0.946, use_as_is) Frame 18 🎯 (0.936, use_as_is)
2 Frame 29 (0.868, reject) Frame 29 (0.844, light_edit)
3 Frame 24 (0.757, light_edit) Frame 24 (0.802, light_edit)

[02-2.2] TARGET (정답 Frame 14)

순위 Baseline Ablated
1 Frame 6 (0.492, reject) Frame 6 (0.438, reject)
2 Frame 27 (0.395, reject) Frame 27 (0.377, reject)
3 Frame 24 (0.384, reject) Frame 24 (0.363, reject)

[03-1] TARGET (정답 Frame 13)

순위 Baseline Ablated
1 Frame 13 🎯 (0.927, use_as_is) Frame 13 🎯 (0.914, use_as_is)
2 Frame 20 (0.841, light_edit) Frame 20 (0.813, light_edit)
3 Frame 28 (0.720, reject) Frame 28 (0.671, restructure)

[03-2] TARGET (정답 Frame 29)

순위 Baseline Ablated
1 Frame 29 🎯 (0.920, use_as_is) Frame 29 🎯 (0.906, use_as_is)
2 Frame 18 (0.814, reject) Frame 18 (0.781, light_edit)
3 Frame 23 (0.647, reject) Frame 24 (0.664, restructure)

[01-1] Holdout (holdout)

순위 Baseline Ablated
1 Frame 11 (0.910, use_as_is) Frame 11 (0.894, light_edit)
2 Frame 12 (0.826, light_edit) Frame 12 (0.795, light_edit)
3 Frame 20 (0.817, light_edit) Frame 20 (0.784, light_edit)

[02-1] Holdout (holdout)

순위 Baseline Ablated
1 Frame 12 (0.914, use_as_is) Frame 12 (0.899, light_edit)
2 Frame 14 (0.766, reject) Frame 14 (0.724, restructure)
3 Frame 20 (0.751, reject) Frame 20 (0.707, restructure)

[02-2.1] Holdout (holdout)

순위 Baseline Ablated
1 Frame 7 (0.469, reject) Frame 7 (0.464, reject)
2 Frame 24 (0.465, reject) Frame 24 (0.459, reject)
3 Frame 6 (0.465, reject) Frame 29 (0.459, reject)

결과 3 — 라벨 분포 변화 (32 frame 기준)

MDX use_as_is light_edit restructure reject
01-2 1 1→2 2 28→27
02-2.2 0 0 0 32
03-1 1 1 0→2 30→28
03-2 1 0→1 1 30→29
01-1 1→0 2→3 2→4 27→25
02-1 1→0 0→1 1→4 30→27
02-2.1 0 0 0 32

결론

  • Top-1 일치 섹션 수: 7/7
  • Top-3 멤버 일치 섹션 수: 5/7
  • TARGET Top-1 정답률: Baseline 3/4 → Ablated 3/4
Reference in New Issue View Git Blame Copy Permalink