# V4 slot 축 ablation — 실증 ## 질문 V4 confidence 계산식의 slot 축 (W_SLOT=0.15) 이 frame 매칭에 실제로 기여하는가? ## 방법 - **Baseline**: 5축 가중치 그대로 — 0.25 anchor + 0.20 card + 0.20 rel + 0.15 slot + 0.20 content - **Ablated**: W_SLOT=0, 나머지 4축 비례 재정규화 (sum=1.0) - anchor: 0.294, cardinality: 0.235, relation: 0.235, content: 0.235 - 32 frame × 7 MDX 섹션 confidence 재계산 → label 재할당 → 비교 ## 결과 1 — TARGET 4 섹션의 정답 frame 라벨/순위 변화 | MDX | 정답 Frame | Baseline conf / 라벨 / 순위 | Ablated conf / 라벨 / 순위 | 변화 | |---|---|---|---|---| | 01-2 | Frame 18 | 0.946 / use_as_is / 순위 1 | 0.936 / use_as_is / 순위 1 | 동일 | | 02-2.2 | Frame 14 | 0.293 / reject / 순위 7 | 0.292 / reject / 순위 5 | ⚠️ 변화 | | 03-1 | Frame 13 | 0.927 / use_as_is / 순위 1 | 0.914 / use_as_is / 순위 1 | 동일 | | 03-2 | Frame 29 | 0.920 / use_as_is / 순위 1 | 0.906 / use_as_is / 순위 1 | 동일 | **TARGET Top-1 정답률**: Baseline 3/4, Ablated 3/4 ## 결과 2 — 각 섹션 Top-3 매칭 변화 ### [01-2] TARGET (정답 Frame 18) | 순위 | Baseline | Ablated | |---|---|---| | 1 | Frame 18 🎯 (0.946, use_as_is) | Frame 18 🎯 (0.936, use_as_is) | | 2 | Frame 29 (0.868, reject) | Frame 29 (0.844, light_edit) | | 3 | Frame 24 (0.757, light_edit) | Frame 24 (0.802, light_edit) | ### [02-2.2] TARGET (정답 Frame 14) | 순위 | Baseline | Ablated | |---|---|---| | 1 | Frame 6 (0.492, reject) | Frame 6 (0.438, reject) | | 2 | Frame 27 (0.395, reject) | Frame 27 (0.377, reject) | | 3 | Frame 24 (0.384, reject) | Frame 24 (0.363, reject) | ### [03-1] TARGET (정답 Frame 13) | 순위 | Baseline | Ablated | |---|---|---| | 1 | Frame 13 🎯 (0.927, use_as_is) | Frame 13 🎯 (0.914, use_as_is) | | 2 | Frame 20 (0.841, light_edit) | Frame 20 (0.813, light_edit) | | 3 | Frame 28 (0.720, reject) | Frame 28 (0.671, restructure) | ### [03-2] TARGET (정답 Frame 29) | 순위 | Baseline | Ablated | |---|---|---| | 1 | Frame 29 🎯 (0.920, use_as_is) | Frame 29 🎯 (0.906, use_as_is) | | 2 | Frame 18 (0.814, reject) | Frame 18 (0.781, light_edit) | | 3 | Frame 23 (0.647, reject) | Frame 24 (0.664, restructure) | ### [01-1] Holdout (holdout) | 순위 | Baseline | Ablated | |---|---|---| | 1 | Frame 11 (0.910, use_as_is) | Frame 11 (0.894, light_edit) | | 2 | Frame 12 (0.826, light_edit) | Frame 12 (0.795, light_edit) | | 3 | Frame 20 (0.817, light_edit) | Frame 20 (0.784, light_edit) | ### [02-1] Holdout (holdout) | 순위 | Baseline | Ablated | |---|---|---| | 1 | Frame 12 (0.914, use_as_is) | Frame 12 (0.899, light_edit) | | 2 | Frame 14 (0.766, reject) | Frame 14 (0.724, restructure) | | 3 | Frame 20 (0.751, reject) | Frame 20 (0.707, restructure) | ### [02-2.1] Holdout (holdout) | 순위 | Baseline | Ablated | |---|---|---| | 1 | Frame 7 (0.469, reject) | Frame 7 (0.464, reject) | | 2 | Frame 24 (0.465, reject) | Frame 24 (0.459, reject) | | 3 | Frame 6 (0.465, reject) | Frame 29 (0.459, reject) | ## 결과 3 — 라벨 분포 변화 (32 frame 기준) | MDX | use_as_is | light_edit | restructure | reject | |---|---|---|---|---| | 01-2 | 1 | 1→2 | 2 | 28→27 | | 02-2.2 | 0 | 0 | 0 | 32 | | 03-1 | 1 | 1 | 0→2 | 30→28 | | 03-2 | 1 | 0→1 | 1 | 30→29 | | 01-1 | 1→0 | 2→3 | 2→4 | 27→25 | | 02-1 | 1→0 | 0→1 | 1→4 | 30→27 | | 02-2.1 | 0 | 0 | 0 | 32 | ## 결론 - **Top-1 일치 섹션 수**: 7/7 - **Top-3 멤버 일치 섹션 수**: 5/7 - **TARGET Top-1 정답률**: Baseline 3/4 → Ablated 3/4