86 lines
3.5 KiB
Markdown
86 lines
3.5 KiB
Markdown
# V4 slot 축 ablation — 실증
|
||
## 질문
|
||
V4 confidence 계산식의 slot 축 (W_SLOT=0.15) 이 frame 매칭에 실제로 기여하는가?
|
||
## 방법
|
||
- **Baseline**: 5축 가중치 그대로 — 0.25 anchor + 0.20 card + 0.20 rel + 0.15 slot + 0.20 content
|
||
- **Ablated**: W_SLOT=0, 나머지 4축 비례 재정규화 (sum=1.0)
|
||
- anchor: 0.294, cardinality: 0.235, relation: 0.235, content: 0.235
|
||
- 32 frame × 7 MDX 섹션 confidence 재계산 → label 재할당 → 비교
|
||
|
||
## 결과 1 — TARGET 4 섹션의 정답 frame 라벨/순위 변화
|
||
| MDX | 정답 Frame | Baseline conf / 라벨 / 순위 | Ablated conf / 라벨 / 순위 | 변화 |
|
||
|---|---|---|---|---|
|
||
| 01-2 | Frame 18 | 0.946 / use_as_is / 순위 1 | 0.936 / use_as_is / 순위 1 | 동일 |
|
||
| 02-2.2 | Frame 14 | 0.293 / reject / 순위 7 | 0.292 / reject / 순위 5 | ⚠️ 변화 |
|
||
| 03-1 | Frame 13 | 0.927 / use_as_is / 순위 1 | 0.914 / use_as_is / 순위 1 | 동일 |
|
||
| 03-2 | Frame 29 | 0.920 / use_as_is / 순위 1 | 0.906 / use_as_is / 순위 1 | 동일 |
|
||
|
||
**TARGET Top-1 정답률**: Baseline 3/4, Ablated 3/4
|
||
|
||
## 결과 2 — 각 섹션 Top-3 매칭 변화
|
||
|
||
### [01-2] TARGET (정답 Frame 18)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 18 🎯 (0.946, use_as_is) | Frame 18 🎯 (0.936, use_as_is) |
|
||
| 2 | Frame 29 (0.868, reject) | Frame 29 (0.844, light_edit) |
|
||
| 3 | Frame 24 (0.757, light_edit) | Frame 24 (0.802, light_edit) |
|
||
|
||
### [02-2.2] TARGET (정답 Frame 14)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 6 (0.492, reject) | Frame 6 (0.438, reject) |
|
||
| 2 | Frame 27 (0.395, reject) | Frame 27 (0.377, reject) |
|
||
| 3 | Frame 24 (0.384, reject) | Frame 24 (0.363, reject) |
|
||
|
||
### [03-1] TARGET (정답 Frame 13)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 13 🎯 (0.927, use_as_is) | Frame 13 🎯 (0.914, use_as_is) |
|
||
| 2 | Frame 20 (0.841, light_edit) | Frame 20 (0.813, light_edit) |
|
||
| 3 | Frame 28 (0.720, reject) | Frame 28 (0.671, restructure) |
|
||
|
||
### [03-2] TARGET (정답 Frame 29)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 29 🎯 (0.920, use_as_is) | Frame 29 🎯 (0.906, use_as_is) |
|
||
| 2 | Frame 18 (0.814, reject) | Frame 18 (0.781, light_edit) |
|
||
| 3 | Frame 23 (0.647, reject) | Frame 24 (0.664, restructure) |
|
||
|
||
### [01-1] Holdout (holdout)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 11 (0.910, use_as_is) | Frame 11 (0.894, light_edit) |
|
||
| 2 | Frame 12 (0.826, light_edit) | Frame 12 (0.795, light_edit) |
|
||
| 3 | Frame 20 (0.817, light_edit) | Frame 20 (0.784, light_edit) |
|
||
|
||
### [02-1] Holdout (holdout)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 12 (0.914, use_as_is) | Frame 12 (0.899, light_edit) |
|
||
| 2 | Frame 14 (0.766, reject) | Frame 14 (0.724, restructure) |
|
||
| 3 | Frame 20 (0.751, reject) | Frame 20 (0.707, restructure) |
|
||
|
||
### [02-2.1] Holdout (holdout)
|
||
| 순위 | Baseline | Ablated |
|
||
|---|---|---|
|
||
| 1 | Frame 7 (0.469, reject) | Frame 7 (0.464, reject) |
|
||
| 2 | Frame 24 (0.465, reject) | Frame 24 (0.459, reject) |
|
||
| 3 | Frame 6 (0.465, reject) | Frame 29 (0.459, reject) |
|
||
|
||
## 결과 3 — 라벨 분포 변화 (32 frame 기준)
|
||
| MDX | use_as_is | light_edit | restructure | reject |
|
||
|---|---|---|---|---|
|
||
| 01-2 | 1 | 1→2 | 2 | 28→27 |
|
||
| 02-2.2 | 0 | 0 | 0 | 32 |
|
||
| 03-1 | 1 | 1 | 0→2 | 30→28 |
|
||
| 03-2 | 1 | 0→1 | 1 | 30→29 |
|
||
| 01-1 | 1→0 | 2→3 | 2→4 | 27→25 |
|
||
| 02-1 | 1→0 | 0→1 | 1→4 | 30→27 |
|
||
| 02-2.1 | 0 | 0 | 0 | 32 |
|
||
|
||
## 결론
|
||
- **Top-1 일치 섹션 수**: 7/7
|
||
- **Top-3 멤버 일치 섹션 수**: 5/7
|
||
- **TARGET Top-1 정답률**: Baseline 3/4 → Ablated 3/4
|