untracked files on main: dceb101 feat(#63): IMP-34 R1 donor capacity measured bound (u1+u2)

This commit is contained in:
2026-05-21 22:07:41 +09:00
commit 8f085a28d3
3220 changed files with 985495 additions and 0 deletions
+85
View File
@@ -0,0 +1,85 @@
# V4 slot 축 ablation — 실증
## 질문
V4 confidence 계산식의 slot 축 (W_SLOT=0.15) 이 frame 매칭에 실제로 기여하는가?
## 방법
- **Baseline**: 5축 가중치 그대로 — 0.25 anchor + 0.20 card + 0.20 rel + 0.15 slot + 0.20 content
- **Ablated**: W_SLOT=0, 나머지 4축 비례 재정규화 (sum=1.0)
- anchor: 0.294, cardinality: 0.235, relation: 0.235, content: 0.235
- 32 frame × 7 MDX 섹션 confidence 재계산 → label 재할당 → 비교
## 결과 1 — TARGET 4 섹션의 정답 frame 라벨/순위 변화
| MDX | 정답 Frame | Baseline conf / 라벨 / 순위 | Ablated conf / 라벨 / 순위 | 변화 |
|---|---|---|---|---|
| 01-2 | Frame 18 | 0.946 / use_as_is / 순위 1 | 0.936 / use_as_is / 순위 1 | 동일 |
| 02-2.2 | Frame 14 | 0.293 / reject / 순위 7 | 0.292 / reject / 순위 5 | ⚠️ 변화 |
| 03-1 | Frame 13 | 0.927 / use_as_is / 순위 1 | 0.914 / use_as_is / 순위 1 | 동일 |
| 03-2 | Frame 29 | 0.920 / use_as_is / 순위 1 | 0.906 / use_as_is / 순위 1 | 동일 |
**TARGET Top-1 정답률**: Baseline 3/4, Ablated 3/4
## 결과 2 — 각 섹션 Top-3 매칭 변화
### [01-2] TARGET (정답 Frame 18)
| 순위 | Baseline | Ablated |
|---|---|---|
| 1 | Frame 18 🎯 (0.946, use_as_is) | Frame 18 🎯 (0.936, use_as_is) |
| 2 | Frame 29 (0.868, reject) | Frame 29 (0.844, light_edit) |
| 3 | Frame 24 (0.757, light_edit) | Frame 24 (0.802, light_edit) |
### [02-2.2] TARGET (정답 Frame 14)
| 순위 | Baseline | Ablated |
|---|---|---|
| 1 | Frame 6 (0.492, reject) | Frame 6 (0.438, reject) |
| 2 | Frame 27 (0.395, reject) | Frame 27 (0.377, reject) |
| 3 | Frame 24 (0.384, reject) | Frame 24 (0.363, reject) |
### [03-1] TARGET (정답 Frame 13)
| 순위 | Baseline | Ablated |
|---|---|---|
| 1 | Frame 13 🎯 (0.927, use_as_is) | Frame 13 🎯 (0.914, use_as_is) |
| 2 | Frame 20 (0.841, light_edit) | Frame 20 (0.813, light_edit) |
| 3 | Frame 28 (0.720, reject) | Frame 28 (0.671, restructure) |
### [03-2] TARGET (정답 Frame 29)
| 순위 | Baseline | Ablated |
|---|---|---|
| 1 | Frame 29 🎯 (0.920, use_as_is) | Frame 29 🎯 (0.906, use_as_is) |
| 2 | Frame 18 (0.814, reject) | Frame 18 (0.781, light_edit) |
| 3 | Frame 23 (0.647, reject) | Frame 24 (0.664, restructure) |
### [01-1] Holdout (holdout)
| 순위 | Baseline | Ablated |
|---|---|---|
| 1 | Frame 11 (0.910, use_as_is) | Frame 11 (0.894, light_edit) |
| 2 | Frame 12 (0.826, light_edit) | Frame 12 (0.795, light_edit) |
| 3 | Frame 20 (0.817, light_edit) | Frame 20 (0.784, light_edit) |
### [02-1] Holdout (holdout)
| 순위 | Baseline | Ablated |
|---|---|---|
| 1 | Frame 12 (0.914, use_as_is) | Frame 12 (0.899, light_edit) |
| 2 | Frame 14 (0.766, reject) | Frame 14 (0.724, restructure) |
| 3 | Frame 20 (0.751, reject) | Frame 20 (0.707, restructure) |
### [02-2.1] Holdout (holdout)
| 순위 | Baseline | Ablated |
|---|---|---|
| 1 | Frame 7 (0.469, reject) | Frame 7 (0.464, reject) |
| 2 | Frame 24 (0.465, reject) | Frame 24 (0.459, reject) |
| 3 | Frame 6 (0.465, reject) | Frame 29 (0.459, reject) |
## 결과 3 — 라벨 분포 변화 (32 frame 기준)
| MDX | use_as_is | light_edit | restructure | reject |
|---|---|---|---|---|
| 01-2 | 1 | 1→2 | 2 | 28→27 |
| 02-2.2 | 0 | 0 | 0 | 32 |
| 03-1 | 1 | 1 | 0→2 | 30→28 |
| 03-2 | 1 | 0→1 | 1 | 30→29 |
| 01-1 | 1→0 | 2→3 | 2→4 | 27→25 |
| 02-1 | 1→0 | 0→1 | 1→4 | 30→27 |
| 02-2.1 | 0 | 0 | 0 | 32 |
## 결론
- **Top-1 일치 섹션 수**: 7/7
- **Top-3 멤버 일치 섹션 수**: 5/7
- **TARGET Top-1 정답률**: Baseline 3/4 → Ablated 3/4