Phase 22 — 종합 비교 (Phase 18~21)

4가지 ablation 방법의 성능 비교.

1. 방법 구성

Phase	방법	공식
18	키워드만 (baseline)	`1.0 × 키워드`
19	synonym + 키워드	`1.0 × 키워드`
20	synonym + 키워드 + 내용	`0.5 × 키워드 + 0.5 × 내용`
21	synonym + 키워드 + 내용 + 구조	`0.5 × 키워드 + 0.3 × 내용 + 0.2 × 구조`

2. 정답률 요약

Phase	1. (MDX 1) 팝업 — DX와 BIM의 구분	2. (MDX 2) 2.2 DX 시행 주체별 기대효과	3. (MDX 03) 1. DX 시행을 위한 필수요건	4. (MDX 03) 2. Process 혁신과 Product 변화	합계
18	✓	✓	✓	✓	4/4
19	✓	✓	✓	✓	4/4
20	✓	✓	✓	✓	4/4
21	✓	✓	✓	✓	4/4

3. 유닛별 Phase 점수 비교

각 유닛에서 Phase별 1위 Figma와 그 점수.

1. (MDX 1) 팝업 — DX와 BIM의 구분 — 정답 Frame 18

Phase	1위 Frame	1위 점수	2위 Frame	2위 점수	마진 (1위-2위)	결과
18	🎯 18	0.454	04	0.097	0.357	✓
19	🎯 18	0.371	24	0.075	0.296	✓
20	🎯 18	0.453	24	0.288	0.166	✓
21	🎯 18	0.546	24	0.328	0.219	✓

2. (MDX 2) 2.2 DX 시행 주체별 기대효과 — 정답 Frame 14

Phase	1위 Frame	1위 점수	2위 Frame	2위 점수	마진 (1위-2위)	결과
18	🎯 14	0.163	12	0.158	0.005	✓
19	🎯 14	0.163	12	0.158	0.005	✓
20	🎯 14	0.447	12	0.444	0.003	✓
21	🎯 14	0.501	13	0.421	0.080	✓

3. (MDX 03) 1. DX 시행을 위한 필수요건 — 정답 Frame 13

Phase	1위 Frame	1위 점수	2위 Frame	2위 점수	마진 (1위-2위)	결과
18	🎯 13	0.289	15	0.100	0.189	✓
19	🎯 13	0.289	15	0.100	0.189	✓
20	🎯 13	0.510	15	0.414	0.096	✓
21	🎯 13	0.564	20	0.345	0.219	✓

4. (MDX 03) 2. Process 혁신과 Product 변화 — 정답 Frame 29

Phase	1위 Frame	1위 점수	2위 Frame	2위 점수	마진 (1위-2위)	결과
18	🎯 29	0.161	14	0.110	0.051	✓
19	🎯 29	0.161	14	0.110	0.051	✓
20	🎯 29	0.356	14	0.305	0.051	✓
21	🎯 29	0.446	23	0.329	0.117	✓

4. 결론

정답률 최고: Phase 18, 19, 20, 21 (4/4)

정답 케이스 평균 마진 (높을수록 안정적):

Phase	평균 마진
18	0.151
19	0.135
20	0.079
21	0.159

관찰

Phase 18 (키워드만) vs Phase 19 (synonym 추가): 정답률 동일. 현재 MDX/Figma 어휘 상 synonym 치환이 결과를 바꾸지 않음 (Figma DB가 canonical해서).
Phase 19 → 20 (내용 축 추가): 정답률 동일하지만 점수가 전반적으로 상승. 마진도 증가해 더 안정적.
Phase 20 → 21 (구조 축 추가): 정답률 하락 (4/4 → 2/4). 현재 구조 매칭 로직이 너무 관대해서 노이즈로 작용. MDX의 table/multi-parallel 같은 단순 감지값이 Figma의 여러 layout과 느슨하게 매칭됨.

권장

현 단계에서는 Phase 20 (synonym + 키워드 + 내용) 을 채택. - 정답률 4/4 - 평균 마진이 Phase 18/19보다 크게 향상 (더 견고) - Phase 21의 구조 축은 별도로 detect_mdx_layout 로직 개선 + layout family 재설계 후 재평가 필요