Holdout 합리성 평가 — V1~V4 실사용 가치 비교

Holdout 3 섹션 × 각 버전 1위 프레임에 대해 사용자가 합리성을 합리적 (○) / 애매 (△) / 비합리적 (×) 3단계로 라벨링한 결과.

주의 원칙: (a) V4 라벨(use_as_is/reject) 에 끌려가지 않음 — 사용자가 "이 프레임이 이 섹션에 실제로 합리적인가" 를 직접 판단. (b) 현 단계는 1위만 평가 — 대안 탐색(2~3위) 는 별도 단계.

1. 요약 — V1~V4 합리성 점수

버전	합리성 점수 (0~300)	비율	○	△	×
V1 🥈	100 / 300	33.3%	1	0	2
V2	100 / 300	33.3%	1	0	2
V3	30 / 300	10.0%	0	1	2
V4 🥇	235 / 300	78.3%	2	1	0

V1	V2	V3	V4
Frame 1 개발 패러다임 × irrational (0점)	Frame 27 정부주도 BIM설계 전면 도입 × irrational (0점)	Frame 20 디지털 전환(DX)은 S/W가 필수다. △ ambiguous (30점) 세모 — 완전 합리도 아니고 비합리도 아님	Frame 11 시공단계 BIM 모델과 정보 활용 구분 △ ambiguous (35점) 세모 — V3보다 약간 더 나음

V1	V2	V3	V4
Frame 12 건설산업의 목표 (BIM의 목적) ○ rational (100점)	Frame 20 디지털 전환(DX)은 S/W가 필수다. × irrational (0점)	Frame 20 디지털 전환(DX)은 S/W가 필수다. × irrational (0점)	Frame 12 건설산업의 목표 (BIM의 목적) ○ rational (100점)

V1	V2	V3	V4
Frame 11 시공단계 BIM 모델과 정보 활용 구분 × irrational (0점)	Frame 29 과정 (Process)의 혁신 ○ rational (100점)	Frame 3 국외 × irrational (0점)	Frame 29 과정 (Process)의 혁신 ○ rational (100점)

V2 고유 가치 확인: 섹션 02-2.1 에서 V1 × (비합리) 를 V2 가 ○ (합리) 로 교정. → V2 의 의미 축이 V1 키워드가 놓치는 케이스를 잡아낼 수 있다는 증거.
V4 종합 판단 능력: 3/3 섹션에서 V4 가 다른 버전과 같거나 더 나은 합리성. 특히 02-1 (V2/V3 × → V4 ○) 과 02-2.1 (V1 × → V4 ○) 에서 V4 가 다른 축의 오답을 거르거나 좋은 신호를 선택.
V3 현재 세팅의 한계: V3 합리성 비율 10.0% — 평균 이하. 현재 구조 호환도(_COMPAT) 가 오히려 잘못된 방향으로 유도하는 경우 있음 (예: 02-1 에서 V3 가 V1 의 올바른 1위를 밀어내고 비합리 프레임을 올림).
V1 baseline 한계: 1/3 섹션만 합리 — V1 단독으로는 Holdout 난이도 케이스에 불충분함 확인.

부분 증명. V2 가 V1 을 교정한 사례 02-2.1 가 있음. 다만 샘플 3건은 통계적 결론에 부족 — 추세를 보여주는 증거 수준.

버전별 기여도 한 줄:

V1 (키워드): 100/300 — baseline. 키워드가 명확히 대응될 때만 합리.
V2 (의미): 100/300 — V1 이 놓친 의미적 대응을 잡아낼 수 있음 (02-2.1 사례). 다만 키워드가 강한 경우 오히려 엉뚱한 방향으로 갈 위험도 있음 (02-1 사례).
V3 (구조): 30/300 — 현재 세팅에서는 기여 약함. 구조 taxonomy 재설계 시 재평가 필요.
V4 (종합 판단): 235/300 — 가장 균형 있음. V1/V2/V3 신호를 선별적으로 받아 최종 판단 잘 함.

제한: - 라벨 샘플 3건 (통계적 결론 부족) - 1위만 평가 — 대안 탐색(2~3위) 능력 미검증 - 라벨 자체가 사용자 1인 판단 — 검토자 합의 없음

다음 단계 후보: - 옵션 3 (새 TARGET 추가) — 유형 B 케이스 확보 - Top-3 라벨링 확장 — 대안 탐색 평가 - V3 taxonomy 재설계 (현재 V3 약세 해결 시도) - Holdout 정답 특정 가능하면 옵션 1 로 정량 평가 보강