99 lines
2.5 KiB
YAML
99 lines
2.5 KiB
YAML
meta:
|
||
purpose: Holdout 3 섹션 × V1~V4 1위의 합리성 라벨링
|
||
scale:
|
||
rational: ○ 이 프레임이 섹션에 합리적으로 적용 가능
|
||
ambiguous: △ 조건부 가능 / 논란 있음
|
||
irrational: × 섹션과 안 맞음
|
||
instruction: 각 sections.<sid>.picks.<V>.rating 을 rational / ambiguous / irrational 중 하나로 채우세요. comment 는 선택 — 판단 근거 짧게.
|
||
caution:
|
||
- V4 라벨(use_as_is/reject)에 끌려가지 말 것 — 평가는 "V4 라벨이 맞는가"가 아니라 "이 프레임이 이 섹션에 실제로 합리적인가"를 사용자 눈으로 판단
|
||
- 현 단계는 1위만 평가 — 대안 탐색(2~3위 합리성) 은 다음 단계로 분리
|
||
sections:
|
||
01-1:
|
||
mdx_title: 1. 용어 정의
|
||
picks:
|
||
V1:
|
||
frame_number: 1
|
||
metric:
|
||
matching_score: 0.551
|
||
rating: null
|
||
comment: null
|
||
V2:
|
||
frame_number: 27
|
||
metric:
|
||
semantic_score: 0.588
|
||
rating: null
|
||
comment: null
|
||
V3:
|
||
frame_number: 20
|
||
metric:
|
||
structure_compat: 0.9
|
||
extra: 3col-cards
|
||
rating: null
|
||
comment: null
|
||
V4:
|
||
frame_number: 11
|
||
metric:
|
||
confidence: 0.91
|
||
extra: use_as_is
|
||
rating: null
|
||
comment: null
|
||
02-1:
|
||
mdx_title: 1. DX의 궁극적 목표
|
||
picks:
|
||
V1:
|
||
frame_number: 12
|
||
metric:
|
||
matching_score: 0.766
|
||
rating: null
|
||
comment: null
|
||
V2:
|
||
frame_number: 20
|
||
metric:
|
||
semantic_score: 0.59
|
||
rating: null
|
||
comment: null
|
||
V3:
|
||
frame_number: 20
|
||
metric:
|
||
structure_compat: 0.9
|
||
extra: 3col-cards
|
||
rating: null
|
||
comment: null
|
||
V4:
|
||
frame_number: 12
|
||
metric:
|
||
confidence: 0.914
|
||
extra: use_as_is
|
||
rating: null
|
||
comment: null
|
||
02-2.1:
|
||
mdx_title: 2.1 업무 수행 과정(Process)의 변화
|
||
picks:
|
||
V1:
|
||
frame_number: 11
|
||
metric:
|
||
matching_score: 0.246
|
||
rating: null
|
||
comment: null
|
||
V2:
|
||
frame_number: 29
|
||
metric:
|
||
semantic_score: 0.551
|
||
rating: null
|
||
comment: null
|
||
V3:
|
||
frame_number: 3
|
||
metric:
|
||
structure_compat: 0.85
|
||
extra: list-numbered
|
||
rating: null
|
||
comment: null
|
||
V4:
|
||
frame_number: 29
|
||
metric:
|
||
confidence: 0.435
|
||
extra: reject
|
||
rating: null
|
||
comment: null
|