This commit is contained in:
@@ -0,0 +1,98 @@
|
||||
meta:
|
||||
purpose: Holdout 3 섹션 × V1~V4 1위의 합리성 라벨링
|
||||
scale:
|
||||
rational: ○ 이 프레임이 섹션에 합리적으로 적용 가능
|
||||
ambiguous: △ 조건부 가능 / 논란 있음
|
||||
irrational: × 섹션과 안 맞음
|
||||
instruction: 각 sections.<sid>.picks.<V>.rating 을 rational / ambiguous / irrational 중 하나로 채우세요. comment 는 선택 — 판단 근거 짧게.
|
||||
caution:
|
||||
- V4 라벨(use_as_is/reject)에 끌려가지 말 것 — 평가는 "V4 라벨이 맞는가"가 아니라 "이 프레임이 이 섹션에 실제로 합리적인가"를 사용자 눈으로 판단
|
||||
- 현 단계는 1위만 평가 — 대안 탐색(2~3위 합리성) 은 다음 단계로 분리
|
||||
sections:
|
||||
01-1:
|
||||
mdx_title: 1. 용어 정의
|
||||
picks:
|
||||
V1:
|
||||
frame_number: 1
|
||||
metric:
|
||||
matching_score: 0.551
|
||||
rating: null
|
||||
comment: null
|
||||
V2:
|
||||
frame_number: 27
|
||||
metric:
|
||||
semantic_score: 0.588
|
||||
rating: null
|
||||
comment: null
|
||||
V3:
|
||||
frame_number: 20
|
||||
metric:
|
||||
structure_compat: 0.9
|
||||
extra: 3col-cards
|
||||
rating: null
|
||||
comment: null
|
||||
V4:
|
||||
frame_number: 11
|
||||
metric:
|
||||
confidence: 0.91
|
||||
extra: use_as_is
|
||||
rating: null
|
||||
comment: null
|
||||
02-1:
|
||||
mdx_title: 1. DX의 궁극적 목표
|
||||
picks:
|
||||
V1:
|
||||
frame_number: 12
|
||||
metric:
|
||||
matching_score: 0.766
|
||||
rating: null
|
||||
comment: null
|
||||
V2:
|
||||
frame_number: 20
|
||||
metric:
|
||||
semantic_score: 0.59
|
||||
rating: null
|
||||
comment: null
|
||||
V3:
|
||||
frame_number: 20
|
||||
metric:
|
||||
structure_compat: 0.9
|
||||
extra: 3col-cards
|
||||
rating: null
|
||||
comment: null
|
||||
V4:
|
||||
frame_number: 12
|
||||
metric:
|
||||
confidence: 0.914
|
||||
extra: use_as_is
|
||||
rating: null
|
||||
comment: null
|
||||
02-2.1:
|
||||
mdx_title: 2.1 업무 수행 과정(Process)의 변화
|
||||
picks:
|
||||
V1:
|
||||
frame_number: 11
|
||||
metric:
|
||||
matching_score: 0.246
|
||||
rating: null
|
||||
comment: null
|
||||
V2:
|
||||
frame_number: 29
|
||||
metric:
|
||||
semantic_score: 0.551
|
||||
rating: null
|
||||
comment: null
|
||||
V3:
|
||||
frame_number: 3
|
||||
metric:
|
||||
structure_compat: 0.85
|
||||
extra: list-numbered
|
||||
rating: null
|
||||
comment: null
|
||||
V4:
|
||||
frame_number: 29
|
||||
metric:
|
||||
confidence: 0.435
|
||||
extra: reject
|
||||
rating: null
|
||||
comment: null
|
||||
Reference in New Issue
Block a user