NORMALIZED TOKEN INVENTORY — Step 4.2 확정 스냅샷

1. 파이프라인 처리 흐름

단계 산출 역할
Step 1 actual_text_nodes.yaml Figma texts.md 의 - list item + MDX 본문에서 text_node 추출. HTML tag / markdown / HTML entity 정리. 1글자 / 순수숫자 / 단일기호 제외.
Step 2 actual_text_tokens.yaml Kiwi 형태소 분석 (NNG / NNP / SL / SN). 1글자 / 순수숫자 제외. synonym 미적용.
Step 2.5 special_forms_inventory.yaml S/W, H/W, 2D, 3D, BIM, DX, AS-IS, TO-BE 실제 표기형 관찰 (occurrences + nodes + source breakdown).
Step 4.2 normalized_text_tokens.yaml, replacement_report.yaml PRE_COLLAPSE (4 regex) + phrase_variants 치환 → Kiwi user_dict (SL 8 + NNG 5) → 동일 필터.

2. 전체 카운트

소스 raw tokens unique tokens
BEPS (1 frame) 10,520 1,706
Frames (32) 1,124 avg 24.7 / frame
MDX (3) 1,099 avg 189.7 / MDX
Corpus 12,743 1,752

총 occurrence: 12,743

3. Special tokens 통계

3.1 Step 4.2 정규화 후 (token 기준)

token occurrence frame_df mdx_df
S/W 223 6 / 32 3 / 3
H/W 23 2 / 32 1 / 3
2D 14 2 / 32 3 / 3
3D 77 8 / 32 3 / 3
DX 81 2 / 32 3 / 3
BIM 178 4 / 32 2 / 3
As-is 2 0 / 32 1 / 3
To-Be 2 0 / 32 1 / 3

3.2 Step 2.5 원본 표기형 관찰 (문자열 기준)

target occurrences (total) source breakdown (b/f/m) nodes (total) observed_forms
S/W 224 b197 / f21 / m6 172 —
H/W 23 b20 / f2 / m1 21 —
2D 14 b8 / f2 / m4 14 —
3D 77 b49 / f15 / m13 70 —
DX 53 b25 / f7 / m21 50 —
BIM 178 b148 / f11 / m19 159 —
AS-IS 2 b1 / f0 / m1 2 As-is×2
TO-BE 2 b1 / f0 / m1 2 To-Be×1, To-be×1

4. Applied replacements

4.1 PRE_COLLAPSE (regex, 4 rules)

rule_id applied
digital_transition_with_dx 5
dx_with_digital_transition 4
dx_with_english_fullname 2

pre_collapse_total: 11

4.2 phrase_variants 치환 카운트

canonical applied
DX 27
과정혁신 16
시행착오 1
의사소통 1
필수조건 1
결과혁신 1
To-Be 1

applied_replacements total: 48 total_text_changes (pre_collapse + phrase): 59

4.3 phrase_variants 룰 정의 (synonyms.yaml)

canonical variants
DX 디지털 전환, 디지털전환, 디지털 트랜스포메이션
결과혁신 결과 혁신, 결과의 혁신, Product의 변화, Product 혁신
과정혁신 과정 혁신, 과정의 혁신, Process 혁신, 프로세스 혁신
필수조건 필수 요건, 필수요건
의사소통 의사 소통
시행착오 시행 착오
As-is As Is, As_is, as-is
To-Be To-be, To Be, To_be

5. Frame 별 unique token count (32개)

frame # frame_id raw tokens unique tokens
1 1171281172 0 0
2 1171281173 0 0
3 1171281174 0 0
4 1171281175 29 29
5 1171281176 24 20
6 1171281177 27 21
7 1171281178 0 0
8 1171281179 77 54
9 1171281180 0 0
10 1171281181 0 0
11 1171281182 21 17
12 1171281189 71 56
13 1171281190 84 57
14 1171281191 109 69
15 1171281192 73 60
16 1171281193 0 0
17 1171281194 0 0
18 1171281195 160 106
19 1171281197 0 0
20 1171281198 49 38
21 1171281201 0 0
22 1171281202 0 0
23 1171281203 0 0
24 1171281204 0 0
25 1171281205 0 0
26 1171281206 0 0
27 1171281208 0 0
28 1171281209 0 0
29 1171281210 158 112
30 1171281211 36 34
31 1171281212 206 116
32 1171281213 0 0

6. TARGET frames 상세 (13 / 14 / 18 / 29)

Frame 13 / 1171281190

필수조건 / 기술 / 디지털 / 기반 / 건설 / 산업 / 토목 / 지식 / 단계 / 근본 / 이해 / 경험 / 전문 / 보유 / S/W / Digital / Technology / 다양 / 도구 / H/W / Process / 효과 / 통합 / 사람 / 역량 / 분야 / 기술자 / 엔지니어 / Know / how / 융합 / 축적 / 개발 / 개발자 / 형태 / Solution / Programmer / 자연 / 여건 / 사회 / 기업 / 제도 / 목표 / 설정 / 지침 / 탈피 / 수행 / 사례 / 검증 / 시행 / 지속 / 장기 / 투자 / 능력 / 의지 / 규모 / 과정혁신

Frame 14 / 1171281191

발주 / 목표 / 시공 / 설계자 / 민원 / 작업 / 예방 / 최소 / 직관 / 품질 / 향상 / 안정 / 제고 / 수행 / 공정 / 이해 / 관리 / 편의 / 증진 / 실무자 / 소통 / 오류 / 행정 / 자동 / 생산 / 건설 / 정보 / 통합 / 활용 / 강화 / 생애 / 주기 / 효율 / 디지털 / 자산 / 공사 / Risk / 시각 / 안전 / 중간 / 완성 / 측량 / 공간 / 편리 / 관계자 / 의사소통 / Model / 세도 / 관련 / 도서 / 작성 / System / 구축 / 기술 / 개발 / 원활 / 3D / 모델 / Claim / 상호 / 신뢰 / 부가 / 가치 / 창출 / 산업 / 전환 / 프로젝트 / 일관 / 유지

Frame 18 / 1171281195

BIM / DX / 이해 / vs. / Only / 3D / 모델 / 제작 / 상용 / S/W / Civil / Revit / Navisworks / Autocad / 기존 / 2D / 설계 / 방식 / 유지 / 중심 / 성과 / 일반 / 향상 / 시공 / 운영 / 분야 / 단절 / 단순 / 오류 / 수동 / 집단 / 동질 / 소극 / 기술 / 의존 / 제작사 / 판매 / 정책 / 평준 / 국내 / 규모 / 교육 / 집중 / 토목 / 해외 / 증가 / 프로세스 / 성과물 / 활용 / 확장 / 수행 / 개념 / CIVIL / IT / 주체 / 발주처 / 설계사 / 시공사 / ENG. / Management / 포함 / 전용 / Rhino / Sketchup / Blender / EG / 근본 / 문제 / 의식 / 개선 / 공학 / 정보 / 콘텐츠 / 연계 / 도면 / 수량 / 계획 / 일식 / 혁신 / 정립 / 생애 / 주기 / 시스템 / 구체 / 적극 / 실현 / 방안 / 접목 / 융합 / 자체 / 능력 / 지속 / 가능 / 확보 / 차별 / 경쟁력 / 진출 / ENG / 개발 / 건설 / 산업 / 과정 / 기초 / 일부분 / 인지 / 중요

Frame 29 / 1171281210

개념 / 도서 / 행정 / 절차 / 중심 / 2D / 도면 / 전문가 / 규정 / 업무 / 구분 / 단절 / 책임 / 시각 / 목적물 / 소통 / 투명 / 3D / 모델 / 참여자 / 실체 / 협업 / 복합 / 창의 / 위치 / 기반 / 지리 / 지형 / 지반 / 상태 / 포함 / GIS / 형상 / 내용 / 속성 / 건설 / 정보 / BIM / 연계 / 과정혁신 / 인프라 / 산업 / 등고선 / 지형도 / 수치 / 본태 / 측량 / 획득 / 구축 / 필수 / 설계 / 시공 / 관련 / 기술 / 정리 / 디지털 / S/W / 축적 / 작성 / 분절 / Analogue / 방식 / 성과물 / 가능 / Solution / 제공 / 과거 / 수작업 / 시행 / 발생 / 오류 / 최소 / 정확 / Data / 계획 / 개선 / 품질 / 의존 / 수량 / 계산서 / 시방서 / 시뮬레이션 / Digital / Information / and / Products / 추가 / 숫자 / 확인 / 진행 / 과정 / 지속 / 존속 / Graphic / 활용 / 기존 / 수준 / 공학 / 사이니지 / H/W / 시스템 / Engn. / 프로젝트 / 이슈 / 검토 / 논의 / 다양 / 단계 / 데이터 / 저장 / 통합 / 관리

7. Top 50 by frequency

token count frame_count mdx_count
정보 243 8 3
S/W 223 6 3
건설 199 8 3
BIM 178 4 2
관리 172 4 3
모델 170 5 3
기반 168 7 3
시공 160 7 3
설계 151 4 3
기술 143 7 3
공사 102 3 1
계획 98 4 3
개발 92 4 2
산업 90 7 1
DX 81 2 3
활용 79 5 3
3D 77 8 3
사용 76 5 1
업무 76 5 3
수행 74 5 3
중심 72 3 3
필요 70 3 3
디지털 70 4 3
현장 70 1 1
효율 65 2 2
작업 65 3 1
품질 61 4 3
가능 60 4 1
단계 58 4 2
시스템 58 2 2
작성 57 5 2
다양 57 4 3
공정 56 3 1
확인 55 2 1
지원 55 0 0
방식 55 4 3
데이터 55 2 3
향상 51 4 3
안전 49 3 2
생산 48 5 2
사업 47 2 0
위치 47 3 2
유지 47 4 3
현황 46 2 0
구축 46 3 2
이해 45 6 3
비용 45 2 3
형상 44 4 2
운영 44 3 2
협업 44 2 3

8. Top 50 by frame_df

token frame_count count mdx_count
정보 8 243 3
건설 8 199 3
3D 8 77 3
기반 7 168 3
시공 7 160 3
기술 7 143 3
산업 7 90 1
S/W 6 223 3
이해 6 45 3
모델 5 170 3
활용 5 79 3
사용 5 76 1
업무 5 76 3
수행 5 74 3
작성 5 57 2
생산 5 48 2
기존 5 40 2
Digital 5 26 3
BIM 4 178 2
관리 4 172 3
설계 4 151 3
계획 4 98 3
개발 4 92 2
디지털 4 70 3
품질 4 61 3
가능 4 60 1
단계 4 58 2
다양 4 57 3
방식 4 55 3
향상 4 51 3
유지 4 47 3
형상 4 44 2
연계 4 42 2
시각 4 40 3
발생 4 39 2
통합 4 39 3
오류 4 36 3
지속 4 32 2
Solution 4 30 2
가치 4 27 3
규모 4 27 2
프로젝트 4 22 2
부가 4 21 2
과정혁신 4 16 1
공사 3 102 1
중심 3 72 3
필요 3 70 3
작업 3 65 1
공정 3 56 1
안전 3 49 2

9. 검수 메모