Kyeongmin/C.E.L_Slide_test2
1
0
Fork 0
Code Issues 6 Pull Requests Actions Packages Projects Releases Wiki Activity
Files
main
C.E.L_Slide_test2/tests/matching/_archive/NORMALIZED_TOKEN_INVENTORY.md
T
KyeongminandClaude Opus 4.8 b836e79ee1 wip: phase_z2 evidence 파이프라인 + matching 실험(phase2~26) + 프론트 trace 패널 진행분 스냅샷 
- src: phase_z2 composition/mapper/pipeline/placement_planner/retry, ai_fallback(prompts/schema/validate), mdx_text_atoms 신규
- Front: PipelineTracePanel 신규, FramePanel/SlideCanvas/Home/designAgentApi 등 갱신 + 테스트 4종 추가
- templates/phase_z2: catalog(component_expansion_registry, node_slot_mapping 신규), frames, families, slide_base 갱신
- tests/matching: phase2~26 매칭 실험 스크립트·리포트·온톨로지 전체 (미커밋 진행분)
- tests: b4_v4 evidence, task5~28.5 시리즈, regression(imp95 baseline) 등 신규 테스트 대량 추가
- docs/reference: MDX 구조 인벤토리, MDX→Frame 구조 계약 문서
- scripts: mdx 계약/parity/coverage/viewport 체크, gitea comment, run sync 유틸
- .gitignore: tmp*.json, chromedriver, .orchestrator, *.pkl, Front_test* 등 임시/스냅샷 제외

미완성 작업의 보존용 스냅샷 커밋 (2026-07-02)

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
2026-07-02 17:03:42 +09:00

11 KiB
Raw Permalink Blame History

NORMALIZED TOKEN INVENTORY — Step 4.2 확정 스냅샷

0. Executive Summary

BEPS / Figma / MDX 에서 실제 텍스트를 수집해 중복 제거 후 2,124개 문장 / 항목을 정리하였다. 형태소 분석 단계에서는 13,911개 단어 출현을 확인했고, 정규화 후 최종 14,228개 단어 출현 / 1,743개 키워드 후보로 정리하였다. 이 후보 목록을 바탕으로 각 Figma 프레임별 핵심 키워드 (anchor keyword) 를 선별한다.

1,758개 = 전체 키워드 후보 풀 (anchor keyword 는 이 중에서 프레임별로 선별할 핵심 키워드)

1. 파이프라인 처리 흐름

단계 산출 역할
Step 1 actual_text_nodes.yaml Figma texts.md 의 - list item + MDX 본문에서 text_node 추출. HTML tag / markdown / HTML entity 정리. 1글자 / 순수숫자 / 단일기호 제외.
Step 2 actual_text_tokens.yaml Kiwi 형태소 분석 (NNG / NNP / SL / SN). 1글자 / 순수숫자 제외. synonym 미적용.
Step 2.5 special_forms_inventory.yaml S/W, H/W, 2D, 3D, BIM, DX, AS-IS, TO-BE 실제 표기형 관찰 (occurrences + nodes + source breakdown).
Step 4.2 normalized_text_tokens.yaml, replacement_report.yaml PRE_COLLAPSE (4 regex) + phrase_variants 치환 → Kiwi user_dict (SL 8 + NNG 5) → 동일 필터.

2. 전체 카운트

소스 raw tokens unique tokens
BEPS (1 frame) 10,517 1,708
Frames (32) 2,967 avg 63.6 / frame
MDX (3) 744 avg 117.2 / MDX
Corpus 14,228 1,743

총 occurrence: 14,228

3. Special tokens 통계

3.1 Step 4.2 정규화 후 (token 기준)

token occurrence frame_df mdx_df
S/W 286 22 / 32 4 / 3
H/W 28 6 / 32 1 / 3
2D 14 3 / 32 3 / 3
3D 83 13 / 32 3 / 3
DX 83 9 / 32 4 / 3
BIM 187 12 / 32 2 / 3
As-is 2 0 / 32 1 / 3
To-Be 2 0 / 32 1 / 3

3.2 Step 2.5 원본 표기형 관찰 (문자열 기준)

target occurrences (total) source breakdown (b/f/m) nodes (total) observed_forms
S/W 287 b197 / f84 / m6 230 —
H/W 28 b20 / f7 / m1 26 —
2D 14 b8 / f3 / m3 14 —
3D 83 b49 / f23 / m11 76 —
DX 50 b25 / f12 / m13 48 —
BIM 187 b148 / f28 / m11 169 —
AS-IS 2 b1 / f0 / m1 2 As-is×2
TO-BE 2 b1 / f0 / m1 2 To-Be×1, To-be×1

4. Applied replacements

4.1 PRE_COLLAPSE (regex, 4 rules)

rule_id applied
digital_transition_with_dx 6
dx_with_digital_transition 4

pre_collapse_total: 10

4.2 phrase_variants 치환 카운트

canonical applied
DX 32
과정혁신 19
시행착오 1
의사소통 1
필수조건 1
결과혁신 1
To-Be 1

applied_replacements total: 56 total_text_changes (pre_collapse + phrase): 66

4.3 phrase_variants 룰 정의 (synonyms.yaml)

canonical variants
DX 디지털 전환, 디지털전환, 디지털 트랜스포메이션
결과혁신 결과 혁신, 결과의 혁신, Product의 변화, Product 혁신
과정혁신 과정 혁신, 과정의 혁신, Process 혁신, 프로세스 혁신
필수조건 필수 요건, 필수요건
의사소통 의사 소통
시행착오 시행 착오
As-is As Is, As_is, as-is
To-Be To-be, To Be, To_be

5. Frame 별 unique token count (32개)

frame # frame_id raw tokens unique tokens
1 1171281172 19 18
2 1171281173 42 32
3 1171281174 18 17
4 1171281175 59 45
5 1171281176 28 21
6 1171281177 62 43
7 1171281178 243 147
8 1171281179 87 60
9 1171281180 42 28
10 1171281181 24 22
11 1171281182 45 28
12 1171281189 71 56
13 1171281190 84 57
14 1171281191 109 69
15 1171281192 115 83
16 1171281193 229 149
17 1171281194 150 97
18 1171281195 160 106
19 1171281197 64 45
20 1171281198 61 42
21 1171281201 44 34
22 1171281202 46 43
23 1171281203 148 100
24 1171281204 214 127
25 1171281205 48 43
26 1171281206 45 36
27 1171281208 38 30
28 1171281209 68 48
29 1171281210 164 115
30 1171281211 135 96
31 1171281212 222 126
32 1171281213 83 73

6. TARGET frames 상세 (13 / 14 / 18 / 29)

Frame 13 / 1171281190

  • raw_token_count: 84

  • unique_token_count: 57

  • unique_tokens:

    필수조건 / 기술 / 디지털 / 기반 / 지식 / 건설 / 산업 / 토목 / 단계 / 근본 / 이해 / 경험 / 전문 / 보유 / S/W / Digital / Technology / 다양 / 도구 / H/W / Process / 효과 / 통합 / 사람 / 역량 / 분야 / 기술자 / 엔지니어 / Know / how / 융합 / 축적 / 개발 / 개발자 / 형태 / Solution / Programmer / 자연 / 여건 / 사회 / 기업 / 제도 / 목표 / 설정 / 지침 / 탈피 / 수행 / 사례 / 검증 / 시행 / 지속 / 장기 / 투자 / 능력 / 의지 / 규모 / 과정혁신

Frame 14 / 1171281191

  • raw_token_count: 109

  • unique_token_count: 69

  • unique_tokens:

    발주 / 목표 / 시공 / 설계자 / 민원 / 작업 / 예방 / 최소 / 직관 / 품질 / 향상 / 안정 / 제고 / 수행 / 공정 / 이해 / 관리 / 편의 / 증진 / 실무자 / 소통 / 오류 / 행정 / 자동 / 생산 / 건설 / 정보 / 통합 / 활용 / 강화 / 생애 / 주기 / 효율 / 디지털 / 자산 / 공사 / Risk / 시각 / 안전 / 중간 / 완성 / 측량 / 공간 / 편리 / 관계자 / 의사소통 / Model / 세도 / 관련 / 도서 / 작성 / System / 구축 / 기술 / 개발 / 원활 / 3D / 모델 / Claim / 상호 / 신뢰 / 부가 / 가치 / 창출 / 산업 / 전환 / 프로젝트 / 일관 / 유지

Frame 18 / 1171281195

  • raw_token_count: 160

  • unique_token_count: 106

  • unique_tokens:

    BIM / DX / 이해 / vs. / Only / 3D / 모델 / 제작 / 상용 / S/W / Civil / Revit / Navisworks / Autocad / 기존 / 2D / 설계 / 방식 / 유지 / 중심 / 성과 / 일반 / 향상 / 분야 / 단절 / 시공 / 운영 / 단순 / 수동 / 집단 / 동질 / 오류 / 소극 / 기술 / 의존 / 제작사 / 판매 / 정책 / 평준 / 국내 / 규모 / 교육 / 집중 / 토목 / 해외 / 증가 / 프로세스 / 성과물 / 활용 / 확장 / 수행 / 개념 / CIVIL / IT / 주체 / 발주처 / 설계사 / 시공사 / ENG. / Management / 포함 / Rhino / Sketchup / Blender / EG / 전용 / 근본 / 문제 / 의식 / 개선 / 공학 / 정보 / 콘텐츠 / 연계 / 도면 / 수량 / 계획 / 일식 / 혁신 / 정립 / 생애 / 주기 / 시스템 / 구체 / 적극 / 실현 / 방안 / 접목 / 융합 / 자체 / 능력 / 지속 / 가능 / 확보 / 차별 / 경쟁력 / 진출 / ENG / 개발 / 건설 / 산업 / 과정 / 기초 / 일부분 / 인지 / 중요

Frame 29 / 1171281210

  • raw_token_count: 164

  • unique_token_count: 115

  • unique_tokens:

    과정 / 혁신 / Process / 결과 / Products / 개념 / 도서 / 행정 / 절차 / 중심 / 2D / 도면 / 전문가 / 규정 / 업무 / 구분 / 책임 / 단절 / 시각 / 목적물 / 소통 / 투명 / 3D / 모델 / 참여자 / 실체 / 협업 / 창의 / 복합 / 위치 / 기반 / GIS / 건설 / 정보 / 포함 / BIM / 연계 / 과정혁신 / 지리 / 지형 / 지반 / 상태 / 형상 / 내용 / 속성 / 인프라 / 산업 / 등고선 / 지형도 / 수치 / 본태 / 측량 / 획득 / 구축 / 필수 / 설계 / 시공 / 관련 / 기술 / 정리 / 디지털 / S/W / 축적 / 작성 / 분절 / Analogue / 방식 / 성과물 / 가능 / Solution / 제공 / 과거 / 수작업 / 시행 / 발생 / 오류 / 최소 / 정확 / Data / 계획 / 개선 / 품질 / 의존 / 수량 / 계산서 / 시방서 / 시뮬레이션 / Digital / 추가 / Information / and / 숫자 / 확인 / 진행 / 지속 / 존속 / Graphic / 활용 / 기존 / 수준 / 공학 / 사이니지 / 시스템 / H/W / Engn. / 프로젝트 / 이슈 / 검토 / 논의 / 다양 / 단계 / 데이터 / 저장 / 통합 / 관리

7. Top 50 by frequency

token count frame_count mdx_count
S/W 286 22 4
정보 254 13 3
건설 200 15 4
BIM 187 12 2
관리 187 12 3
모델 185 12 3
기반 180 16 3
시공 177 15 4
설계 171 15 4
기술 160 17 3
개발 119 14 2
공사 111 4 1
계획 100 8 3
수행 93 10 3
산업 90 13 1
사용 90 13 0
현장 86 7 1
업무 86 13 3
활용 85 10 4
DX 83 9 4
3D 83 13 3
필요 79 12 3
효율 77 8 2
중심 73 7 4
가능 71 14 1
작업 70 6 1
디지털 68 7 4
단계 67 10 3
품질 65 10 2
시스템 64 6 2
작성 63 10 2
지원 61 5 0
다양 61 9 2
확인 60 4 1
공정 60 6 1
방식 59 9 3
데이터 58 4 3
생산 55 9 2
사업 54 7 0
안전 52 5 1
유지 52 9 3
이해 51 10 3
위치 51 5 2
현황 51 4 0
향상 51 6 3
기능 51 8 0
비용 50 7 2
구축 49 6 2
연계 47 8 2
지식 46 6 1

8. Top 50 by frame_df

token frame_count count mdx_count
S/W 22 286 4
기술 17 160 3
기반 16 180 3
건설 15 200 4
시공 15 177 4
설계 15 171 4
개발 14 119 2
가능 14 71 1
정보 13 254 3
사용 13 90 0
산업 13 90 1
업무 13 86 3
3D 13 83 3
BIM 12 187 2
관리 12 187 3
모델 12 185 3
필요 12 79 3
수행 10 93 3
활용 10 85 4
단계 10 67 3
품질 10 65 2
작성 10 63 2
이해 10 51 3
지속 10 38 2
DX 9 83 4
다양 9 61 2
방식 9 59 3
생산 9 55 2
유지 9 52 3
개념 9 44 2
계획 8 100 3
효율 8 77 2
기능 8 51 0
연계 8 47 2
Solution 8 35 1
토목 8 31 2
현장 7 86 1
중심 7 73 4
디지털 7 68 4
사업 7 54 0
비용 7 50 2
범용 7 45 0
기존 7 44 3
한계 7 34 0
목표 7 32 0
규모 7 30 2
Digital 7 26 2
프로세스 7 26 4
Process 7 24 3
수준 7 21 0

9. 검수 메모

  • DX(DX) 제거 완료 — PRE_COLLAPSE 4개 룰 적용. dx_duplicate 잔여 0건.
  • 3D모델 / 2D도면 canonical 은 일부러 만들지 않음 — 3D / 2D 일반 차원 토큰을 살리기 위함. 이후 anchor_set 단계에서 compound 후보로 별도 생성 가능.
  • As-is / To-Be 는 frame 에 등장하지 않고 BEPS / MDX 중심 — frame_df=0. BEPS/MDX 에만 각 2건.
  • Source of truth 는 actual_text_nodes.yaml + normalized_text_tokens.yaml — 이 보고서는 검수용 snapshot 이다.
Reference in New Issue View Git Blame Copy Permalink