73 lines
3.0 KiB
Markdown
73 lines
3.0 KiB
Markdown
# 텍스트 파이프라인 리포트 (Step 1 → 4)
|
||
|
||
**목적**: BEPS + 32 frames + 3 MDX 의 list item 에서 canonical 키워드를 투명한 4단계로 추출. 각 단계 count 제공.
|
||
|
||
## Step 1. 프레임별 texts.md → `- ` list items 수집
|
||
|
||
- **총 raw items**: **1689개**
|
||
- Sources: BEPS 1 + 32 frames + 3 MDX = 36
|
||
|
||
**Source 별 items 수 (상위 10)**:
|
||
|
||
| Source | items |
|
||
|--------|------|
|
||
| BEPS | 1421 |
|
||
| MDX/03 | 33 |
|
||
| Frame/1171281190 | 30 |
|
||
| Frame/1171281191 | 30 |
|
||
| Frame/1171281211 | 30 |
|
||
| Frame/1171281189 | 25 |
|
||
| Frame/1171281212 | 24 |
|
||
| MDX/01 | 24 |
|
||
| Frame/1171281210 | 16 |
|
||
| MDX/02 | 14 |
|
||
| ... | ... |
|
||
|
||
## Step 2. Kiwi 전처리 + 정리
|
||
|
||
- **Kiwi 토큰** (명사/외국어/숫자, len≥2, stopword 제외): **11902개** (중복 포함)
|
||
- 고유 토큰: **1720개**
|
||
- **Atomic 보존** (≤20자, 공백≤1): **566개** (중복 포함)
|
||
- 고유 atomic: **544개**
|
||
- **중복 포함 총합**: 12468개
|
||
|
||
**샘플**:
|
||
|
||
- Kiwi 토큰 예: 1,363, 1., 1.0, 1.4, 180957.4915, 181031.8943, 2., 2.0, 2021.6, 2022.07, 2023.12, 2023.2, 3,676, 3.4, 324457.0714 ...
|
||
- Atomic 예: ( 고객편익), (Digital Technology), (극저비용), (배수구) 보강철근, (쉬운 이해), (시장지배), (직관적 사용성), (초고품질), (초단축), ..., 00 건설, 00공구, 1 %, 101, 198＂ ...
|
||
|
||
## Step 3. 중복 제거
|
||
|
||
- Kiwi 토큰 고유 (1720) ∪ Atomic 고유 (544)
|
||
- **합친 후 고유**: **2115개**
|
||
|
||
## Step 4. Synonym 매칭 정리
|
||
|
||
- synonyms.yaml 의 canonical 로 collapse
|
||
- **collapse 적용 전**: 2115개
|
||
- **collapse 수**: **2개** (variant → canonical 치환)
|
||
- **최종 canonical**: **2115개**
|
||
|
||
**collapse 사례 (상위 20)**:
|
||
|
||
| variant | canonical |
|
||
|---------|-----------|
|
||
| `As-is` | `AS-IS` |
|
||
| `To-Be` | `TO-BE` |
|
||
|
||
### 사용자님 우려 검증 (결과혁신 / DX / 필수조건)
|
||
|
||
| Canonical | collapse 된 원본 | canonical set 포함? |
|
||
|-----------|----------------|-------------------|
|
||
| `결과혁신` | _(매핑 없음)_ | ✗ |
|
||
| `과정혁신` | _(매핑 없음)_ | ✗ |
|
||
| `DX` | _(매핑 없음)_ | ✓ |
|
||
| `필수조건` | _(매핑 없음)_ | ✓ |
|
||
| `3D모델` | _(매핑 없음)_ | ✗ |
|
||
| `2D도면` | _(매핑 없음)_ | ✗ |
|
||
|
||
## 최종 canonical 전체 (alphabetical)
|
||
|
||
`( 고객편익)`, `(Digital Technology)`, `(극저비용)`, `(배수구) 보강철근`, `(쉬운 이해)`, `(시장지배)`, `(직관적 사용성)`, `(초고품질)`, `(초단축)`, `...`, `00 건설`, `00공구`, `1 %`, `1,363`, `1.`, `1.0`, `1.4`, `101`, `180957.4915`, `181031.8943`, `198＂`, `2.`, `2.0`, `2008`, `2010`, `2012`, `2016`, `2017`, `2018`, `2020`, `2021`, `2021.6`, `2022`, `2022.07`, `2023`, `2023.12`, `2023.2`, `23%`, `25.02.08`, `25.02.15`, `25.02.17`, `25.02.18`, `25.02.20`, `3 %`, `3,676`, `3.4`, `324457.0714`, `324494.7112`, `35%`, `3D`, `3D 마우스`, `3D 지반모델`, `3rd Party`, `4,845`, `4.4`, `4.5`, `4.8`, `43%`, `5.0`, `5.4`, `6.4`, `6.5`, `67%`, `7.0`, `70.694`, `71.662`, `96 %`, `ADB`, `AI`, `AIA`, `API`, `AS-IS`, `Accessories`, `Activity`, `Actual`, `Add`, `Aided`, `Analogue`, `Analysis`, `Application`
|
||
... (총 2115개)
|