C.E.L_Slide_test2/tests/PROGRESS.md

PROGRESS — 진행 상황

마지막 업데이트: 2026-04-27

전체 진척도

Phase A (입력)         ████████████████████ 100%
Phase B (키워드)        ████████████████████ 100%
Phase C (매칭 시스템)   ████████████████████ 100%  (C.1~C.8)
Phase D (보고서)        ████████████████████ 100%
Phase E (개선)          ░░░░░░░░░░░░░░░░░░░░   0%  (미시작)
Phase F (후속 모듈)     ░░░░░░░░░░░░░░░░░░░░   0%  (미시작)

완료 항목

Phase A — 입력 자료 수집

• ✅ Figma 32 frame 텍스트 추출 (586 문장)
• ✅ BEPS 마스터 텍스트 (1,410 문장)
• ✅ MDX 4 검증 구간 (129 문장)
• 합계: 37 입력 / 2,125 문장

Phase B — 키워드 추출 + 정리

• ✅ 형태소 분석 (Kiwi) — 13,913 등장 / 1,738 고유
• ✅ 표기 통합 + 보존 규칙 (DX, BIM, S/W 등 13 개 중요 표기)
• ✅ 등장 범위별 분류 — 1,713 = 핵심 451 + 연관 1,238 + 광범위 24
• ✅ 키워드 세트 524 개 (frame-level 시그니처)

Phase C — 매칭 시스템 (V1~V4)

단계	결과
C.1 templates_v1 감사	✅
C.2 taxonomy v2 라벨링 (r1→r2→r3→final→final_r2)	✅ 32 frame 전체 라벨링 + 수동 오버라이드 3건
C.3 Holdout 라벨링 + V1~V4 합리성 평가	✅
C.4 V3 매칭 v2 (r2→r3→r4→r5)	✅ TARGET 4/4 달성
C.5 V4 재실행 (32 frame 전체)	✅ TARGET 4/4 — 2026-07-02 재검증: v4_full32_result.yaml 에서 02-2.2 정답 F14 = rank1/use_as_is/0.939 (anchor 재라벨링 반영본, GitHub issue #4)
C.6 V1 가중치 검증	✅ Logistic Regression 0.414/0.320/0.265, LOOCV 4/4
C.7 BM25 / IDF 비교	✅ 현 방식 우위 (4/4 vs BM25 3/4)
C.8 V4 slot 축 ablation	✅ Top-1 매칭 7/7 동일 (slot 영향 약함)

Phase D — 보고서

• ✅ DECK_01_TARGET_01_2.html — TARGET MDX × V1~V4 Top-3
• ✅ DECK_02_HOLDOUT_02_2_1.html — Holdout MDX × V1~V4 Top-3
• ✅ DECK_03_METHODS.html — V1~V4 방법 설명
• ✅ DECK_04_DB_STRUCTURE.html — MDX 1 vs Top-3 frame 매칭 비교
• ✅ DECK_05_STRUCTURE_KEYWORD.html — 구조 매칭 4 항목 상세
• ✅ DECK_06_FIGMA_TO_DB.html — Frame 18 DB 저장 샘플
• ✅ DECK_07_KEYWORD_PIPELINE.html — 키워드집 정리 과정 + Frame 18 샘플

발견된 약점 (Phase E 작업 대상)

#	약점	발견 시점	개선 우선순위
1	02-2.2 매칭 실패 해소됨 (2026-07-02 확인) — 현행 v4_full32_result.yaml 에서 F14 rank1/use_as_is. "순위 7위" 는 V3 Top-5 한정 평가본(구 r2 파일) 기준이었음	C.5	🥇 1순위 완료
2	MDX 콘텐츠 성격 분석 부정확 — 키워드 사전 매칭이라 MDX 01-2 가 policy_requirements 로 오분류 (실제 comparative_matrix)	C.4	🥈 2순위
3	MDX 시각 의도 분석 부정확 — 동일 한계	C.4	🥈 2순위
4	편집 슬롯 의미 매핑 부재 — "BIM → col_a_label" 매핑 없음. 표 첫 행만 추출	C.5	🥉 3순위
5	V4 cardinality 중복 가중 — cardinality 축 (0.20) + slot.within (0.075) 같은 신호 두 번 평가	C.8 ablation	🥉 3순위
6	V4 slot 축 frame 선별 무영향 — ablation 으로 Top-1 매칭 7/7 동일 확인	C.8 ablation	🥉 3순위 (위 #4 #5 와 함께)
7	표 1행 추출 한계 — 4 행 표여도 첫 행만 본문, 나머지 무시	DECK 04 정직성 점검	4순위
8	그림/이미지 frame 매칭 약함 — 본문 텍스트 패턴만 분석	C.4 r5 검토	4순위

현재 작업 (in progress)

• 🔄 파이프라인 문서화 — README.md / PLAN.md / PROGRESS.md / CLAUDE.md 작성
• ⏸️ Phase E 진입 대기

다음 단계 (제안)

1. Phase E.5 (02-2.2 교정) — 완료 확인 (2026-07-02, TARGET 4/4)
2. Phase E.1 + E.2 (LLM 분석) — 3~5 일, V3 정확도 향상
3. Phase E.3 + E.4 (슬롯 의미 매핑) — 5~7 일, V4 slot 축 진짜 역할 부여

핵심 메시지 (현재 시점)

• ✅ 시스템 구축 완료 — V1~V4 4 단계 매칭 작동
• ✅ TARGET 100% (4/4) — 2026-07-02 재검증 (v4_full32). Logistic Regression 으로 가중치 검증, BM25 보다 우위
• ⚠️ 약점 8 가지 — 위 표 참조. 가장 큰 약점은 키워드 사전 기반 분석의 한계 (LLM 으로 대체 필요)
• 🎯 다음 목표 — TARGET 100% + 슬롯 의미 매핑 모듈 신설