9.2 KiB
9.2 KiB
Phase 7 — 2~3단계 파이프라인 검증
한 줄 결론(사용자): semantic 단독 승자 말고, Kiwi+BM25로 top-k 후보 → 청킹+SBERT나 Cross로 rerank → 필요시 구조 감점, 2~3단계 파이프라인으로.
방향 3 — Kiwi+BM25 recall: Top-3 4/4, Top-5 4/4 (retriever 단계에서 정답이 후보군에 들어있는가 = 파이프라인 이론 상한)
Kiwi+BM25 Top-5 후보 목록
| 유닛 | 정답 | Top-5 후보 | 정답 포함? |
|---|---|---|---|
| 1. (MDX 1) 팝업 — DX와 BIM의 구분 | 18 | 18, 16, 17, 29, 24 | ✓ |
| 2. (MDX 2) 2.2 DX 시행 주체별 기대효과 | 14 | 14, 12, 29, 07, 08 | ✓ |
| 3. (MDX 03) 1. DX 시행을 위한 필수요건 | 13 | 15, 13, 16, 20, 18 | ✓ |
| 4. (MDX 03) 2. Process 혁신과 Product 변화 | 29 | 29, 12, 07, 18, 08 | ✓ |
전략별 1순위 정답률 집계
| 전략 | MDX1 팝업(18) | MDX2 2.2(14) | MDX03-1(13) | MDX03-2(29) | 합계 |
|---|---|---|---|---|---|
| Kiwi+BM25 단독 | ✓ | ✓ | ✗(15) | ✓ | 3/4 |
| Cross 단독 | ✗(24) | ✓ | ✓ | ✗(16) | 2/4 |
| 청킹+SBERT 단독 | ✓ | ✗(07) | ✗(15) | ✓ | 2/4 |
| BM25 top5 → Cross rerank | ✗(24) | ✓ | ✓ | ✓ | 3/4 |
| BM25 top5 → 청킹+SBERT rerank | ✓ | ✗(07) | ✗(15) | ✓ | 2/4 |
| BM25+Cross + 구조 감점(α=0.3) | ✗(17) | ✓ | ✗(16) | ✗(18) | 1/4 |
| BM25+SBERT-청크 + 구조 감점 | ✗(17) | ✗(07) | ✗(18) | ✗(18) | 0/4 |
유닛별 전략 Top-3 상세
1. (MDX 1) 팝업 — DX와 BIM의 구분 — 정답 Frame 18
| 전략 | 1순위 | 2순위 | 3순위 |
|---|---|---|---|
| Kiwi+BM25 단독 | ⭐  18 BIM과 DX의 이해 |
 16 |
 17 현황 및 문제점 |
| Cross 단독 |  24 Engn. S/W의 구성 과… |
 07 |
 10 현장 실효성 증대 위한 **… |
| 청킹+SBERT 단독 | ⭐ 18 BIM과 DX의 이해 |
 09 시공 전 모델 기반 시공상세… |
 25 3rd Party |
| BM25 top5 → Cross rerank | 24 Engn. S/W의 구성 과… |
17 현황 및 문제점 |
⭐ 18 BIM과 DX의 이해 |
| BM25 top5 → 청킹+SBERT rerank | ⭐ 18 BIM과 DX의 이해 |
 29 좌측 배너 과정 (Proce… |
24 Engn. S/W의 구성 과… |
| BM25+Cross + 구조 감점(α=0.3) | 17 현황 및 문제점 |
⭐ 18 BIM과 DX의 이해 |
16 |
| BM25+SBERT-청크 + 구조 감점 | 17 현황 및 문제점 |
⭐ 18 BIM과 DX의 이해 |
29 좌측 배너 과정 (Proce… |
2. (MDX 2) 2.2 DX 시행 주체별 기대효과 — 정답 Frame 14
| 전략 | 1순위 | 2순위 | 3순위 |
|---|---|---|---|
| Kiwi+BM25 단독 | ⭐  14 |
 12 건설산업의 목표 (BIM의 … |
29 좌측 배너 과정 (Proce… |
| Cross 단독 | ⭐ 14 |
 23 Application S/W… |
18 BIM과 DX의 이해 |
| 청킹+SBERT 단독 | 07 |
18 BIM과 DX의 이해 |
09 시공 전 모델 기반 시공상세… |
| BM25 top5 → Cross rerank | ⭐ 14 |
29 좌측 배너 과정 (Proce… |
 08 효율적인 정보의 관리와 활용 |
| BM25 top5 → 청킹+SBERT rerank | 07 |
29 좌측 배너 과정 (Proce… |
08 효율적인 정보의 관리와 활용 |
| BM25+Cross + 구조 감점(α=0.3) | ⭐ 14 |
07 |
08 효율적인 정보의 관리와 활용 |
| BM25+SBERT-청크 + 구조 감점 | 07 |
08 효율적인 정보의 관리와 활용 |
29 좌측 배너 과정 (Proce… |
3. (MDX 03) 1. DX 시행을 위한 필수요건 — 정답 Frame 13
| 전략 | 1순위 | 2순위 | 3순위 |
|---|---|---|---|
| Kiwi+BM25 단독 |  15 정책목표 |
⭐  13 필수조건 |
16 |
| Cross 단독 | ⭐ 13 필수조건 |
15 정책목표 |
17 현황 및 문제점 |
| 청킹+SBERT 단독 | 15 정책목표 |
⭐ 13 필수조건 |
 20 디지털 전환(DX)은 S/W… |
| BM25 top5 → Cross rerank | ⭐ 13 필수조건 |
15 정책목표 |
20 디지털 전환(DX)은 S/W… |
| BM25 top5 → 청킹+SBERT rerank | 15 정책목표 |
⭐ 13 필수조건 |
20 디지털 전환(DX)은 S/W… |
| BM25+Cross + 구조 감점(α=0.3) | 16 |
18 BIM과 DX의 이해 |
20 디지털 전환(DX)은 S/W… |
| BM25+SBERT-청크 + 구조 감점 | 18 BIM과 DX의 이해 |
16 |
15 정책목표 |
4. (MDX 03) 2. Process 혁신과 Product 변화 — 정답 Frame 29
| 전략 | 1순위 | 2순위 | 3순위 |
|---|---|---|---|
| Kiwi+BM25 단독 | ⭐ 29 좌측 배너 과정 (Proce… |
12 건설산업의 목표 (BIM의 … |
07 |
| Cross 단독 | 16 |
⭐ 29 좌측 배너 과정 (Proce… |
12 건설산업의 목표 (BIM의 … |
| 청킹+SBERT 단독 | ⭐ 29 좌측 배너 과정 (Proce… |
12 건설산업의 목표 (BIM의 … |
 30 산업별 현황 |
| BM25 top5 → Cross rerank | ⭐ 29 좌측 배너 과정 (Proce… |
12 건설산업의 목표 (BIM의 … |
07 |
| BM25 top5 → 청킹+SBERT rerank | ⭐ 29 좌측 배너 과정 (Proce… |
12 건설산업의 목표 (BIM의 … |
18 BIM과 DX의 이해 |
| BM25+Cross + 구조 감점(α=0.3) | 18 BIM과 DX의 이해 |
07 |
12 건설산업의 목표 (BIM의 … |
| BM25+SBERT-청크 + 구조 감점 | 18 BIM과 DX의 이해 |
⭐ 29 좌측 배너 과정 (Proce… |
07 |