Phase 7 — 2~3단계 파이프라인 검증

한 줄 결론(사용자): semantic 단독 승자 말고, Kiwi+BM25로 top-k 후보 → 청킹+SBERT나 Cross로 rerank → 필요시 구조 감점, 2~3단계 파이프라인으로.

방향 3 — Kiwi+BM25 recall: Top-3 4/4, Top-5 4/4 (retriever 단계에서 정답이 후보군에 들어있는가 = 파이프라인 이론 상한)

Kiwi+BM25 Top-5 후보 목록

유닛 정답 Top-5 후보 정답 포함?
1. (MDX 1) 팝업 — DX와 BIM의 구분 18 18, 16, 17, 29, 24 ✓
2. (MDX 2) 2.2 DX 시행 주체별 기대효과 14 14, 12, 29, 07, 08 ✓
3. (MDX 03) 1. DX 시행을 위한 필수요건 13 15, 13, 16, 20, 18 ✓
4. (MDX 03) 2. Process 혁신과 Product 변화 29 29, 12, 07, 18, 08 ✓

전략별 1순위 정답률 집계

전략 MDX1 팝업(18) MDX2 2.2(14) MDX03-1(13) MDX03-2(29) 합계
Kiwi+BM25 단독 ✓ ✓ ✗(15) ✓ 3/4
Cross 단독 ✗(24) ✓ ✓ ✗(16) 2/4
청킹+SBERT 단독 ✓ ✗(07) ✗(15) ✓ 2/4
BM25 top5 → Cross rerank ✗(24) ✓ ✓ ✓ 3/4
BM25 top5 → 청킹+SBERT rerank ✓ ✗(07) ✗(15) ✓ 2/4
BM25+Cross + 구조 감점(α=0.3) ✗(17) ✓ ✗(16) ✗(18) 1/4
BM25+SBERT-청크 + 구조 감점 ✗(17) ✗(07) ✗(18) ✗(18) 0/4

유닛별 전략 Top-3 상세

1. (MDX 1) 팝업 — DX와 BIM의 구분 — 정답 Frame 18

전략 1순위 2순위 3순위
Kiwi+BM25 단독 ⭐ 18
18
BIM과 DX의 이해		 16
16
 17
17
현황 및 문제점
Cross 단독 24
24
Engn. S/W의 구성 과…		 07
07
 10
10
현장 실효성 증대 위한 **…
청킹+SBERT 단독 ⭐ 18
18
BIM과 DX의 이해		 09
09
시공 전 모델 기반 시공상세…		 25
25
3rd Party
BM25 top5 → Cross rerank 24
24
Engn. S/W의 구성 과…		 17
17
현황 및 문제점		 ⭐ 18
18
BIM과 DX의 이해
BM25 top5 → 청킹+SBERT rerank ⭐ 18
18
BIM과 DX의 이해		 29
29
좌측 배너 과정 (Proce…		 24
24
Engn. S/W의 구성 과…
BM25+Cross + 구조 감점(α=0.3) 17
17
현황 및 문제점		 ⭐ 18
18
BIM과 DX의 이해		 16
16
BM25+SBERT-청크 + 구조 감점 17
17
현황 및 문제점		 ⭐ 18
18
BIM과 DX의 이해		 29
29
좌측 배너 과정 (Proce…

2. (MDX 2) 2.2 DX 시행 주체별 기대효과 — 정답 Frame 14

전략 1순위 2순위 3순위
Kiwi+BM25 단독 ⭐ 14
14
 12
12
건설산업의 목표 (BIM의 …		 29
29
좌측 배너 과정 (Proce…
Cross 단독 ⭐ 14
14
 23
23
Application S/W…		 18
18
BIM과 DX의 이해
청킹+SBERT 단독 07
07
 18
18
BIM과 DX의 이해		 09
09
시공 전 모델 기반 시공상세…
BM25 top5 → Cross rerank ⭐ 14
14
 29
29
좌측 배너 과정 (Proce…		 08
08
효율적인 정보의 관리와 활용
BM25 top5 → 청킹+SBERT rerank 07
07
 29
29
좌측 배너 과정 (Proce…		 08
08
효율적인 정보의 관리와 활용
BM25+Cross + 구조 감점(α=0.3) ⭐ 14
14
 07
07
 08
08
효율적인 정보의 관리와 활용
BM25+SBERT-청크 + 구조 감점 07
07
 08
08
효율적인 정보의 관리와 활용		 29
29
좌측 배너 과정 (Proce…

3. (MDX 03) 1. DX 시행을 위한 필수요건 — 정답 Frame 13

전략 1순위 2순위 3순위
Kiwi+BM25 단독 15
15
정책목표		 ⭐ 13
13
필수조건		 16
16
Cross 단독 ⭐ 13
13
필수조건		 15
15
정책목표		 17
17
현황 및 문제점
청킹+SBERT 단독 15
15
정책목표		 ⭐ 13
13
필수조건		 20
20
디지털 전환(DX)은 S/W…
BM25 top5 → Cross rerank ⭐ 13
13
필수조건		 15
15
정책목표		 20
20
디지털 전환(DX)은 S/W…
BM25 top5 → 청킹+SBERT rerank 15
15
정책목표		 ⭐ 13
13
필수조건		 20
20
디지털 전환(DX)은 S/W…
BM25+Cross + 구조 감점(α=0.3) 16
16
 18
18
BIM과 DX의 이해		 20
20
디지털 전환(DX)은 S/W…
BM25+SBERT-청크 + 구조 감점 18
18
BIM과 DX의 이해		 16
16
 15
15
정책목표

4. (MDX 03) 2. Process 혁신과 Product 변화 — 정답 Frame 29

전략 1순위 2순위 3순위
Kiwi+BM25 단독 ⭐ 29
29
좌측 배너 과정 (Proce…		 12
12
건설산업의 목표 (BIM의 …		 07
07
Cross 단독 16
16
 ⭐ 29
29
좌측 배너 과정 (Proce…		 12
12
건설산업의 목표 (BIM의 …
청킹+SBERT 단독 ⭐ 29
29
좌측 배너 과정 (Proce…		 12
12
건설산업의 목표 (BIM의 …		 30
30
산업별 현황
BM25 top5 → Cross rerank ⭐ 29
29
좌측 배너 과정 (Proce…		 12
12
건설산업의 목표 (BIM의 …		 07
07
BM25 top5 → 청킹+SBERT rerank ⭐ 29
29
좌측 배너 과정 (Proce…		 12
12
건설산업의 목표 (BIM의 …		 18
18
BIM과 DX의 이해
BM25+Cross + 구조 감점(α=0.3) 18
18
BIM과 DX의 이해		 07
07
 12
12
건설산업의 목표 (BIM의 …
BM25+SBERT-청크 + 구조 감점 18
18
BIM과 DX의 이해		 ⭐ 29
29
좌측 배너 과정 (Proce…		 07
07