Rerun run-001 after preservation-strategy revise

This commit is contained in:
2026-04-02 06:00:21 +09:00
parent 1abd5dd0f0
commit 96921980f9
13 changed files with 381 additions and 218 deletions

View File

@@ -4,7 +4,8 @@
- run id: `run-001`
- input: `01. 건설산업 DX의 올바른 이해(0127).mdx`
- validation basis: `Wiki-2-6`
- execution path: `Kei API` 없이 `run_from_artifacts.py` 브리지 경로 사용
- execution path: `run_from_artifacts.py` 브리지 경로 사용
- rerun: `Stage 1A/1B` 보존 전략 보강 후 재실행
## Final Output
- generated fragments: `05-execution/generated_html.json`
@@ -12,74 +13,62 @@
- measurement: `05-execution/measurement.json`
## Validation Summary
이번 실행은 `Kei API` 없이 후반부 파이프라인을 실제로 통과시켰다는 점에서 중요한 진전이 있다.
다만 결과를 최종 합격으로 보기에는 아직 이르다.
이번 실행은 `revise` 원인을 기준으로 `Stage 1A/1B`를 수정한 뒤 다시 실행한 결과다.
현재 판정은 다음과 같다.
- 실행 경로 검증: 통과
- 렌더링/측정 검증: 통과
- 내용 보존 검증: 실패
- 이미지 참조 보존: 부분 개선
- 비교 정보 가시 보존: 실패
- 최종 품질 판정: 재작업 필요
## What Passed
### 1. 요청 목적 부합 여부
- 결과물은 `DX는 상위 개념`, `BIM은 핵심 기술`이라는 중심 메시지를 유지했다.
- 본문, 사이드바, 푸터 구조로 1장 슬라이드 형태가 생성되었다.
## What Improved
### 1. 이미지 참조 보존 개선
- 본문에 이미지와 캡션 `DX와 핵심기술간 상호관계`가 실제로 보이도록 생성되었다.
- 이전보다 시각 구조와 계층 관계 전달은 더 명확해졌다.
### 2. Kei API 비사용 경로 검증
- `stage-1a-topics.json``stage-1b-refined-concepts.json`을 입력으로 사용했다.
- 기존 `design_agent` 후반부를 연결하는 브리지 스크립트가 실제로 동작했다.
- `Kei API` 호출 없이 실행이 끝까지 진행되었다.
### 2. 실행 경로 안정성 유지
- 저장소 내부 입력과 수동 보강 산출물을 사용한 재실행이 정상 완료되었다.
- `final.html`, `generated_html.json`, `measurement.json`, `context.json`이 모두 갱신되었다.
### 3. 렌더링/측정 상태
- `measurement.json` 기준 slide overflow는 없다.
- body, sidebar, footer 영역 모두 overflow 없이 측정되었다.
- 최소한의 렌더 경로와 결과 저장은 정상 동작했다.
### 3. 렌더링/측정 유지
- `measurement.json` 기준 overflow는 여전히 없다.
- slide 전체 높이도 720px 안에 유지된다.
## What Failed
### 1. 내용 보존 검증 실패
`content_verifier` 기준으로 `body_core`에서 누락 문장이 반복 검출되었다.
주요 누락 항목은 다음과 같다.
- 이미지 참조 문구: `[이미지: DX와 핵심기술간 상호관계, 경로: /assets/images/DX1.png]`
- DX/BIM 비교표의 여러 행
- 비교표와 시각 자료 일부가 본문에서 충분히 보존되지 않음
## What Still Failed
### 1. 비교 정보가 가시 텍스트로 남지 않음
- 비교 항목 `범위 / 프로세스 / 성과품 / 확장성`은 여전히 팝업 테이블 쪽에 치우쳐 있다.
- 즉, 화면에서 바로 읽히는 비교 요약으로 정착되지 못했다.
- `popup-link`와 숨겨진 테이블 구조는 생성됐지만, 검증 관점에서는 가시 보존이 부족하다.
즉, 현재 결과는 핵심 메시지는 살렸지만 원문 보존 규칙을 완전히 만족하지 못했다.
### 2. 검증 기준과 생성 전략의 충돌
- 현재 생성 전략은 비교표를 요약형으로 압축하는 방향이었다.
- 현재 검증 규칙은 원문 세부를 더 강하게 보존하도록 요구한다.
- 그 결과, 실행 계획과 검증 규칙 사이에 충돌이 발생했다.
### 3. 측정 결과 해석 주의
- `measurement.json`에서 body/sidebar의 `block_count`가 0으로 잡혀 있다.
- 이는 렌더 결과 자체는 생성되었지만, 측정 로직이 현재 출력 구조를 완전히 세분해 읽지 못했을 가능성을 시사한다.
- 따라서 `overflow 없음`만으로 시각 품질 합격을 단정하면 안 된다.
### 2. 측정 로직 해석 이슈 지속
- `measurement.json`에서 body/sidebar의 `block_count`는 여전히 0이다.
- overflow는 없지만, 구조 측정 로직이 현재 생성 구조를 충분히 읽지 못하고 있다.
- 따라서 `overflow 없음`만으로 시각 품질 합격을 단정하기 어렵다.
## Constraint Check
### 유지된 제약
- DX를 BIM 수준으로 축소하지 않았다.
- BIM을 DX와 동격 개념으로 처리하지 않았다.
- 결론 문장은 유지되었다.
- 핵심 결론 문장은 유지되었다.
- 이미지 캡션은 이전보다 더 명시적으로 보존되었다.
### 아직 불안한 제약
- 원문 비교표와 이미지 참조의 보존 정도
- 보조 자료와 핵심 자료의 경계가 검증 기준과 완전히 맞지 않음
- 본문 구조가 검증기 기준으로는 아직 충분하지 않음
- 비교표 핵심 정보의 가시 보존 부족
- sidebar/body의 정보 분리와 측정 로직의 정합성 부족
## Final Decision
- 판정: `revise`
- 이유: 실행 성공에도 불구하고 내용 보존 검증이 실패했고, 현재 상태를 최종 결과물로 확정하기 어렵다.
- 이유: 이미지 참조는 개선됐지만, 비교 정보가 여전히 숨겨진 팝업 구조에 머물러 있고 검증 기준상 충분한 가시 보존으로 보기 어렵다.
## Next Action
1. `Stage 1A/1B` 산출물에서 비교표와 이미지 참조를 어떻게 다룰지 더 명확히 적는다.
2. `Stage 2` 생성 전략을 `핵심 메시지 유지 + 비교표 핵심 행만 보존` 또는 `비교표를 팝업/보조 영역으로 완전 이관` 중 하나로 명시한다.
3. 필요하면 `content_verifier` 규칙을 `Kei API 없는 run 기반 흐름`에 맞게 조정한다.
4. 재실행 시 `05-execution` 결과와 함께 `06-validation` 실패 패턴을 누적 기록한다.
1. `Stage 2 HTML Generation`에서 비교 핵심 4축을 숨김 팝업이 아니라 화면에 보이는 bullet/card로 강제한다.
2. 필요하면 `Stage 1B`에서 topic 5를 보조 reference가 아니라 가시 요약 블록으로 더 강하게 지정한다.
3. 측정 로직이 실제 block 구조를 잡을 수 있게 생성 HTML 클래스 또는 측정 규칙을 보강한다.
## Recommended Rollback Point
- 1차 되돌림: `Stage 1B Concept Refinement`
- 2차 되돌림: `Stage 2 HTML Generation`
- 1차 되돌림: `Stage 2 HTML Generation`
- 2차 되돌림: `Stage 1B Concept Refinement`
이유:
현재 실패는 후반 렌더보다도, `무엇을 어느 정도 보존할지` `어떻게 표현할지` 사이의 정합성 문제가깝다.
이번 재실행은 `무엇을 보존할지`보다 `생성기가 그것을 어떻게 보이게 렌더링하는지` 문제크게 남아 있다.