Tighten issue gates and loop validation criteria

This commit is contained in:
2026-04-02 08:59:58 +09:00
parent 5b219461f3
commit e81be7e9ef
10 changed files with 368 additions and 224 deletions

View File

@@ -1,61 +1,76 @@
목적
- 계획에 따라 실제 실행을 수행하고 산출물을 저장한다.
- 계획된 stage를 실제 실행하고, 검증에 필요한 실행 패키지를 완전하게 남긴다.
입력
- Step 4 결과 경로:
- 실행에 사용할 코드/스크립트:
실행 방법
1. 계획된 stage를 순서대로 수행한다.
2. stage별 산출물을 저장한다.
3. 경고와 재시도 이력을 남긴다.
4. 최종 결과물 경로를 연결한다.
5. 저장 누락과 실행 중단 여부를 점검한다.
1. Step 4에서 확정한 실행 계획과 입력 산출물을 사용해 실제 실행을 수행한다.
2. 아래 `필수 산출 항목`을 모두 생성하거나 기록한다.
3. 실행 종료 코드, 예외 유무, 산출물 파일 존재 여부를 확인한다.
4. `measurement.json``context.json`이 다음 단계에서 재검증 가능할 정도로 완전한지 확인한다.
5. `판정 규칙`에 따라 pass / revise / fail을 결정한다.
6. 실패 시 `실패 분류``수정 액션`을 함께 기록한다.
필수 산출 항목
- E1. 실제 실행 경로 기록
- E2. 산출물 파일 1개 이상 생성
- E3. 중간 또는 최종 결과 경로 기록
- E4. 경고 사항 기록
- E5. 재시도 이력 기록 (없으면 없음으로 표기)
- E1. 실행 명령 또는 실행 스크립트 1개
- E2. 입력 파일 경로 1개
- E3. `final.html` 생성
- E4. `generated_html.json` 생성
- E5. `measurement.json` 생성
- E6. `context.json` 생성
- E7. 경고/재시도/예외 기록 1개 이상 (`없음` 포함)
- E8. Step 6으로 넘길 핵심 리스크 또는 확인 포인트 1개 이상 (`없음` 포함)
성공 기준
- E1~E5 전부 작성됨
- 산출물 파일이 실제로 존재
- 실행 경로가 추적 가능함
- 경고/재시도 이력이 남
- E1~E8 전부 작성됨
- `final.html`, `generated_html.json`, `measurement.json`, `context.json` 파일이 모두 실제로 존재하고 0 byte가 아님
- 실행 종료 코드가 0임
- 처리되지 않은 예외(unhandled exception)가 없
- `measurement.json`에 최소 `slide`, `zones.body`, `zones.sidebar`, `zones.footer`가 존재함
- 다음 단계에서 재검증 가능한 실행 추적 정보가 남아 있음
실패 기준
- 실행 중단
- 산출물 미생성
- 실행 경로 미기록
- 경고/재시도 이력 미기록
- 실행 종료 코드가 0이 아님
- 필수 산출물 4종 중 1개 이상 미생성 또는 0 byte
- `measurement.json` 파싱 실패 또는 필수 키 누락
- `context.json` 누락으로 재검증 불가
- 실행 명령/스크립트 또는 입력 경로가 기록되지 않음
- 예외가 발생했는데 기록이 없음
KPI / 판정 규칙
- 충족률 = 충족 항목 수 / 5
- pass: 충족률 100% and 치명 항목(E1, E2, E3) 모두 충족
- revise: 충족률 80% 이상 100% 미만 and 치명 항목 모두 충족
- fail: 충족률 80% 미만 or 치명 항목 1개 이상 누락
- 충족률 = 충족 항목 수 / 8
- 치명 항목 = E1, E2, E3, E4, E5, E6
- `pass`: 충족률 100% and 치명 항목 모두 충족 and 실행 종료 코드 0 and 필수 산출물 4종이 모두 유효함
- `revise`: 충족률 87.5% 이상 100% 미만 and 치명 항목 모두 충족 and 실행은 완료되었으나 경고/재시도/리스크 기록 보강이 필요함
- `fail`: 충족률 87.5% 미만 or 치명 항목 1개 이상 누락 or 실행 종료 코드 비정상 or 필수 산출물 4종 중 1개 이상 무효
실패 분류
- Exec-Run: 실행 중단
- Exec-Artifact: 산출물 생성 실패
- Exec-Trace: 실행 경로 추적 불가
- Exec-Warn: 경고/재시도 기록 누락
- Exec-Tool: 도구/스크립트 문제
- `Exec-Exit`: 실행 종료 코드 비정상
- `Exec-Artifact`: 산출물 파일 생성 실패 또는 0 byte
- `Exec-Measurement`: `measurement.json` 누락/파싱 실패/필수 키 누락
- `Exec-Context`: `context.json` 누락 또는 재검증 정보 부족
- `Exec-Trace`: 실행 명령, 입력, 경고 이력 추적 불가
- `Exec-Tool`: 도구/스크립트 자체 오류
수정 액션 가이드
- Exec-Run: 중단 지점 재확인 후 해당 stage 재실행
- Exec-Artifact: 산출물 경로와 저장 로직 점검 재생성
- Exec-Trace: 사용한 스크립트/명령/입력을 다시 기록
- Exec-Warn: 경고와 재시도 이력을 보강
- Exec-Tool: 도구 오류 분리 후 수정
- `Exec-Exit`: 실패한 stage와 stderr를 확인하고 해당 stage부터 재실행
- `Exec-Artifact`: 산출물 저장 경로와 쓰기 로직 점검하고 파일 재생성
- `Exec-Measurement`: 렌더/측정 단계를 재실행하고 필수 키 존재 여부 재검사
- `Exec-Context`: 컨텍스트 저장 로직을 복구하고 입력/분석 정보 재저장
- `Exec-Trace`: 사용한 스크립트, 명령, 입력 경로, 경고 이력을 다시 기록
- `Exec-Tool`: 실행 스크립트 또는 코드 오류를 수정 후 재실행
실행 결과 기록
- 사용한 실행 경로:
- 생성된 산출물:
- 사용한 실행 명령 또는 스크립트:
- 입력 파일 경로:
- 생성된 산출물 경로:
- 실행 종료 코드:
- 경고:
- 재시도 이력:
- 예외:
- Step 6 전달 리스크/확인 포인트:
- 충족 항목 수:
- 충족률:
- 실패 분류:
@@ -65,4 +80,7 @@ KPI / 판정 규칙
- pass / revise / fail
다음 단계 전달물
- Step 6에서 사용할 실행 결과와 산출물 경로
- Step 6에서 사용할 `final.html`
- Step 6에서 사용할 `generated_html.json`
- Step 6에서 사용할 `measurement.json`
- Step 6에서 사용할 `context.json`

View File

@@ -1,76 +1,95 @@
목적
- 최종 결과가 목적과 제약에 맞는지 검증하고, 다음 run을 위한 개선 방향을 기록한다.
- 최종 결과가 목적과 제약에 맞는지 검증하고, 다음 반복에서 무엇을 되돌려 수정해야 하는지 명확하게 결정한다.
입력
- Step 5 결과 경로:
- 최종 산출물 경로:
실행 방법
1. 목적 적합성을 평가한다.
2. 내용 보존을 평가한다.
3. 렌더링/측정 결과를 평가한다.
4. 최종 판정을 적는다.
5. 다음 액션과 되돌림 지점을 기록한다.
6. 실패 원인을 분류한다.
1. 핵심 목적 문구가 결과물의 가시 텍스트에 실제로 남아 있는지 확인한다.
2. 원문에서 반드시 보존해야 하는 핵심 정보가 결과물의 가시 영역에 남아 있는지 확인한다.
3. `measurement.json` 기준으로 slide와 각 zone의 overflow를 확인한다.
4. 실패가 있으면 실패 분류와 되돌림 지점을 기록한다.
5. `판정 규칙`에 따라 pass / revise / fail을 결정한다.
6. 다음 반복에서 바로 사용할 수정 액션을 우선순위 순서로 적는다.
필수 산출 항목
- F1. 목적 적합성 평가
- F2. 내용 보존 평가
- F3. 렌더링/측정 평가
- F4. 최종 판정 1개
- F5. 실패 원인 분류 1개 이상 (실패 시)
- F6. 다음 액션 1개 이상
- F7. 되돌림 지점 명시
필수 검증 항목
- F1. 핵심 목적 적합성 평가 1개
- F2. 핵심 메시지 가시성 평가 1개
- F3. 이미지/도해 참조 보존 평가 1개
- F4. 비교 핵심 정보 보존 평가 1개
- F5. 렌더링/측정 평가 1개
- F6. 최종 판정 1개
- F7. 실패 원인 분류 1개 이상 (`pass`가 아니면 필수)
- F8. 수정 액션 1개 이상
- F9. 되돌림 지점 1개 명시
성공 기준
- F1~F7 전부 작성됨
- 최종 판정이 명확
- 실패 시 실패 원인과 수정 방향이 분명
- 다음 run으로 넘길 개선 사항이 존재함
- F1~F9 전부 작성됨
- 핵심 메시지(`DX는 상위 개념`, `BIM은 핵심 기술`)가 결과물의 가시 텍스트에 존재
- 이미지/도해 참조 문구(`DX와 핵심기술간 상호관계`)가 가시 텍스트에 존재
- 비교 핵심 4축(`범위`, `프로세스`, `성과품`, `확장성`)이 숨김 팝업이 아니라 가시 텍스트 또는 가시 요약 블록으로 존재함
- `measurement.json`에서 `slide.overflowed = false`
- `measurement.json`에서 `zones.body.overflowed = false`, `zones.sidebar.overflowed = false`, `zones.footer.overflowed = false`
- 검증 실패 시 어느 step으로 되돌릴지 명확히 지정됨
실패 기준
- 평가 항목 누락
- 최종 판정 누락
- 실패 원인 분류 누락
- 다음 액션 없음
- 되돌림 지점 없음
- 핵심 메시지 가시 텍스트 누락
- 이미지/도해 참조 문구 누락
- 비교 핵심 4축 중 1개 이상 누락 또는 숨김 상태만 존재
- slide overflow 발생
- body/sidebar/footer zone 중 1개 이상 overflow 발생
- 실패 분류 누락
- 수정 액션 누락
- 되돌림 지점 누락
- 검증 결과 파일 또는 측정 결과를 해석할 수 없음
KPI / 판정 규칙
- 충족률 = 충족 항목 수 / 7
- pass: 충족률 100% and 치명 항목(F1, F2, F3, F4) 모두 충족
- revise: 충족률 86% 이상 100% 미만 and 치명 항목 모두 충족
- fail: 충족률 86% 미만 or 치명 항목 1개 이상 누락
- 충족률 = 충족 항목 수 / 9
- 치명 항목 = F2, F3, F4, F5, F6, F9
- `pass`: 충족률 100% and 치명 항목 모두 충족 and slide/zone overflow 0건 and 핵심 메시지/이미지 참조/비교 4축이 모두 가시 텍스트에 존재
- `revise`: 검증 결과를 해석할 수 있고 치명적 시스템 오류는 없으나, 품질 게이트(F2~F5) 중 1개 이상 미충족
- `fail`: 검증 자체가 불가능함 or 치명 항목 1개 이상 기록 불가 or 측정/결과 파일 누락으로 판정 불가
실패 분류
- Verify-Purpose: 목적 적합성 불충분
- Verify-Preserve: 내용 보존 실패
- Verify-Render: 렌더/측정 실패
- Verify-Judgement: 최종 판정 불명확
- Verify-Action: 다음 액션 부족
- Verify-Rollback: 되돌림 지점 미정
- `Verify-Purpose`: 중심 메시지와 결과물 목적이 어긋남
- `Verify-CoreMessage`: 핵심 메시지 가시 텍스트 누락
- `Verify-ImageRef`: 이미지/도해 참조 문구 누락
- `Verify-ComparisonVisible`: 비교 핵심 4축이 가시 영역에 없음
- `Verify-RenderSlide`: slide overflow 발생
- `Verify-RenderZone`: body/sidebar/footer zone overflow 발생
- `Verify-Trace`: 검증 파일/측정 파일 해석 불가
- `Verify-Action`: 수정 액션 부족
- `Verify-Rollback`: 되돌림 지점 미정
수정 액션 가이드
- Verify-Purpose: 중심 메시지와 결과물의 일치 여부 재검토
- Verify-Preserve: 누락/과잉 생성/왜곡 항목 보강
- Verify-Render: overflow 또는 배치 문제 수정
- Verify-Judgement: pass/revise/fail 판정 근거를 다시 명시
- Verify-Action: 다음 run 개선 항목을 최소 1개 이상 추가
- Verify-Rollback: 어느 step으로 되돌릴지 명시
- `Verify-Purpose`: 중심 메시지 문장을 본문 또는 footer의 가시 텍스트에 다시 배치
- `Verify-CoreMessage`: `DX는 상위 개념`, `BIM은 핵심 기술` 문구를 더 직접적으로 노출
- `Verify-ImageRef`: 이미지 캡션 또는 이미지 참조 문구를 숨김 영역이 아닌 가시 블록으로 이동
- `Verify-ComparisonVisible`: 비교 핵심 4축을 화면에 바로 보이는 bullet/card/table 요약으로 강제
- `Verify-RenderSlide`: 전체 slide budget 또는 레이아웃 구조 재조정
- `Verify-RenderZone`: overflow가 난 zone의 content budget, block 수, typography를 재조정
- `Verify-Trace`: validation/measurement 산출물 저장 및 파싱 로직 복구
- `Verify-Action`: 다음 반복에서 수행할 수정 항목을 최소 1개 이상 보강
- `Verify-Rollback`: Stage 1B, Stage 2, Stage 3 중 되돌릴 지점을 지정
실행 결과 기록
- 목적 적합성:
- 내용 보존:
- 핵심 메시지 가시성:
- 이미지/도해 참조 보존:
- 비교 핵심 정보 보존:
- 렌더링/측정:
- 최종 판정:
- 실패 원인 분류:
- 다음 액션:
- 수정 액션:
- 되돌림 지점:
- 충족 항목 수:
- 충족률:
- 수정 액션:
판정
- pass / revise / fail
다음 단계 전달물
- 다음 run 시작 전에 참고할 검증 결과와 개선 사항
- 다음 반복 시작 전에 참고할 실패 분류 목록
- 다음 반복 시작 전에 적용할 수정 액션 목록
- 되돌릴 stage 또는 step