Tighten issue gates and loop validation criteria
This commit is contained in:
@@ -1,61 +1,76 @@
|
||||
목적
|
||||
- 계획에 따라 실제 실행을 수행하고 산출물을 저장한다.
|
||||
- 계획된 stage를 실제로 실행하고, 검증에 필요한 실행 패키지를 완전하게 남긴다.
|
||||
|
||||
입력
|
||||
- Step 4 결과 경로:
|
||||
- 실행에 사용할 코드/스크립트:
|
||||
|
||||
실행 방법
|
||||
1. 계획된 stage를 순서대로 수행한다.
|
||||
2. stage별 산출물을 저장한다.
|
||||
3. 경고와 재시도 이력을 남긴다.
|
||||
4. 최종 결과물 경로를 연결한다.
|
||||
5. 저장 누락과 실행 중단 여부를 점검한다.
|
||||
1. Step 4에서 확정한 실행 계획과 입력 산출물을 사용해 실제 실행을 수행한다.
|
||||
2. 아래 `필수 산출 항목`을 모두 생성하거나 기록한다.
|
||||
3. 실행 종료 코드, 예외 유무, 산출물 파일 존재 여부를 확인한다.
|
||||
4. `measurement.json`과 `context.json`이 다음 단계에서 재검증 가능할 정도로 완전한지 확인한다.
|
||||
5. `판정 규칙`에 따라 pass / revise / fail을 결정한다.
|
||||
6. 실패 시 `실패 분류`와 `수정 액션`을 함께 기록한다.
|
||||
|
||||
필수 산출 항목
|
||||
- E1. 실제 실행 경로 기록
|
||||
- E2. 산출물 파일 1개 이상 생성
|
||||
- E3. 중간 또는 최종 결과 경로 기록
|
||||
- E4. 경고 사항 기록
|
||||
- E5. 재시도 이력 기록 (없으면 없음으로 표기)
|
||||
- E1. 실행 명령 또는 실행 스크립트 1개
|
||||
- E2. 입력 파일 경로 1개
|
||||
- E3. `final.html` 생성
|
||||
- E4. `generated_html.json` 생성
|
||||
- E5. `measurement.json` 생성
|
||||
- E6. `context.json` 생성
|
||||
- E7. 경고/재시도/예외 기록 1개 이상 (`없음` 포함)
|
||||
- E8. Step 6으로 넘길 핵심 리스크 또는 확인 포인트 1개 이상 (`없음` 포함)
|
||||
|
||||
성공 기준
|
||||
- E1~E5 전부 작성됨
|
||||
- 산출물 파일이 실제로 존재함
|
||||
- 실행 경로가 추적 가능함
|
||||
- 경고/재시도 이력이 남음
|
||||
- E1~E8 전부 작성됨
|
||||
- `final.html`, `generated_html.json`, `measurement.json`, `context.json` 네 파일이 모두 실제로 존재하고 0 byte가 아님
|
||||
- 실행 종료 코드가 0임
|
||||
- 처리되지 않은 예외(unhandled exception)가 없음
|
||||
- `measurement.json`에 최소 `slide`, `zones.body`, `zones.sidebar`, `zones.footer`가 존재함
|
||||
- 다음 단계에서 재검증 가능한 실행 추적 정보가 남아 있음
|
||||
|
||||
실패 기준
|
||||
- 실행 중단
|
||||
- 산출물 미생성
|
||||
- 실행 경로 미기록
|
||||
- 경고/재시도 이력 미기록
|
||||
- 실행 종료 코드가 0이 아님
|
||||
- 필수 산출물 4종 중 1개 이상 미생성 또는 0 byte
|
||||
- `measurement.json` 파싱 실패 또는 필수 키 누락
|
||||
- `context.json` 누락으로 재검증 불가
|
||||
- 실행 명령/스크립트 또는 입력 경로가 기록되지 않음
|
||||
- 예외가 발생했는데 기록이 없음
|
||||
|
||||
KPI / 판정 규칙
|
||||
- 충족률 = 충족 항목 수 / 5
|
||||
- pass: 충족률 100% and 치명 항목(E1, E2, E3) 모두 충족
|
||||
- revise: 충족률 80% 이상 100% 미만 and 치명 항목 모두 충족
|
||||
- fail: 충족률 80% 미만 or 치명 항목 1개 이상 누락
|
||||
- 충족률 = 충족 항목 수 / 8
|
||||
- 치명 항목 = E1, E2, E3, E4, E5, E6
|
||||
- `pass`: 충족률 100% and 치명 항목 모두 충족 and 실행 종료 코드 0 and 필수 산출물 4종이 모두 유효함
|
||||
- `revise`: 충족률 87.5% 이상 100% 미만 and 치명 항목 모두 충족 and 실행은 완료되었으나 경고/재시도/리스크 기록 보강이 필요함
|
||||
- `fail`: 충족률 87.5% 미만 or 치명 항목 1개 이상 누락 or 실행 종료 코드 비정상 or 필수 산출물 4종 중 1개 이상 무효
|
||||
|
||||
실패 분류
|
||||
- Exec-Run: 실행 중단
|
||||
- Exec-Artifact: 산출물 생성 실패
|
||||
- Exec-Trace: 실행 경로 추적 불가
|
||||
- Exec-Warn: 경고/재시도 기록 누락
|
||||
- Exec-Tool: 도구/스크립트 문제
|
||||
- `Exec-Exit`: 실행 종료 코드 비정상
|
||||
- `Exec-Artifact`: 산출물 파일 생성 실패 또는 0 byte
|
||||
- `Exec-Measurement`: `measurement.json` 누락/파싱 실패/필수 키 누락
|
||||
- `Exec-Context`: `context.json` 누락 또는 재검증 정보 부족
|
||||
- `Exec-Trace`: 실행 명령, 입력, 경고 이력 추적 불가
|
||||
- `Exec-Tool`: 도구/스크립트 자체 오류
|
||||
|
||||
수정 액션 가이드
|
||||
- Exec-Run: 중단 지점 재확인 후 해당 stage 재실행
|
||||
- Exec-Artifact: 산출물 경로와 저장 로직 점검 후 재생성
|
||||
- Exec-Trace: 사용한 스크립트/명령/입력을 다시 기록
|
||||
- Exec-Warn: 경고와 재시도 이력을 보강
|
||||
- Exec-Tool: 도구 오류 분리 후 수정
|
||||
- `Exec-Exit`: 실패한 stage와 stderr를 확인하고 해당 stage부터 재실행
|
||||
- `Exec-Artifact`: 산출물 저장 경로와 쓰기 로직을 점검하고 파일 재생성
|
||||
- `Exec-Measurement`: 렌더/측정 단계를 재실행하고 필수 키 존재 여부 재검사
|
||||
- `Exec-Context`: 컨텍스트 저장 로직을 복구하고 입력/분석 정보 재저장
|
||||
- `Exec-Trace`: 사용한 스크립트, 명령, 입력 경로, 경고 이력을 다시 기록
|
||||
- `Exec-Tool`: 실행 스크립트 또는 코드 오류를 수정 후 재실행
|
||||
|
||||
실행 결과 기록
|
||||
- 사용한 실행 경로:
|
||||
- 생성된 산출물:
|
||||
- 사용한 실행 명령 또는 스크립트:
|
||||
- 입력 파일 경로:
|
||||
- 생성된 산출물 경로:
|
||||
- 실행 종료 코드:
|
||||
- 경고:
|
||||
- 재시도 이력:
|
||||
- 예외:
|
||||
- Step 6 전달 리스크/확인 포인트:
|
||||
- 충족 항목 수:
|
||||
- 충족률:
|
||||
- 실패 분류:
|
||||
@@ -65,4 +80,7 @@ KPI / 판정 규칙
|
||||
- pass / revise / fail
|
||||
|
||||
다음 단계 전달물
|
||||
- Step 6에서 사용할 실행 결과와 산출물 경로
|
||||
- Step 6에서 사용할 `final.html`
|
||||
- Step 6에서 사용할 `generated_html.json`
|
||||
- Step 6에서 사용할 `measurement.json`
|
||||
- Step 6에서 사용할 `context.json`
|
||||
|
||||
@@ -1,76 +1,95 @@
|
||||
목적
|
||||
- 최종 결과가 목적과 제약에 맞는지 검증하고, 다음 run을 위한 개선 방향을 기록한다.
|
||||
- 최종 결과가 목적과 제약에 맞는지 검증하고, 다음 반복에서 무엇을 되돌려 수정해야 하는지 명확하게 결정한다.
|
||||
|
||||
입력
|
||||
- Step 5 결과 경로:
|
||||
- 최종 산출물 경로:
|
||||
|
||||
실행 방법
|
||||
1. 목적 적합성을 평가한다.
|
||||
2. 내용 보존을 평가한다.
|
||||
3. 렌더링/측정 결과를 평가한다.
|
||||
4. 최종 판정을 적는다.
|
||||
5. 다음 액션과 되돌림 지점을 기록한다.
|
||||
6. 실패 원인을 분류한다.
|
||||
1. 핵심 목적 문구가 결과물의 가시 텍스트에 실제로 남아 있는지 확인한다.
|
||||
2. 원문에서 반드시 보존해야 하는 핵심 정보가 결과물의 가시 영역에 남아 있는지 확인한다.
|
||||
3. `measurement.json` 기준으로 slide와 각 zone의 overflow를 확인한다.
|
||||
4. 실패가 있으면 실패 분류와 되돌림 지점을 기록한다.
|
||||
5. `판정 규칙`에 따라 pass / revise / fail을 결정한다.
|
||||
6. 다음 반복에서 바로 사용할 수정 액션을 우선순위 순서로 적는다.
|
||||
|
||||
필수 산출 항목
|
||||
- F1. 목적 적합성 평가
|
||||
- F2. 내용 보존 평가
|
||||
- F3. 렌더링/측정 평가
|
||||
- F4. 최종 판정 1개
|
||||
- F5. 실패 원인 분류 1개 이상 (실패 시)
|
||||
- F6. 다음 액션 1개 이상
|
||||
- F7. 되돌림 지점 명시
|
||||
필수 검증 항목
|
||||
- F1. 핵심 목적 적합성 평가 1개
|
||||
- F2. 핵심 메시지 가시성 평가 1개
|
||||
- F3. 이미지/도해 참조 보존 평가 1개
|
||||
- F4. 비교 핵심 정보 보존 평가 1개
|
||||
- F5. 렌더링/측정 평가 1개
|
||||
- F6. 최종 판정 1개
|
||||
- F7. 실패 원인 분류 1개 이상 (`pass`가 아니면 필수)
|
||||
- F8. 수정 액션 1개 이상
|
||||
- F9. 되돌림 지점 1개 명시
|
||||
|
||||
성공 기준
|
||||
- F1~F7 전부 작성됨
|
||||
- 최종 판정이 명확함
|
||||
- 실패 시 실패 원인과 수정 방향이 분명함
|
||||
- 다음 run으로 넘길 개선 사항이 존재함
|
||||
- F1~F9 전부 작성됨
|
||||
- 핵심 메시지(`DX는 상위 개념`, `BIM은 핵심 기술`)가 결과물의 가시 텍스트에 존재함
|
||||
- 이미지/도해 참조 문구(`DX와 핵심기술간 상호관계`)가 가시 텍스트에 존재함
|
||||
- 비교 핵심 4축(`범위`, `프로세스`, `성과품`, `확장성`)이 숨김 팝업이 아니라 가시 텍스트 또는 가시 요약 블록으로 존재함
|
||||
- `measurement.json`에서 `slide.overflowed = false`
|
||||
- `measurement.json`에서 `zones.body.overflowed = false`, `zones.sidebar.overflowed = false`, `zones.footer.overflowed = false`
|
||||
- 검증 실패 시 어느 step으로 되돌릴지 명확히 지정됨
|
||||
|
||||
실패 기준
|
||||
- 평가 항목 누락
|
||||
- 최종 판정 누락
|
||||
- 실패 원인 분류 누락
|
||||
- 다음 액션 없음
|
||||
- 되돌림 지점 없음
|
||||
- 핵심 메시지 가시 텍스트 누락
|
||||
- 이미지/도해 참조 문구 누락
|
||||
- 비교 핵심 4축 중 1개 이상 누락 또는 숨김 상태만 존재
|
||||
- slide overflow 발생
|
||||
- body/sidebar/footer zone 중 1개 이상 overflow 발생
|
||||
- 실패 분류 누락
|
||||
- 수정 액션 누락
|
||||
- 되돌림 지점 누락
|
||||
- 검증 결과 파일 또는 측정 결과를 해석할 수 없음
|
||||
|
||||
KPI / 판정 규칙
|
||||
- 충족률 = 충족 항목 수 / 7
|
||||
- pass: 충족률 100% and 치명 항목(F1, F2, F3, F4) 모두 충족
|
||||
- revise: 충족률 86% 이상 100% 미만 and 치명 항목 모두 충족
|
||||
- fail: 충족률 86% 미만 or 치명 항목 1개 이상 누락
|
||||
- 충족률 = 충족 항목 수 / 9
|
||||
- 치명 항목 = F2, F3, F4, F5, F6, F9
|
||||
- `pass`: 충족률 100% and 치명 항목 모두 충족 and slide/zone overflow 0건 and 핵심 메시지/이미지 참조/비교 4축이 모두 가시 텍스트에 존재
|
||||
- `revise`: 검증 결과를 해석할 수 있고 치명적 시스템 오류는 없으나, 품질 게이트(F2~F5) 중 1개 이상 미충족
|
||||
- `fail`: 검증 자체가 불가능함 or 치명 항목 1개 이상 기록 불가 or 측정/결과 파일 누락으로 판정 불가
|
||||
|
||||
실패 분류
|
||||
- Verify-Purpose: 목적 적합성 불충분
|
||||
- Verify-Preserve: 내용 보존 실패
|
||||
- Verify-Render: 렌더/측정 실패
|
||||
- Verify-Judgement: 최종 판정 불명확
|
||||
- Verify-Action: 다음 액션 부족
|
||||
- Verify-Rollback: 되돌림 지점 미정
|
||||
- `Verify-Purpose`: 중심 메시지와 결과물 목적이 어긋남
|
||||
- `Verify-CoreMessage`: 핵심 메시지 가시 텍스트 누락
|
||||
- `Verify-ImageRef`: 이미지/도해 참조 문구 누락
|
||||
- `Verify-ComparisonVisible`: 비교 핵심 4축이 가시 영역에 없음
|
||||
- `Verify-RenderSlide`: slide overflow 발생
|
||||
- `Verify-RenderZone`: body/sidebar/footer zone overflow 발생
|
||||
- `Verify-Trace`: 검증 파일/측정 파일 해석 불가
|
||||
- `Verify-Action`: 수정 액션 부족
|
||||
- `Verify-Rollback`: 되돌림 지점 미정
|
||||
|
||||
수정 액션 가이드
|
||||
- Verify-Purpose: 중심 메시지와 결과물의 일치 여부 재검토
|
||||
- Verify-Preserve: 누락/과잉 생성/왜곡 항목 보강
|
||||
- Verify-Render: overflow 또는 배치 문제 수정
|
||||
- Verify-Judgement: pass/revise/fail 판정 근거를 다시 명시
|
||||
- Verify-Action: 다음 run 개선 항목을 최소 1개 이상 추가
|
||||
- Verify-Rollback: 어느 step으로 되돌릴지 명시
|
||||
- `Verify-Purpose`: 중심 메시지 문장을 본문 또는 footer의 가시 텍스트에 다시 배치
|
||||
- `Verify-CoreMessage`: `DX는 상위 개념`, `BIM은 핵심 기술` 문구를 더 직접적으로 노출
|
||||
- `Verify-ImageRef`: 이미지 캡션 또는 이미지 참조 문구를 숨김 영역이 아닌 가시 블록으로 이동
|
||||
- `Verify-ComparisonVisible`: 비교 핵심 4축을 화면에 바로 보이는 bullet/card/table 요약으로 강제
|
||||
- `Verify-RenderSlide`: 전체 slide budget 또는 레이아웃 구조 재조정
|
||||
- `Verify-RenderZone`: overflow가 난 zone의 content budget, block 수, typography를 재조정
|
||||
- `Verify-Trace`: validation/measurement 산출물 저장 및 파싱 로직 복구
|
||||
- `Verify-Action`: 다음 반복에서 수행할 수정 항목을 최소 1개 이상 보강
|
||||
- `Verify-Rollback`: Stage 1B, Stage 2, Stage 3 중 되돌릴 지점을 지정
|
||||
|
||||
실행 결과 기록
|
||||
- 목적 적합성:
|
||||
- 내용 보존:
|
||||
- 핵심 메시지 가시성:
|
||||
- 이미지/도해 참조 보존:
|
||||
- 비교 핵심 정보 보존:
|
||||
- 렌더링/측정:
|
||||
- 최종 판정:
|
||||
- 실패 원인 분류:
|
||||
- 다음 액션:
|
||||
- 수정 액션:
|
||||
- 되돌림 지점:
|
||||
- 충족 항목 수:
|
||||
- 충족률:
|
||||
- 수정 액션:
|
||||
|
||||
판정
|
||||
- pass / revise / fail
|
||||
|
||||
다음 단계 전달물
|
||||
- 다음 run 시작 전에 참고할 검증 결과와 개선 사항
|
||||
- 다음 반복 시작 전에 참고할 실패 분류 목록
|
||||
- 다음 반복 시작 전에 적용할 수정 액션 목록
|
||||
- 되돌릴 stage 또는 step
|
||||
|
||||
Reference in New Issue
Block a user