Strengthen step issue files with KPI-based evaluation rules

This commit is contained in:
2026-04-01 17:07:52 +09:00
parent 9250aea5be
commit a223d42f9a
7 changed files with 282 additions and 89 deletions

View File

@@ -10,30 +10,59 @@ Step 5 / 실제 수행
## 실행 방법
1. 계획된 stage를 순서대로 수행한다.
2. 산출물을 저장한다.
2. stage별 산출물을 저장한다.
3. 경고와 재시도 이력을 남긴다.
4. 최종 결과물 경로를 연결한다.
5. 저장 누락과 실행 중단 여부를 점검한다.
## 필수 산출 항목
- E1. 실제 실행 경로 기록
- E2. 산출물 파일 1개 이상 생성
- E3. 중간 또는 최종 결과 경로 기록
- E4. 경고 사항 기록
- E5. 재시도 이력 기록 (없으면 없음으로 표기)
## 성공 기준
- 산출물이 실제로 생성되었다.
- 실행 경로가 추적 가능하다.
- 경고와 재시도 이력이 남는다.
- E1~E5 전부 작성됨
- 산출물 파일이 실제로 존재함
- 실행 경로가 추적 가능함
- 경고/재시도 이력이 남음
## 실패 기준
- 실행간에 끊겼다.
- 산출물이 저장되지 않았다.
- 어떤 입력으로 어떤 실행을 했는지 추적이 안 된다.
- 실행 중
- 산출물 미생성
- 실행 경로 미기록
- 경고/재시도 이력 미기록
## KPI / 판정 규칙
- 충족률 = 충족 항목 수 / 5
- `pass`: 충족률 100% and 치명 항목(E1, E2, E3) 모두 충족
- `revise`: 충족률 80% 이상 100% 미만 and 치명 항목 모두 충족
- `fail`: 충족률 80% 미만 or 치명 항목 1개 이상 누락
## 실패 분류
- Generation
- Rendering
- Tooling
- `Exec-Run`: 실행 중단
- `Exec-Artifact`: 산출물 생성 실패
- `Exec-Trace`: 실행 경로 추적 불가
- `Exec-Warn`: 경고/재시도 기록 누락
- `Exec-Tool`: 도구/스크립트 문제
## 수정 액션 가이드
- `Exec-Run`: 중단 지점 재확인 후 해당 stage 재실행
- `Exec-Artifact`: 산출물 경로와 저장 로직 점검 후 재생성
- `Exec-Trace`: 사용한 스크립트/명령/입력을 다시 기록
- `Exec-Warn`: 경고와 재시도 이력을 보강
- `Exec-Tool`: 도구 오류 분리 후 수정
## 실제 결과
- 사용한 실행 경로:
- 생성된 산출물:
- 경고:
- 재시도 이력:
- 충족 항목 수:
- 충족률:
- 실패 분류:
- 수정 액션:
## 판정
- pass / revise / fail