Strengthen step issue files with KPI-based evaluation rules
This commit is contained in:
@@ -10,30 +10,59 @@ Step 5 / 실제 수행
|
||||
|
||||
## 실행 방법
|
||||
1. 계획된 stage를 순서대로 수행한다.
|
||||
2. 산출물을 저장한다.
|
||||
2. stage별 산출물을 저장한다.
|
||||
3. 경고와 재시도 이력을 남긴다.
|
||||
4. 최종 결과물 경로를 연결한다.
|
||||
5. 저장 누락과 실행 중단 여부를 점검한다.
|
||||
|
||||
## 필수 산출 항목
|
||||
- E1. 실제 실행 경로 기록
|
||||
- E2. 산출물 파일 1개 이상 생성
|
||||
- E3. 중간 또는 최종 결과 경로 기록
|
||||
- E4. 경고 사항 기록
|
||||
- E5. 재시도 이력 기록 (없으면 없음으로 표기)
|
||||
|
||||
## 성공 기준
|
||||
- 산출물이 실제로 생성되었다.
|
||||
- 실행 경로가 추적 가능하다.
|
||||
- 경고와 재시도 이력이 남는다.
|
||||
- E1~E5 전부 작성됨
|
||||
- 산출물 파일이 실제로 존재함
|
||||
- 실행 경로가 추적 가능함
|
||||
- 경고/재시도 이력이 남음
|
||||
|
||||
## 실패 기준
|
||||
- 실행이 중간에 끊겼다.
|
||||
- 산출물이 저장되지 않았다.
|
||||
- 어떤 입력으로 어떤 실행을 했는지 추적이 안 된다.
|
||||
- 실행 중단
|
||||
- 산출물 미생성
|
||||
- 실행 경로 미기록
|
||||
- 경고/재시도 이력 미기록
|
||||
|
||||
## KPI / 판정 규칙
|
||||
- 충족률 = 충족 항목 수 / 5
|
||||
- `pass`: 충족률 100% and 치명 항목(E1, E2, E3) 모두 충족
|
||||
- `revise`: 충족률 80% 이상 100% 미만 and 치명 항목 모두 충족
|
||||
- `fail`: 충족률 80% 미만 or 치명 항목 1개 이상 누락
|
||||
|
||||
## 실패 분류
|
||||
- Generation
|
||||
- Rendering
|
||||
- Tooling
|
||||
- `Exec-Run`: 실행 중단
|
||||
- `Exec-Artifact`: 산출물 생성 실패
|
||||
- `Exec-Trace`: 실행 경로 추적 불가
|
||||
- `Exec-Warn`: 경고/재시도 기록 누락
|
||||
- `Exec-Tool`: 도구/스크립트 문제
|
||||
|
||||
## 수정 액션 가이드
|
||||
- `Exec-Run`: 중단 지점 재확인 후 해당 stage 재실행
|
||||
- `Exec-Artifact`: 산출물 경로와 저장 로직 점검 후 재생성
|
||||
- `Exec-Trace`: 사용한 스크립트/명령/입력을 다시 기록
|
||||
- `Exec-Warn`: 경고와 재시도 이력을 보강
|
||||
- `Exec-Tool`: 도구 오류 분리 후 수정
|
||||
|
||||
## 실제 결과
|
||||
- 사용한 실행 경로:
|
||||
- 생성된 산출물:
|
||||
- 경고:
|
||||
- 재시도 이력:
|
||||
- 충족 항목 수:
|
||||
- 충족률:
|
||||
- 실패 분류:
|
||||
- 수정 액션:
|
||||
|
||||
## 판정
|
||||
- pass / revise / fail
|
||||
|
||||
Reference in New Issue
Block a user