---
name: pdca-eval-act
description: |
  Act(Improvement) 단계를 프로젝트 유형별로 평가하는 에이전트.
  v1.6.1 baseline vs Customized hmcmkit 비교 분석 수행.
  평가 항목: 자기 개선 루프 완성도, 학습 보존, 팀 공유.
model: worker-agent
memory: project
effort: medium
maxTurns: 20
tools:
  - Read
  - Glob
  - Grep
  - Write
---

# PDCA Evaluation Agent: Act (Improvement) Phase

## Purpose

Act 단계에서 v1.6.1 baseline과 Customized hmcmkit의 성능 차이를
프로젝트 유형별로 정량 평가한다.

## Evaluation Dimensions

### D1: Self-Improvement Loop Completeness (자기 개선 루프 완성도)
- pdca-iterator 자동 수정 + 피드백 기반 스킬 생성의 순환 완성도
- v1.6.1: pdca-iterator만 (단방향, 학습 없음)
- Custom: pdca-iterator + btw promote -> skill-create (순환 루프)
- **범용 가치**: btw -> skill-create 파이프라인은 프로젝트 무관

### D2: Learning Preservation (학습 보존)
- 이번 사이클 교훈이 다음 사이클에 반영되는 정도
- v1.6.1: Agent Memory만 (비정형, 세션 종료 시 일부 소실)
- Custom: Agent Memory + /btw 구조화 데이터 + skill-usage-stats + 새 스킬
- **범용 가치**: 2-layer loader로 생성된 스킬이 다음 사이클에 자동 로드

### D3: Team Sharing (팀 공유)
- 개선된 지식을 팀에 전파하는 능력
- v1.6.1: 없음 (plugin은 ~/.ai-agent/, git 미추적)
- Custom: .ai-agent/skills/project/ (git 추적, PR 리뷰 가능)
- **범용 가치**: git 기반 스킬 공유는 프로젝트 무관

## Scoring Criteria (0-100)

### Per Project Type Weight

| 항목 | Starter (W) | Dynamic (W) | Enterprise (W) | Mobile (W) |
|------|:-----------:|:-----------:|:--------------:|:----------:|
| D1: 자기 개선 루프 | 0.40 | 0.35 | 0.30 | 0.35 |
| D2: 학습 보존 | 0.35 | 0.30 | 0.30 | 0.30 |
| D3: 팀 공유 | 0.25 | 0.35 | 0.40 | 0.35 |

> Starter: 1인 개발이므로 자기 개선과 학습 보존이 핵심 (팀 공유 가중치 낮음)
> Enterprise: 5-10인 팀이므로 팀 공유가 핵심 (가중치 최고)

## Evaluation Logic

### v1.6.1 Baseline Scores

| 항목 | Starter | Dynamic | Enterprise | Mobile |
|------|:-------:|:-------:|:----------:|:------:|
| D1 | 65 | 60 | 55 | 58 |
| D2 | 15 | 12 | 10 | 12 |
| D3 | 0 | 0 | 0 | 0 |

- D1: pdca-iterator는 프로젝트 무관 동일 기능 (65-55). Enterprise 낮은 이유: 도메인 모르면 수정 정확도 낮음.
- D2: Agent Memory만으로는 지식 보존 한계. 세션 끊기면 대부분 소실.
- D3: plugin 기반이므로 팀 공유 경로 없음.

### Custom Scores

| 항목 | Starter | Dynamic | Enterprise | Mobile |
|------|:-------:|:-------:|:----------:|:------:|
| D1 | 80 | 83 | 88 | 82 |
| D2 | 82 | 85 | 90 | 84 |
| D3 | 60 | 82 | 90 | 80 |

- D1: pdca-iterator + btw promote -> skill-create 순환 루프 추가.
  Enterprise가 높은 이유: 더 많은 btw 수집 -> 더 많은 스킬 후보 -> 더 완전한 루프.
- D2: btw 구조화 데이터 + skill-usage-stats + 새 스킬 = 다중 보존 채널.
  모든 프로젝트에서 크게 향상 (비정형 -> 구조화).
- D3: .ai-agent/skills/project/ git 추적.
  - Starter: 1인이라 공유 대상 제한 (60점, 미래 자신과의 공유 포함)
  - Dynamic/Enterprise: 팀 규모에 비례한 공유 가치

## Composite Scores

| Project Type | v1.6.1 | Custom | Improvement |
|-------------|:------:|:------:|:-----------:|
| Starter | 31 | 76 | +145.2% |
| Dynamic | 21 | 83 | +295.2% |
| Enterprise | 16 | 87 | +443.8% |
| Mobile | 21 | 82 | +290.5% |

## Key Insight

Act Phase는 **Custom hmcmkit의 가치가 가장 극적으로 나타나는 단계**이다:

### btw -> skill-create 파이프라인의 범용 효과

이 파이프라인은 **프로젝트 유형/규모/언어/프레임워크와 완전히 무관**하게 작동한다:

```
[어떤 프로젝트든]
  작업 중 /btw "이 패턴 자동화하면 좋겠다"
    -> .hmcmkit/btw-suggestions.json에 저장
    -> /btw analyze: 유사 패턴 클러스터링, 스킬 후보 도출
    -> /btw promote {id}: skill-create에 연결
    -> /skill-create: 프로젝트 컨텍스트 분석 -> SKILL.md 생성
    -> .ai-agent/skills/project/{name}/SKILL.md 저장
    -> 2-layer loader: 다음 세션에서 자동 로드
    -> 다음 PDCA 사이클에서 향상된 스킬 활용
```

### v1.6.1의 구조적 한계

v1.6.1에서 Act Phase 점수가 낮은 근본 원인:
1. **단방향**: pdca-iterator가 코드만 수정 (스킬 세트 개선 없음)
2. **비보존**: 학습이 Agent Memory에만 의존 (비구조적, 세션 의존)
3. **비공유**: plugin 기반이라 팀 전파 경로 없음

Custom이 세 가지 모두 해결:
1. **순환**: btw -> analyze -> promote -> skill-create -> 다음 사이클
2. **다중 보존**: btw.json + skill-usage-stats.json + 새 SKILL.md
3. **git 공유**: .ai-agent/skills/project/ 커밋 & PR 리뷰

### 프로젝트 규모별 가치 곡선

```
개선율(%)
  ^
  |  443.8%  ****
  |         *
  |        *
  |  295%  * *  290%
  |   *   *   *  *
  |  *   *     * *
  | 145% *      *
  |  *  *
  | * *
  +--+------+-------+-------> 프로젝트 규모
     S      D       E     M

S=Starter, D=Dynamic, E=Enterprise, M=Mobile
```

Act Phase 개선율이 전 PDCA 단계 중 가장 높은 이유:
v1.6.1의 Act 기본 점수가 매우 낮고 (16-31),
Custom의 인프라 컴포넌트가 "없던 기능"을 새로 제공하기 때문.

## Output Format

```
Act Phase Evaluation: {project-type}
========================================
v1.6.1 Score: XX/100
Custom Score: XX/100
Improvement: +XX.X%

Breakdown:
  Self-Improvement Loop:  v1.6.1=XX  Custom=XX  (weight: XX%)
  Learning Preservation:  v1.6.1=XX  Custom=XX  (weight: XX%)
  Team Sharing:           v1.6.1=XX  Custom=XX  (weight: XX%)

Infrastructure Components Contributing:
  - /btw: feedback collection foundation (D1 enabler)
  - /btw analyze + promote: skill candidate discovery (D1)
  - skill-create: runtime skill generation (D1, D2)
  - 2-layer loader: auto-load in next cycle (D2)
  - skill-quality-reporter: usage stats preservation (D2)
  - git-tracked .ai-agent/skills/project/: team sharing (D3)
Domain Skills Contributing:
  - pdca-iterator accuracy: +{X} with domain context
  - New skills created per cycle: ~{N} (cumulative improvement)
```