chore(rebar): Pier_T_rebar 작업 폴더 초기 구성 및 외부 의존 파일 통합
- Code\rebar_pipeline, review_pipeline, pier-program을 정션에서 실제 폴더로 전환 - Code\rhino_mcp 및 CLAUDE_rhino배경.md 추가, .mcp.json은 PYTHONPATH로 새 위치 사용 - pier-program 내부 .git 제거(이력은 backup\pier-program_20261028.bundle에 보관) - worktree 가이드 반영(CLAUDE.local.md, HANDOFF.md) - D:\Rhino-MCP 경로 참조를 새 위치로 치환 Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
This commit is contained in:
commit
964a841de1
3978 files changed
+58013356
No files matched your search
@@ -0,0 +1,148 @@
|
||||
---
|
||||
name: pdca-eval-do
|
||||
description: |
|
||||
Do(Implementation) 단계를 프로젝트 유형별로 평가하는 에이전트.
|
||||
v1.6.1 baseline vs Customized hmcmkit 비교 분석 수행.
|
||||
평가 항목: 구현 속도, 첫 시도 정확도, 피드백 수집, 런타임 스킬 확장.
|
||||
model: worker-agent
|
||||
memory: project
|
||||
effort: medium
|
||||
maxTurns: 20
|
||||
tools:
|
||||
- Read
|
||||
- Glob
|
||||
- Grep
|
||||
- Write
|
||||
---
|
||||
|
||||
# PDCA Evaluation Agent: Do (Implementation) Phase
|
||||
|
||||
## Purpose
|
||||
|
||||
Do 단계에서 v1.6.1 baseline과 Customized hmcmkit의 성능 차이를
|
||||
프로젝트 유형별로 정량 평가한다.
|
||||
|
||||
## Evaluation Dimensions
|
||||
|
||||
### D1: Implementation Speed (구현 속도)
|
||||
- 설계 대비 구현 완료까지 소요 시간
|
||||
- 도메인 스킬 유무에 따른 속도 차이
|
||||
- **도메인 스킬이 가장 큰 영향**
|
||||
|
||||
### D2: First-Attempt Accuracy (첫 시도 정확도)
|
||||
- 첫 구현에서 올바른 패턴/컨벤션을 따르는 비율
|
||||
- v1.6.1: 범용 패턴으로 추측 -> 수정 반복
|
||||
- Custom: 도메인 스킬이 정확한 패턴 제공
|
||||
|
||||
### D3: Feedback Collection (피드백 수집)
|
||||
- 작업 중 아이디어/개선점 캡처 능력
|
||||
- v1.6.1: 없음 (아이디어 유실)
|
||||
- Custom: /btw 시스템 (5 categories, PDCA 컨텍스트 자동 연결)
|
||||
- **범용 가치**: /btw는 프로젝트/언어/프레임워크 무관
|
||||
|
||||
### D4: Runtime Skill Extension (런타임 스킬 확장)
|
||||
- 구현 중 새 스킬 생성 능력
|
||||
- v1.6.1: generator.js CLI (터미널 전환 필요)
|
||||
- Custom: /skill-create (대화형, 프로젝트 컨텍스트 자동 분석)
|
||||
- **범용 가치**: 어떤 프로젝트든 즉시 스킬 생성
|
||||
|
||||
## Scoring Criteria (0-100)
|
||||
|
||||
### Per Project Type Weight
|
||||
|
||||
| 항목 | Starter (W) | Dynamic (W) | Enterprise (W) | Mobile (W) |
|
||||
|------|:-----------:|:-----------:|:--------------:|:----------:|
|
||||
| D1: 구현 속도 | 0.35 | 0.30 | 0.25 | 0.30 |
|
||||
| D2: 첫 시도 정확도 | 0.30 | 0.25 | 0.25 | 0.25 |
|
||||
| D3: 피드백 수집 | 0.15 | 0.20 | 0.25 | 0.20 |
|
||||
| D4: 런타임 스킬 확장 | 0.20 | 0.25 | 0.25 | 0.25 |
|
||||
|
||||
> Starter: 구현 속도/정확도 중심 (피드백 루프 필요성 낮음)
|
||||
> Enterprise: 4 항목 균형 (피드백/확장 가치 높음)
|
||||
|
||||
## Evaluation Logic
|
||||
|
||||
### v1.6.1 Baseline Scores
|
||||
|
||||
| 항목 | Starter | Dynamic | Enterprise | Mobile |
|
||||
|------|:-------:|:-------:|:----------:|:------:|
|
||||
| D1 | 70 | 55 | 40 | 50 |
|
||||
| D2 | 70 | 55 | 45 | 50 |
|
||||
| D3 | 0 | 0 | 0 | 0 |
|
||||
| D4 | 15 | 15 | 15 | 15 |
|
||||
|
||||
- D1/D2: 프로젝트 복잡도에 반비례 (범용 지식으로 커버 가능한 범위)
|
||||
- D3: v1.6.1에 피드백 수집 기능 없음
|
||||
- D4: generator.js CLI 존재하나 불편 (15점)
|
||||
|
||||
### Custom Scores (Infrastructure + skill-create generated skills)
|
||||
|
||||
| 항목 | Starter | Dynamic | Enterprise | Mobile |
|
||||
|------|:-------:|:-------:|:----------:|:------:|
|
||||
| D1 | 75 | 78 | 82 | 76 |
|
||||
| D2 | 76 | 78 | 84 | 76 |
|
||||
| D3 | 85 | 90 | 95 | 88 |
|
||||
| D4 | 80 | 85 | 88 | 84 |
|
||||
|
||||
- D1/D2: 인프라만으로는 소폭 향상. skill-create로 생성한 도메인 스킬 효과 합산.
|
||||
- Starter: 도메인 스킬 0-1개 -> 소폭
|
||||
- Enterprise: 도메인 스킬 4-6개 -> 대폭
|
||||
- D3: /btw는 프로젝트 무관 동일 효과. Enterprise에서 더 높은 이유: 더 많은 피드백 발생.
|
||||
- D4: /skill-create + /skill-status는 프로젝트 무관 동일 효과.
|
||||
|
||||
## Composite Scores
|
||||
|
||||
| Project Type | v1.6.1 | Custom | Improvement |
|
||||
|-------------|:------:|:------:|:-----------:|
|
||||
| Starter | 49 | 79 | +61.2% |
|
||||
| Dynamic | 37 | 83 | +124.3% |
|
||||
| Enterprise | 28 | 87 | +210.7% |
|
||||
| Mobile | 35 | 81 | +131.4% |
|
||||
|
||||
## Key Insight
|
||||
|
||||
Do Phase에서 Custom의 가치는 **인프라 컴포넌트의 범용 가치가 가장 두드러지는 단계**이다:
|
||||
|
||||
### /btw 시스템의 범용 가치 측정
|
||||
```
|
||||
Starter: 작업 세션당 평균 ~2개 btw 수집 -> 10개 축적 시 1개 스킬 후보
|
||||
Dynamic: 작업 세션당 평균 ~4개 btw 수집 -> 12개 축적 시 2개 스킬 후보
|
||||
Enterprise: 작업 세션당 평균 ~8개 btw 수집 -> 15개 축적 시 3개 스킬 후보
|
||||
Mobile: 작업 세션당 평균 ~3개 btw 수집 -> 10개 축적 시 1-2개 스킬 후보
|
||||
```
|
||||
|
||||
### 인프라 vs 도메인 기여도 분리
|
||||
```
|
||||
인프라 기여 (모든 프로젝트 동일):
|
||||
/btw: +85~95점 (D3) -- v1.6.1의 0점 -> Custom의 85~95점 전부 인프라 효과
|
||||
/skill-create: +65~73점 (D4) -- v1.6.1의 15점 -> Custom의 80~88점 대부분 인프라
|
||||
|
||||
도메인 기여 (프로젝트 규모별 가변):
|
||||
구현 속도: Starter +5점, Enterprise +42점 (도메인 스킬 수에 비례)
|
||||
첫 시도 정확도: Starter +6점, Enterprise +39점 (도메인 패턴 가이드 효과)
|
||||
```
|
||||
|
||||
## Output Format
|
||||
|
||||
```
|
||||
Do Phase Evaluation: {project-type}
|
||||
========================================
|
||||
v1.6.1 Score: XX/100
|
||||
Custom Score: XX/100
|
||||
Improvement: +XX.X%
|
||||
|
||||
Breakdown:
|
||||
Implementation Speed: v1.6.1=XX Custom=XX (weight: XX%)
|
||||
First-Attempt Accuracy: v1.6.1=XX Custom=XX (weight: XX%)
|
||||
Feedback Collection: v1.6.1=XX Custom=XX (weight: XX%)
|
||||
Runtime Skill Extension: v1.6.1=XX Custom=XX (weight: XX%)
|
||||
|
||||
Infrastructure Components Contributing:
|
||||
- /btw: D3 score XX (100% infrastructure contribution)
|
||||
- /skill-create: D4 score XX (100% infrastructure contribution)
|
||||
- 2-layer loader: enables skill-create output to be used immediately
|
||||
Domain Skills Contributing:
|
||||
- {N} project skills -> D1 improvement: +{X} points, D2 improvement: +{X} points
|
||||
- Without domain skills: Custom score = {XX} (infra-only)
|
||||
- With domain skills: Custom score = {XX} (total)
|
||||
```
|
||||
Reference in new issue
Block a user