kimminsung/clawcodeapp
1
0
Fork 0
Code Issues 1 Pull Requests Actions Packages Projects Releases Wiki Activity

Claw Code + vLLM(Qwen3-4B-Thinking) 로컬 개발 환경 셋업 #1

New Issue
Open
opened 2026-04-09 14:36:31 +09:00 by kimminsung · 0 comments
kimminsung commented 2026-04-09 14:36:31 +09:00
Owner
Copy Link
Copy Source

목표

Claw Code(Rust CLI)를 로컬 vLLM 서버와 연동하여 Anthropic API 없이 로컬 LLM으로 에이전트 세션을 운용할 수 있도록 환경을 구성한다.

작업 내역

  • instructkr/claw-code 클론 및 cargo build --workspace 빌드
  • claw doctor 동작 확인
  • clawcodeapp ↔ vllm-windows 멀티루트 VS Code workspace 파일 생성
  • vLLM docker-compose를 BAAI/bge-m3(embed)에서 Qwen/Qwen3-4B-Thinking-2507로 교체
    • --served-model-name local-qwen-thinking (DashScope prefix 오라우팅 방지)
    • --max-model-len 12000, --gpu-memory-utilization 0.9, --enforce-eager
  • vLLM 기동 확인 (/v1/models 응답)
  • claw --model local-qwen-thinking prompt ... end-to-end 검증

연결 정보

  • Base URL: http://localhost:8000/v1
  • Model: local-qwen-thinking
  • API Key: EMPTY
  • claw 호출 시 ANTHROPIC_API_KEY unset 필수 (prefix 미매칭 → 환경변수 우선순위 라우팅)

참고

  • claw는 모델명에 thinking 포함 시 temperature/top_p 등 자동 제거
  • 보안: vllm-windows/docker-compose.yml에 HF 토큰 하드코딩 상태 → 별도 이슈로 분리 필요
## 목표 Claw Code(Rust CLI)를 로컬 vLLM 서버와 연동하여 Anthropic API 없이 로컬 LLM으로 에이전트 세션을 운용할 수 있도록 환경을 구성한다. ## 작업 내역 - [x] `instructkr/claw-code` 클론 및 `cargo build --workspace` 빌드 - [x] `claw doctor` 동작 확인 - [x] `clawcodeapp` ↔ `vllm-windows` 멀티루트 VS Code workspace 파일 생성 - [x] vLLM docker-compose를 `BAAI/bge-m3`(embed)에서 `Qwen/Qwen3-4B-Thinking-2507`로 교체 - `--served-model-name local-qwen-thinking` (DashScope prefix 오라우팅 방지) - `--max-model-len 12000`, `--gpu-memory-utilization 0.9`, `--enforce-eager` - [ ] vLLM 기동 확인 (`/v1/models` 응답) - [ ] `claw --model local-qwen-thinking prompt ...` end-to-end 검증 ## 연결 정보 - Base URL: `http://localhost:8000/v1` - Model: `local-qwen-thinking` - API Key: `EMPTY` - claw 호출 시 `ANTHROPIC_API_KEY` unset 필수 (prefix 미매칭 → 환경변수 우선순위 라우팅) ## 참고 - claw는 모델명에 `thinking` 포함 시 `temperature`/`top_p` 등 자동 제거 - 보안: `vllm-windows/docker-compose.yml`에 HF 토큰 하드코딩 상태 → 별도 이슈로 분리 필요
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
No items
No labels
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
kimminsung (김민성)
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: kimminsung/clawcodeapp#1