Claw Code + vLLM(Qwen3-4B-Thinking) 로컬 개발 환경 셋업 #1

New Issue

kimminsung · 2026-04-09T14:36:31+09:00

kimminsung commented

2026-04-09 14:36:31 +09:00

목표

Claw Code(Rust CLI)를 로컬 vLLM 서버와 연동하여 Anthropic API 없이 로컬 LLM으로 에이전트 세션을 운용할 수 있도록 환경을 구성한다.

작업 내역

instructkr/claw-code 클론 및 cargo build --workspace 빌드
claw doctor 동작 확인
clawcodeapp ↔ vllm-windows 멀티루트 VS Code workspace 파일 생성
vLLM docker-compose를 BAAI/bge-m3(embed)에서 Qwen/Qwen3-4B-Thinking-2507로 교체
- --served-model-name local-qwen-thinking (DashScope prefix 오라우팅 방지)
- --max-model-len 12000, --gpu-memory-utilization 0.9, --enforce-eager
vLLM 기동 확인 (/v1/models 응답)
claw --model local-qwen-thinking prompt ... end-to-end 검증

연결 정보

Base URL: http://localhost:8000/v1
Model: local-qwen-thinking
API Key: EMPTY
claw 호출 시 ANTHROPIC_API_KEY unset 필수 (prefix 미매칭 → 환경변수 우선순위 라우팅)

참고

claw는 모델명에 thinking 포함 시 temperature/top_p 등 자동 제거
보안: vllm-windows/docker-compose.yml에 HF 토큰 하드코딩 상태 → 별도 이슈로 분리 필요

## 목표 Claw Code(Rust CLI)를 로컬 vLLM 서버와 연동하여 Anthropic API 없이 로컬 LLM으로 에이전트 세션을 운용할 수 있도록 환경을 구성한다. ## 작업 내역 - [x] `instructkr/claw-code` 클론 및 `cargo build --workspace` 빌드 - [x] `claw doctor` 동작 확인 - [x] `clawcodeapp` ↔ `vllm-windows` 멀티루트 VS Code workspace 파일 생성 - [x] vLLM docker-compose를 `BAAI/bge-m3`(embed)에서 `Qwen/Qwen3-4B-Thinking-2507`로 교체 - `--served-model-name local-qwen-thinking` (DashScope prefix 오라우팅 방지) - `--max-model-len 12000`, `--gpu-memory-utilization 0.9`, `--enforce-eager` - [ ] vLLM 기동 확인 (`/v1/models` 응답) - [ ] `claw --model local-qwen-thinking prompt ...` end-to-end 검증 ## 연결 정보 - Base URL: `http://localhost:8000/v1` - Model: `local-qwen-thinking` - API Key: `EMPTY` - claw 호출 시 `ANTHROPIC_API_KEY` unset 필수 (prefix 미매칭 → 환경변수 우선순위 라우팅) ## 참고 - claw는 모델명에 `thinking` 포함 시 `temperature`/`top_p` 등 자동 제거 - 보안: `vllm-windows/docker-compose.yml`에 HF 토큰 하드코딩 상태 → 별도 이슈로 분리 필요

kimminsung referenced this issue from a commit

2026-04-09 14:36:52 +09:00

chore: scaffold claw-code + vllm workspace (#1)

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: kimminsung/clawcodeapp#1