30 lines
977 B
Bash
30 lines
977 B
Bash
# --------------------------------------------------------------------------
|
|
# vLLM Engine Configuration
|
|
# --------------------------------------------------------------------------
|
|
# 이 파일의 주석(#)을 제거하고 값을 수정하여 기본 엔진 설정을 재정의할 수 있습니다.
|
|
# 설정 가능한 변수 목록은 config/engine_settings.py 파일을 참고하세요.
|
|
|
|
# Hugging Face 모델 경로 또는 로컬 경로
|
|
# MODEL_PATH="deepseek-ai/DeepSeek-OCR"
|
|
|
|
# 텐서 병렬 처리 크기 (Multi-GPU 환경에서 사용)
|
|
# TENSOR_PARALLEL_SIZE=1
|
|
|
|
# 최대 GPU 메모리 사용률 (0.0 ~ 1.0)
|
|
# GPU_MEMORY_UTILIZATION=0.15
|
|
|
|
# KV 캐시 블록 크기
|
|
# BLOCK_SIZE=256
|
|
|
|
# 최대 모델 길이
|
|
# MAX_MODEL_LEN=8192
|
|
|
|
# Eager 모드 강제 실행 여부 (True / False)
|
|
# ENFORCE_EAGER=False
|
|
|
|
# 원격 코드 신뢰 여부 (True / False)
|
|
# TRUST_REMOTE_CODE=True
|
|
|
|
# 사용자 정의 모델 아키텍처 (쉼표로 구분)
|
|
# ARCHITECTURES="DeepseekOCRForCausalLM"
|