# -------------------------------------------------------------------------- # vLLM Engine Configuration # -------------------------------------------------------------------------- # 이 파일의 주석(#)을 제거하고 값을 수정하여 기본 엔진 설정을 재정의할 수 있습니다. # 설정 가능한 변수 목록은 config/engine_settings.py 파일을 참고하세요. # Hugging Face 모델 경로 또는 로컬 경로 # MODEL_PATH="deepseek-ai/DeepSeek-OCR" # 텐서 병렬 처리 크기 (Multi-GPU 환경에서 사용) # TENSOR_PARALLEL_SIZE=1 # 최대 GPU 메모리 사용률 (0.0 ~ 1.0) # GPU_MEMORY_UTILIZATION=0.15 # KV 캐시 블록 크기 # BLOCK_SIZE=256 # 최대 모델 길이 # MAX_MODEL_LEN=8192 # Eager 모드 강제 실행 여부 (True / False) # ENFORCE_EAGER=False # 원격 코드 신뢰 여부 (True / False) # TRUST_REMOTE_CODE=True # 사용자 정의 모델 아키텍처 (쉼표로 구분) # ARCHITECTURES="DeepseekOCRForCausalLM"