서빙 설정 변수 및 파일 추가

This commit is contained in:
kyy
2025-11-06 15:12:26 +09:00
parent 7749492ae7
commit 732e7c8cc0
4 changed files with 83 additions and 19 deletions

29
.env Normal file
View File

@@ -0,0 +1,29 @@
# --------------------------------------------------------------------------
# vLLM Engine Configuration
# --------------------------------------------------------------------------
# 이 파일의 주석(#)을 제거하고 값을 수정하여 기본 엔진 설정을 재정의할 수 있습니다.
# 설정 가능한 변수 목록은 config/engine_settings.py 파일을 참고하세요.
# Hugging Face 모델 경로 또는 로컬 경로
# MODEL_PATH="deepseek-ai/DeepSeek-OCR"
# 텐서 병렬 처리 크기 (Multi-GPU 환경에서 사용)
# TENSOR_PARALLEL_SIZE=1
# 최대 GPU 메모리 사용률 (0.0 ~ 1.0)
# GPU_MEMORY_UTILIZATION=0.15
# KV 캐시 블록 크기
# BLOCK_SIZE=256
# 최대 모델 길이
# MAX_MODEL_LEN=8192
# Eager 모드 강제 실행 여부 (True / False)
# ENFORCE_EAGER=False
# 원격 코드 신뢰 여부 (True / False)
# TRUST_REMOTE_CODE=True
# 사용자 정의 모델 아키텍처 (쉼표로 구분)
# ARCHITECTURES="DeepseekOCRForCausalLM"