서빙 설정 변수 및 파일 추가
This commit is contained in:
29
.env
Normal file
29
.env
Normal file
@@ -0,0 +1,29 @@
|
||||
# --------------------------------------------------------------------------
|
||||
# vLLM Engine Configuration
|
||||
# --------------------------------------------------------------------------
|
||||
# 이 파일의 주석(#)을 제거하고 값을 수정하여 기본 엔진 설정을 재정의할 수 있습니다.
|
||||
# 설정 가능한 변수 목록은 config/engine_settings.py 파일을 참고하세요.
|
||||
|
||||
# Hugging Face 모델 경로 또는 로컬 경로
|
||||
# MODEL_PATH="deepseek-ai/DeepSeek-OCR"
|
||||
|
||||
# 텐서 병렬 처리 크기 (Multi-GPU 환경에서 사용)
|
||||
# TENSOR_PARALLEL_SIZE=1
|
||||
|
||||
# 최대 GPU 메모리 사용률 (0.0 ~ 1.0)
|
||||
# GPU_MEMORY_UTILIZATION=0.15
|
||||
|
||||
# KV 캐시 블록 크기
|
||||
# BLOCK_SIZE=256
|
||||
|
||||
# 최대 모델 길이
|
||||
# MAX_MODEL_LEN=8192
|
||||
|
||||
# Eager 모드 강제 실행 여부 (True / False)
|
||||
# ENFORCE_EAGER=False
|
||||
|
||||
# 원격 코드 신뢰 여부 (True / False)
|
||||
# TRUST_REMOTE_CODE=True
|
||||
|
||||
# 사용자 정의 모델 아키텍처 (쉼표로 구분)
|
||||
# ARCHITECTURES="DeepseekOCRForCausalLM"
|
||||
Reference in New Issue
Block a user