Block a user
vLLM 엔진 초기화 시 Cannot re-initialize CUDA in forked subprocess 런타임 오류 발생
vLLM 초기화 이슈 (FastAPI/Uvicorn 환경)
API 서버 실행 시 vLLM 엔진이 초기화되지 못하고 컨테이너가 종료되는 현상을 해결했습니다. 이 문제는 두 가지 별개의 원인이 순차적으로 작용한 결과였습니다.…
vLLM 엔진 초기화 시 Cannot re-initialize CUDA in forked subprocess 런타임 오류 발생