Update commit

This commit is contained in:
kyy
2025-01-08 15:06:58 +09:00
parent 8eb945687d
commit 4ced8db541
9 changed files with 78 additions and 95 deletions

View File

@@ -6,7 +6,13 @@ from vllm import LLM
이렇게 올라온 모델을 사용해 이제 텍스트를 생성하는 text generate를 실행해보겠습니다. 다음과 같이 실행하면 됩니다.
"""
llm = LLM(model="yanolja/EEVE-Korean-Instruct-2.8B-v1.0", max_model_len=2048, tensor_parallel_size=1) # 모델로드
llm = LLM(
model="yanolja/EEVE-Korean-Instruct-2.8B-v1.0",
max_model_len=2048,
tensor_parallel_size=1,
) # 모델로드
requestoutput = llm.generate("안녕하십니까. 기상 캐스터 어시스턴트입니다. 오늘의 날씨는") # 입력문장
requestoutput = llm.generate(
"안녕하십니까. 기상 캐스터 어시스턴트입니다. 오늘의 날씨는"
) # 입력문장
print(requestoutput)