Update commit
This commit is contained in:
@@ -6,7 +6,13 @@ from vllm import LLM
|
||||
이렇게 올라온 모델을 사용해 이제 텍스트를 생성하는 text generate를 실행해보겠습니다. 다음과 같이 실행하면 됩니다.
|
||||
"""
|
||||
|
||||
llm = LLM(model="yanolja/EEVE-Korean-Instruct-2.8B-v1.0", max_model_len=2048, tensor_parallel_size=1) # 모델로드
|
||||
llm = LLM(
|
||||
model="yanolja/EEVE-Korean-Instruct-2.8B-v1.0",
|
||||
max_model_len=2048,
|
||||
tensor_parallel_size=1,
|
||||
) # 모델로드
|
||||
|
||||
requestoutput = llm.generate("안녕하십니까. 기상 캐스터 어시스턴트입니다. 오늘의 날씨는") # 입력문장
|
||||
requestoutput = llm.generate(
|
||||
"안녕하십니까. 기상 캐스터 어시스턴트입니다. 오늘의 날씨는"
|
||||
) # 입력문장
|
||||
print(requestoutput)
|
||||
|
||||
Reference in New Issue
Block a user