30 lines
1.2 KiB
Bash
30 lines
1.2 KiB
Bash
export CUDA_LAUNCH_BLOCKING=1
|
|
export HF_DATASETS_CACHE=/workspace/huggingface/cache/
|
|
|
|
MODEL_PATH="" ### base 모델 경로
|
|
MODEL_NAME="" ### 학습하고자 하는 base 모델명
|
|
DATASET="" ### dataset_info.json에 정의된 데이터명명
|
|
LOG_PATH="logs" ### 학습 log 저장 경로
|
|
SAVE_MODEL_PATH="" ### 학습모델 저장 경로
|
|
SAVE_MODEL_NAME="" ### 학습모델명
|
|
|
|
nohup deepspeed --num_gpus 8 --master_port=9901 src/train_bash.py > ${LOG_PATH}/${SAVE_MODEL_NAME}.out \
|
|
--stage sft \
|
|
--do_train \
|
|
--model_name_or_path ${MODEL_PATH}/${MODEL_NAME} \
|
|
--dataset slx_sft \
|
|
--deepspeed configs/ds_zero3.json \
|
|
--template vanilla \
|
|
--finetuning_type full \
|
|
--output_dir ${SAVE_MODEL_PATH}/${SAVE_MODEL_NAME} \
|
|
--overwrite_cache False \
|
|
--per_device_train_batch_size 8 \
|
|
--gradient_accumulation_steps 8 \
|
|
--lr_scheduler_type cosine \
|
|
--logging_steps 10 \
|
|
--save_strategy epoch \
|
|
--save_total_limit 2 \
|
|
--learning_rate 2e-5 \
|
|
--num_train_epochs 3.0 \
|
|
--plot_loss \
|
|
--fp16 & |