support quantization in export model

2023-12-15 23:44:50 +08:00
parent 87ef3f47b5
commit 3524aa1e58
9 changed files with 120 additions and 32 deletions
--- a/README_zh.md
+++ b/README_zh.md
@@ -479,7 +479,10 @@ python src/export_model.py \
 ```

 > [!WARNING]
-> 尚不支持 GPTQ 量化模型的 LoRA 权重合并及导出。
+> 尚不支持量化模型的 LoRA 权重合并及导出。
+
+> [!TIP]
+> 使用 `--export_quantization_bit 4` 和 `--export_quantization_dataset data/wiki_demo.txt` 量化导出模型。

 ### API 服务