Update README.md

README.md

@@ -28,12 +28,15 @@ pipeline_tag: text-generation
 |:-------:|:-------:|:-------:|:-------:|
 | 20230827-v0.1 | 🤗 [Sakura-13B-Galgame-v0.1](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.1) | - | - |
 | 20230908-v0.4 | 🤗 [Sakura-13B-Galgame-v0.4](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.4) | - | - |
-| 20230917-v0.5 | 🤗 sakuraumi/Sakura-13B-Galgame根目录下 | 🤗 [Sakura-13B-Galgame-v0.5-8bits](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.5_8bits) | - |
+| 20230917-v0.5 | 🤗 sakuraumi/Sakura-13B-Galgame根目录下 | 🤗 [Sakura-13B-Galgame-v0.5-8bits](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.5_8bits) | [Sakura-13B-Galgame-v0.5-4bits](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.5_4bits_autogptq_40k) |
+| 20231011-v0.7 | 🤗 [Sakura-14B-LNovel](https://huggingface.co/sakuraumi/Sakura-14B-LNovel)
 
 目前仍为实验版本，翻译质量较差.
 
 # 日志
 
+`20231011`：上传第四版模型`sakura-14b-2epoch-4.4M-1003-v0.7`，改用QWen-14B-Chat模型进行微调，增加数据集。
+
 `20230917`：上传第三版模型`sakura-13b-2epoch-2.6M-0917-v0.5`，改用Baichuan2-13B-Chat模型进行微调，翻译质量有所提高。
 
 `20230908`：上传第二版模型`sakura-13b-1epoch-2.6M-0903-v0.4`，使用Galgame和轻小说数据集进行微调，语法能力有所提高。轻小说数据集感谢[CjangCjengh](https://github.com/CjangCjengh)大佬提供。
@@ -51,16 +54,33 @@ pipeline_tag: text-generation
 - Base model: [LLaMA2-13B](https://huggingface.co/meta-llama/Llama-2-13b-chat-hf)
 - Languages: Chinese/Japanese
 
-### v0.5+
+### v0.5
 
 - Finetuned by [SakuraUmi](https://github.com/pipixia244)
 - Finetuned on [Baichuan2-13B-Chat](https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat)
 - Base model: [Baichuan2-13B-Base](https://huggingface.co/baichuan-inc/Baichuan2-13B-Base)
 - Languages: Chinese/Japanese
 
+### v0.7
+
+- Finetuned by [SakuraUmi](https://github.com/pipixia244)
+- Finetuned on [Qwen-14B-Chat](https://huggingface.co/Qwen/Qwen-14B)
+- Base model: [Qwen-14B](https://huggingface.co/Qwen/Qwen-14B)
+- Languages: Chinese/Japanese
+
 ## 版本
 
-### v0.5+
+### v0.7
+
+数据集：约1M Galgame中日文本 + 约3.4M 轻小说中日文本
+
+微调方式：全参数
+
+微调epoch数：2
+
+参数量：14B
+
+### v0.5
 
 数据集：约260k Galgame中日文本 + 约2.3M 轻小说中日文本
 
@@ -131,26 +151,29 @@ pipeline_tag: text-generation
     prompt = "<reserved_106>" + query + "<reserved_107>"
     ```
 
-- 推理与解码参数：
+  - v0.7
+    参考Qwen-14B-Chat的prompt构造方式：[这里](https://huggingface.co/Qwen/Qwen-14B-Chat/blob/5188dfeb4ff175705aa3a84ef9d616c70dea029b/qwen_generation_utils.py#L119)和[这里](https://github.com/hiyouga/LLaMA-Efficient-Tuning/blob/5310e4d1829f36619c8f224d09ec15eeaf7a4877/src/llmtuner/extras/template.py#L546)
+
 
-| 参数 | v0.1值 | v0.5+值 |
-| ---- | ---- | --- |
-| beams number | 2 | 1 |
-| repetition penalty | 1 | 1 |
-| max new token | 512 | 512 |
-| min new token | 1 | - |
+- 推理与解码参数：
 
-或使用sample方式均可。
+| 参数 | 值 |
+| ---- | ---- |
+| temperature | 1 |
+| top p | 0.5 |
+| do sample | True |
+| beams number | 1 |
+| repetition penalty | 1 |
+| max new token | 512 |
+| min new token | 1 |
 
 - 量化：
 
-在`model.generate()`中添加参数`load_in_8bit=True`或`load_in_4bit=True`，或者使用我们提供的量化模型。
-
-其余推理流程与LLaMA2(v0.1-v0.4)/Baichuan2(v0.5+)一致
+根据transformers文档中给出的AutoGPTQ量化教程自行量化，或使用我们已经量化好的模型。
 
 # 微调
 
-流程与LLaMA2(v0.1-v0.4)/Baichuan2(v0.5+)一致，prompt构造参考推理部分
+流程与LLaMA2(v0.1-v0.4)/Baichuan2(v0.5+)/Qwen14B(v0.7)一致，prompt构造参考推理部分
 
 # 后续工作