sakuraumi commited on
Commit
a0671de
·
1 Parent(s): a04a78e

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +50 -242
README.md CHANGED
@@ -21,16 +21,21 @@ pipeline_tag: text-generation
21
 
22
  # 介绍
23
 
24
- 基于OpenBuddy(v0.1-v0.4), Qwen-14B(v0.7,v0.9)和Baichuan2-13B(v0.5,v0.8)构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行微调,旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型. 新建了[TG交流群](https://t.me/+QMDKZyO9GV1kNDA1),欢迎交流讨论。
 
 
 
 
25
 
26
  **如果使用模型翻译并发布,请在最显眼的位置标注机翻!!!!!开发者对于滥用本模型造成的一切后果不负任何责任。**
27
 
28
- ### 快速开始
29
- - [python部署教程](https://sakura.srpr.moe)
30
- - [llama.cpp一键包教程](https://books.fishhawk.top/forum/656d60530286f15e3384fcf8)
31
- - [autodl租显卡部署教程](https://books.fishhawk.top/forum/65719bf16843e12bd3a4dc98)
32
 
33
- ### News
 
 
34
 
35
  1. 预览版v0.9.0pre2模型发布。该版本模型只是预览版本,目前可能仍存在问题。修复了上一预览版本短文本退化的问题。
36
 
@@ -42,15 +47,30 @@ pipeline_tag: text-generation
42
 
43
  LunaTranslator是一个Galgame翻译工具,支持剪贴板、OCR、HOOK,支持40余种翻译引擎。
44
 
45
- ### 模型下载:
46
- | 版本 | 全量模型 | 8-bit量化 | 4-bit量化 | 3-bit量化 | GGUF | AWQ
47
  |:-------:|:-------:|:-------:|:-------:|:-------:|:-------:|:-------:|
48
  | 20231026-v0.8 | 🤗 [Sakura-13B-LNovel-v0.8](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8) | 🤗 [Sakura-13B-LNovel-v0_8-8bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-8bit) | 🤗 [Sakura-13B-LNovel-v0_8-4bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-4bit) | 🤗 [Sakura-13B-LNovel-v0_8-3bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-3bit) | 🤗 [Sakura-13B-LNovel-v0_8-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8-GGUF) | 🤗 [Sakura-13B-LNovel-v0_8-AWQ](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-AWQ) |
49
- | 20231125-v0.9.0pre1 | 🤗 [Sakura-13B-LNovel-v0.9.0pre1](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.9.0pre1) | - | - | - | 🤗 [Sakura-13B-LNovel-v0.9.0pre1-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.9.0pre1-GGUF) | - |
50
- | 20231125-v0.9.0pre2 | - | - | - | - | 🤗 [Sakura-13B-LNovel-v0.9.0pre2-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.9.0pre2-GGUF) | - |
51
 
52
  目前仍为实验版本,翻译质量在文风与流畅度上强于GPT-3.5,但词汇量逊于GPT-3.5. 个人使用推荐GPT4.
53
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
54
  # 显存需求
55
 
56
  下面的表格显示了使用不同量化和不同格式的模型时显存占用的大小。如果你的显卡显存不满足上述需求,可以尝试同时使用CPU与GPU进行推理。
@@ -76,102 +96,19 @@ pipeline_tag: text-generation
76
  | 4bit | 14.9G | 17.4G |
77
  | 3bit | 13.7G | 15.5G |
78
 
79
- # 使用
80
-
81
- ## Docker部署
82
-
83
- 详见Github仓库的分支`dev_server`中的[README.docker.md](https://github.com/SakuraLLM/Sakura-13B-Galgame/blob/dev_server/README.docker.md)
84
-
85
- ## 本地部署
86
-
87
- 首先将[SakuraLLM/Sakura-13B-Galgame](https://github.com/SakuraLLM/Sakura-13B-Galgame)仓库拉取到本地。
88
-
89
- - 启动API服务
90
-
91
- 切换到`dev_server`分支,该分支提供了API接口(感谢[KurikoMoe](https://github.com/kurikomoe)),用以提供API服务,以接入其他程序。
92
-
93
- ```bash
94
- # 参数说明:
95
- # 模型相关
96
- # --model_name_or_path:模型本地路径或者huggingface仓库id。
97
- # --model_version:模型版本,本仓库README表格中即可查看。可选范围:['0.1', '0.4', '0.5', '0.7', '0.8']
98
- # --use_gptq_model:如果模型为gptq量化模型,则需加此项;如是全量模型,则不需要添加。
99
- # --trust_remote_code:是否允许执行外部命令(对于0.5,0.7,0.8版本模型需要加上这个参数,否则报错。
100
- # --llama:如果你使用的模型是llama家族的模型(对于0.1,0.4版本),则需要加入此命令。
101
- # API服务相关
102
- # --listen:指定要监听的IP和端口,格式为<IP>:<Port>,如127.0.0.1:5000。默认为127.0.0.1:5000
103
- # --auth:使用认证,访问API需要提供账户和密码。
104
- # --no-auth:不使用认证,如果将API暴露在公网可能会降低安全性。
105
- # --log:设置日志等级。
106
- # 下面为一个使用v0.8-4bit模型,同时不使用认证,监听127.0.0.1:5000的命令示例。
107
- # 这里模型默认从huggingface拉取,如果你已经将模型下载至本地,可以将--model_name_or_path参数的值指定为本地目录。
108
- python server.py --model_name_or_path SakuraLLM/Sakura-13B-LNovel-v0_8-4bit --use_gptq_model --model_version 0.8 --trust_remote_code --no-auth
109
- ```
110
-
111
- - 翻译Epub文件
112
-
113
- 仓库提供了脚本`translate_epub.py`(感谢[CjangCjengh](https://github.com/CjangCjengh)),用于翻译Epub格式的小说。使用示例如下:
114
-
115
- ```bash
116
- # 参数说明:
117
- # --model_name_or_path:模型本地路径或者huggingface仓库id。
118
- # --model_version:模型版本,本仓库README表格中即可查看。可选范围:['0.1', '0.4', '0.5', '0.7', '0.8']
119
- # --use_gptq_model:如果模型为gptq量化模型,则需加此项;如是全量模型,则不需要添加。
120
- # --text_length:文本分块的最大单块文字数量。
121
- # --data_path:日文原文Epub小说文件路径。
122
- # --data_folder:批量翻译Epub小说时,小说所在的文件夹路径
123
- # --output_folder:翻译后的Epub文件输出路径(注意是文件夹路径)。
124
- # --trust_remote_code:是否允许执行外部命令(对于0.5,0.7,0.8版本模型需要加上这个参数,否则报错。
125
- # --llama:如果你使用的模型是llama家族的模型(对于0.1,0.4版本),则需要加入此命令。
126
- # 以下为一个例子
127
- python translate_epub.py \
128
- --model_name_or_path SakuraLLM/Sakura-13B-LNovel-v0_8-4bit \
129
- --trust_remote_code \
130
- --model_version 0.8 \
131
- --use_gptq_model \
132
- --text_length 512 \
133
- --data_path novel.epub \
134
- --output_folder output
135
- ```
136
-
137
- - 翻译纯文本
138
-
139
- 仓库提供了脚本`translate_novel.py`,用于翻译轻小说等纯文本格式,支持输出中日对照文本。使用示例如下:
140
-
141
- ```bash
142
- # 参数说明:
143
- # --model_name_or_path:模型本地路径或者huggingface仓库id。
144
- # --model_version:模型版本,本仓库README表格中即可查看。可选范围:['0.1', '0.4', '0.5', '0.7', '0.8']
145
- # --use_gptq_model:如果模型为gptq量化模型,则需加此项;如是全量模型,则不需要添加。
146
- # --text_length:文本分块的最大单块文字数量。每块文字量将在text_length/2至text_length内随机选择。
147
- # --compare_text:是否需要输出中日对照文本,如需要,则需加此项;如不需要则不要添加。
148
- # --data_path:日文原文文件路径
149
- # --output_path:翻译(或对照)文本输出文件路径
150
- # --trust_remote_code:是否允许执行外部命令(对于0.5,0.7,0.8版本模型需要加上这个参数,否则报错。
151
- # --llama:如果你使用的模型是llama家族的模型(对于0.1,0.4版本),则需要加入此命令。
152
- # 以下为一个例子
153
- python translate_novel.py \
154
- --model_name_or_path SakuraLLM/Sakura-13B-LNovel-v0_8-4bit \
155
- --trust_remote_code \
156
- --model_version 0.8 \
157
- --use_gptq_model \
158
- --text_length 512 \
159
- --data_path data.txt \
160
- --output_path data_translated.txt \
161
- --compare_text
162
- ```
163
-
164
  # 日志
165
 
166
  `20231125`: 上传第六版模型预览,改善数据集质量与格式,使用Qwen-14B-Chat模型进行继续预训练+微调,增加数据集。
167
 
168
  `20231026`:上传第五版模型`sakura-13b-2epoch-3.8M-1025-v0.8`,改善数据集质量与格式,修复之前版本模型无法正确解析\n的问题,使用Baichuan2-13B-Chat模型进行微调。
169
 
170
- `20231011`:上传第四版模型`sakura-14b-2epoch-4.4M-1003-v0.7`,改用QWen-14B-Chat模型进行微调,增加数据集。
 
 
171
 
172
  `20230917`:上传第三版模型`sakura-13b-2epoch-2.6M-0917-v0.5`,改用Baichuan2-13B-Chat模型进行微调,翻译质量有所提高。
173
 
174
- `20230908`:上传第二版模型`sakura-13b-1epoch-2.6M-0903-v0.4`,使用Galgame和轻小说数据集进行微调,语法能力有所提高。轻小说数据集感谢[CjangCjengh](https://github.com/CjangCjengh)大佬提供。
175
 
176
  `20230827`:上传第一版模型`sakura-13b-2epoch-260k-0826-v0.1`
177
 
@@ -179,144 +116,45 @@ python translate_novel.py \
179
 
180
  ## 描述
181
 
182
- ### v0.1-v0.4
183
-
184
- - Finetuned by [SakuraUmi](https://github.com/pipixia244)
185
- - Finetuned on [Openbuddy-LLaMA2-13B](https://huggingface.co/OpenBuddy/openbuddy-llama2-13b-v8.1-fp16)
186
- - Base model: [LLaMA2-13B](https://huggingface.co/meta-llama/Llama-2-13b-chat-hf)
187
- - Languages: Chinese/Japanese
188
-
189
- ### v0.5
190
-
191
  - Finetuned by [SakuraUmi](https://github.com/pipixia244)
192
  - Finetuned on [Baichuan2-13B-Chat](https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat)
193
- - Base model: [Baichuan2-13B-Base](https://huggingface.co/baichuan-inc/Baichuan2-13B-Base)
194
- - Languages: Chinese/Japanese
195
-
196
- ### v0.7
197
-
198
- - Finetuned by [SakuraUmi](https://github.com/pipixia244)
199
  - Finetuned on [Qwen-14B-Chat](https://huggingface.co/Qwen/Qwen-14B)
200
- - Base model: [Qwen-14B](https://huggingface.co/Qwen/Qwen-14B)
201
  - Languages: Chinese/Japanese
202
 
203
- ### v0.8
204
-
205
- - Finetuned by [SakuraUmi](https://github.com/pipixia244)
206
- - Finetuned on [Baichuan2-13B-Chat](https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat)
207
- - Base model: [Baichuan2-13B-Base](https://huggingface.co/baichuan-inc/Baichuan2-13B-Base)
208
- - Languages: Chinese/Japanese
209
-
210
- ## 版本
211
-
212
- ### v0.8
213
-
214
- 数据集:约0.25B字数的轻小说/Galgame中日平行语料
215
-
216
- 微调方式:全参数
217
-
218
- 微调epoch数:2
219
-
220
- 参数量:13.9B
221
-
222
- ### v0.7
223
-
224
- 数据集:约0.3B字数的轻小说/Galgame中日平行语料
225
-
226
- 微调方式:全参数
227
-
228
- 微调epoch数:2
229
-
230
- 参数量:14B
231
-
232
- ### v0.5
233
-
234
- 数据集:约0.17B字数的轻小说/Galgame中日平行语料
235
-
236
- 微调方式:全参数
237
-
238
- 微调epoch数:2
239
-
240
- 参数量:13B
241
-
242
- ### v0.4
243
-
244
- 数据集:约0.17B字数的轻小说/Galgame中日平行语料
245
-
246
- 微调方式:全参数
247
-
248
- 微调epoch数:1
249
-
250
- 参数量:13B
251
-
252
- ### v0.1
253
-
254
- 数据集:约10M字数的Galgame中日平行语料
255
-
256
- 微调方式:全参数
257
-
258
- 微调epoch数:2
259
-
260
- 参数量:13B
261
-
262
  ## 效果
263
 
264
  - Galgame
265
 
266
- | 原文 | Ours(v0.5) | Ours(v0.4) | Ours(v0.1) | ChatGPT(GPT-3.5) |
267
- | ---- | ---- | ---- | ---- | ---- |
268
- | 「女の子の一人暮らしって、やっぱ一階は防范的に危ないのかな~? お父さんには、一階はやめとけ~って言われててね?」 | 「女生一个人住,一楼在防范上果然很危险吗~?我爸爸叫我不要住一楼哦。」 | 「女孩子一个人住,果然还是不太安全吧~?爸爸说过,不要住一楼~」 | 「一个女孩子住在一楼,还是有点不太安全吧?爸爸说让我不要住在一楼」 | "一个女孩子独自一人住,大概一楼会不安全吧~?爸爸对我说过,一楼最好不要住~" |
269
- | 「助けて、誰か助けてって思いながら、ただただ泣いてたんです……」 | 「我一边想着谁来救救我,一边不停地哭……」 |「我一边想着有没有人能救救我,一边哭哭啼啼……」 | 「我一边祈祷着,祈祷着有人能来救救我们,一边不停地哭泣……」| 「帮帮我,我一边想着有人帮助我,一边只是哭泣着……」 |
270
- | 「そうだよ。これが太一の普通の顔だって。でも、ちょっと不気味だから、わたしみたいにニッコリ笑ってみて?」 | 「对啊。这就是太一平常的表情。不过,这样有点毛骨悚然,所以试着像我这样笑吧?」 |「对啊,这就是太一的普通表情。不过,感觉有点诡异,你像我一样笑咪咪地试试看?」 |「是啊。这就是太一的普通表情。但是,因为有点吓人,所以你也试着像我一样微笑一下吧?」 | “是的呢,这就是太一的平常表情哦。不过,有点怪异,所以像我这样放个甜甜的笑容试试看?” |
271
- | 「そういうヒトの感情は、発情期を迎えてもいないネコには難しい」 | 「对于还没到发情期的猫来说,人类的这种感情实在是有点难以理解」| 「这种人类的感情,对还没进入发情期的猫来说太难懂了。」 |「这种人类的感情,对还没有迎来发情期的猫来说太难懂了」 | 这种人类的情感对于尚未进入发情期的猫来说是复杂的。 |
272
- | 「朝になって、病院に行くまで。ずっと、ずーっとそばに居てくれて……」 | 「从早上到去医院的这段时间,一直、一直陪在我身边……」 | 「一直陪伴着我,直到早上去医院为止……」 |「一直陪我到早上去医院。一直,一直陪在我身边……」 | "直到早晨去医院为止。一直,一直都在我身旁……" |
273
- | 「それ以外は、自由に過ごしているため、各自が好きにできる、とても平和な部活だった……。」 | 「除此之外,由于可以自由活动,大家都能随心所欲,所以是非常和平的社团活动……」 |「除此之外,我们都可以自由活动,每个人都能随心所欲,是个非常和平的社团……」 | 「除此之��,社团活动都是自由参加的,每个人都可以按自己的意愿去做自己想做的事情,所以社团活动也是非常和平的……」 | 「除此以外,因为大家都自由自在地度过时间,是个每个人都能按自己喜好随意参与的非常和平的社团活动......。」|
274
- | 「そーだそーだ。せっかくお店休みにして遊びに来たのに」 | 「对呀对呀,难得我们关店跑出来玩耶。」 | 「没错没错,难得店里放假,我们才来玩的。」 |「是啊是啊,难得休息一天,我还想出来玩一下呢」| "是啊是啊。本来店铺难得休息,特地过来玩的呢。" |
275
- | 伝えなければ、伝わらない。きっと、大事なことであるほど。 | 不表达就传达不了。越是重要的事情,越是如此。 | 不说出来就不会知道。越是重要的事情,就越是不能不说。 | -- | 如果不传达,就不会传达。毫无疑问,对于重要的事情来说是如此。 |
276
- | が、ハチロクを手伝うことでそれが果たせるというのなら、仕事がどれほど増えようと、決して苦とは感じない。 | 不过,如果帮忙八六能让我实现这个愿望,无论工作增加多少,我也绝不会觉得痛苦。 | 不过,如果帮助八六就能实现这个愿望,不管工作多么繁重,我都不会觉得辛苦。 | -- | 如果通过帮助八六实现这一目标,无论工作增加多少,我绝不会感到苦恼。 |
277
-
278
- - 轻小说(全龄)
279
-
280
- 使用[该仓库](https://github.com/FishHawk/sakura-test)的测试文本,仓库内提供了测试代码,测试文本以及v0.5版本的测试结果。使用该仓库代码在v0.7模型上对测试文本进行测试的结果已上传到[sakuraumi/Sakura-13B-Galgame-Archived](https://huggingface.co/sakuraumi/Sakura-13B-Galgame-Archived/blob/main/text.sa-packed)。
281
 
282
- - 轻小说(R18)
283
 
284
- - v0.7
285
 
286
- 使用[这本r18小说](https://novel18.syosetu.com/n2975ig)的部分文本,比较各版本输出文本,结果已上传至[链接](https://huggingface.co/sakuraumi/Sakura-13B-Galgame-Archived/blob/main/r18_test.txt)
287
 
288
  # 推理
289
 
290
- - Galgame翻译的prompt构建:
291
 
292
- - v0.1
293
 
294
  ```python
295
- input_text = "" # 用户输入
296
  query = "将下面的日文文本翻译成中文:" + input_text
297
- prompt = "Human: \n" + query + "\n\nAssistant: \n"
298
  ```
299
 
300
- - v0.4
301
 
302
  ```python
303
- input_text = "" # 用户输入
304
  query = "将下面的日文文本翻译成中文:" + input_text
305
- prompt = "User: " + query + "\nAssistant: "
306
  ```
307
 
308
- - v0.5与v0.8
309
-
310
- ```python
311
- input_text = "" # 用户输入
312
- query = "将下面的日文文本翻译成中文:" + input_text
313
- prompt = "<reserved_106>" + query + "<reserved_107>"
314
- ```
315
-
316
- - v0.7
317
- 参考Qwen-14B-Chat的prompt构造方式:[这里](https://huggingface.co/Qwen/Qwen-14B-Chat/blob/5188dfeb4ff175705aa3a84ef9d616c70dea029b/qwen_generation_utils.py#L119)和[这里](https://github.com/hiyouga/LLaMA-Efficient-Tuning/blob/5310e4d1829f36619c8f224d09ec15eeaf7a4877/src/llmtuner/extras/template.py#L546)
318
-
319
-
320
  - 推理与解码参数:
321
 
322
  | 参数 | 值 |
@@ -329,37 +167,11 @@ python translate_novel.py \
329
  | max new token | 512 |
330
  | min new token | 1 |
331
 
332
- 注:若出现退化,可参考[SakuraLLM/TranslationScript](https://huggingface.co/SakuraLLM/TranslationScript)仓库内脚本的方法解决。
333
-
334
- - 量化:
335
-
336
- 根据transformers文档中给出的AutoGPTQ量化教程自行量化,或使用我们已经量化好的模型。
337
-
338
- 使用量化模型推理的示例代码(v0.8与v0.5版本):
339
-
340
- ```python
341
- from transformers import AutoTokenizer, GenerationConfig
342
- from auto_gptq import AutoGPTQForCausalLM
343
-
344
- path = "path/to/your/model"
345
- text = "" #要翻译的文本
346
-
347
- generation_config = GenerationConfig.from_pretrained(path)
348
- tokenizer = AutoTokenizer.from_pretrained(path, use_fast=False, trust_remote_code=True)
349
- model = AutoGPTQForCausalLM.from_quantized(path, device="cuda:0", trust_remote_code=True)
350
-
351
- response = tokenizer.decode(model.generate(**tokenizer(f"<reserved_106>将下面的日文文本翻译成中文:{text}<reserved_107>", return_tensors="pt").to(model.device), generation_config=generation_config)[0]).replace("</s>", "").split("<reserved_107>")[1]
352
- print(response)
353
- ```
354
 
355
  # 微调
356
 
357
- 流程与LLaMA2(v0.1-v0.4)/Baichuan2(v0.5+)/Qwen14B(v0.7)一致,prompt构造参考推理部分
358
-
359
- # 后续工作
360
-
361
- 1. 优化SFT数据集,构建PT数据集
362
- 2. 在Base model基础上进行继续预训练(正在进行)
363
 
364
  # 致谢
365
 
@@ -381,8 +193,4 @@ print(response)
381
 
382
  # Copyright Notice
383
 
384
- This model is built upon Meta's LLaMA series of models and is subject to Meta's licensing agreement.
385
-
386
- This model is intended for use only by individuals who have obtained approval from Meta and are eligible to download LLaMA.
387
-
388
- If you have not obtained approval from Meta, you must visit the https://ai.meta.com/llama/ page, read and agree to the model's licensing agreement, submit an application, and wait for approval from Meta before downloading the model from this page.
 
21
 
22
  # 介绍
23
 
24
+ - 基于一系列开源大模型构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调,旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型。
25
+
26
+ - 同时提供了运行模型的API后端,适配OpenAI API格式。
27
+
28
+ - 新建了[TG交流群](https://t.me/+QMDKZyO9GV1kNDA1),欢迎交流讨论。
29
 
30
  **如果使用模型翻译并发布,请在最显眼的位置标注机翻!!!!!开发者对于滥用本模型造成的一切后果不负任何责任。**
31
 
32
+ **对于模型翻译的人称代词问题(错用,乱加,主宾混淆,男女不分等)和上下文理解问题,如果有好的想法或建议,欢迎提issue!**
33
+
34
+ ## 快速开始
 
35
 
36
+ 详见[Github仓库Wiki](https://github.com/SakuraLLM/Sakura-13B-Galgame/wiki).
37
+
38
+ ## News
39
 
40
  1. 预览版v0.9.0pre2模型发布。该版本模型只是预览版本,目前可能仍存在问题。修复了上一预览版本短文本退化的问题。
41
 
 
47
 
48
  LunaTranslator是一个Galgame翻译工具,支持剪贴板、OCR、HOOK,支持40余种翻译引擎。
49
 
50
+ ## 模型下载:
51
+ | 版本 | 全量模型 | GPTQ 8bit量化 | GPTQ 4bit量化 | GPTQ 3bit量化 | GGUF与量化 | AWQ量化
52
  |:-------:|:-------:|:-------:|:-------:|:-------:|:-------:|:-------:|
53
  | 20231026-v0.8 | 🤗 [Sakura-13B-LNovel-v0.8](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8) | 🤗 [Sakura-13B-LNovel-v0_8-8bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-8bit) | 🤗 [Sakura-13B-LNovel-v0_8-4bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-4bit) | 🤗 [Sakura-13B-LNovel-v0_8-3bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-3bit) | 🤗 [Sakura-13B-LNovel-v0_8-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8-GGUF) | 🤗 [Sakura-13B-LNovel-v0_8-AWQ](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-AWQ) |
54
+ | 20231125-v0.9.0pre2 | 🤗 [Sakura-13B-LNovel-v0.9.0pre2](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.9.0pre2) | - | - | - | 🤗 [Sakura-13B-LNovel-v0.9.0pre2-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.9.0pre2-GGUF) | - |
 
55
 
56
  目前仍为实验版本,翻译质量在文风与流畅度上强于GPT-3.5,但词汇量逊于GPT-3.5. 个人使用推荐GPT4.
57
 
58
+ ## TODO
59
+ - [x] 将`dev_server`分支合并到主分支,并将api格式改为openai like api格式。
60
+ - [ ] 支持多种后端至v0.9
61
+ - [ ] `llama.cpp server`
62
+ - [x] `llama-cpp-python`
63
+ - [x] `autogptq`
64
+ - [ ] `llm-sharp`
65
+ - [ ] 适配翻译工具
66
+ - [ ] LunaTranslator
67
+ - [ ] GalTransl
68
+ - [ ] BallonsTranslator
69
+ - [ ] 提供Python部署一键包
70
+ - [ ] 发布v0.9模型
71
+ - [ ] ~7B模型测试
72
+ - [ ] ~30B模型测试
73
+
74
  # 显存需求
75
 
76
  下面的表格显示了使用不同量化和不同格式的模型时显存占用的大小。如果你的显卡显存不满足上述需求,可以尝试同时使用CPU与GPU进行推理。
 
96
  | 4bit | 14.9G | 17.4G |
97
  | 3bit | 13.7G | 15.5G |
98
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
99
  # 日志
100
 
101
  `20231125`: 上传第六版模型预览,改善数据集质量与格式,使用Qwen-14B-Chat模型进行继续预训练+微调,增加数据集。
102
 
103
  `20231026`:上传第五版模型`sakura-13b-2epoch-3.8M-1025-v0.8`,改善数据集质量与格式,修复之前版本模型无法正确解析\n的问题,使用Baichuan2-13B-Chat模型进行微调。
104
 
105
+ `20231011`:上传第四版模型`sakura-14b-2epoch-4.4M-1003-v0.7`,改用QWen-14B-Chat模型进行微调,针对较长文本进行优化,增加数据集。
106
+
107
+ `20230918`:上传第三版模型的8bits量化版`sakura-13b-2epoch-2.6M-0917-v0.5-8bits`。
108
 
109
  `20230917`:上传第三版模型`sakura-13b-2epoch-2.6M-0917-v0.5`,改用Baichuan2-13B-Chat模型进行微调,翻译质量有所提高。
110
 
111
+ `20230908`:上传第二版模型`sakura-13b-1epoch-2.6M-0903-v0.4`,使用Galgame和轻小说数据集进行微调,语法能力有所提高。感谢[CjangCjengh](https://github.com/CjangCjengh)大佬提供轻小说数据集。
112
 
113
  `20230827`:上传第一版模型`sakura-13b-2epoch-260k-0826-v0.1`
114
 
 
116
 
117
  ## 描述
118
 
 
 
 
 
 
 
 
 
 
119
  - Finetuned by [SakuraUmi](https://github.com/pipixia244)
120
  - Finetuned on [Baichuan2-13B-Chat](https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat)
 
 
 
 
 
 
121
  - Finetuned on [Qwen-14B-Chat](https://huggingface.co/Qwen/Qwen-14B)
 
122
  - Languages: Chinese/Japanese
123
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
124
  ## 效果
125
 
126
  - Galgame
127
 
128
+ TBD
129
+
130
+ - 轻小说
 
 
 
 
 
 
 
 
 
 
 
 
131
 
132
+ 网站:[轻小说机翻机器人](https://books.fishhawk.top/)已接入Sakura模型(v0.8-4bit),站内有大量模型翻译的轻小说可供参考。
133
 
134
+ - PPL/BLEU/Human
135
 
136
+ TBD
137
 
138
  # 推理
139
 
140
+ - prompt构建:
141
 
142
+ - v0.8
143
 
144
  ```python
145
+ input_text = "" # 要翻译的日文
146
  query = "将下面的日文文本翻译成中文:" + input_text
147
+ prompt = "<reserved_106>" + query + "<reserved_107>"
148
  ```
149
 
150
+ - v0.9
151
 
152
  ```python
153
+ input_text = "" # 要翻译的日文
154
  query = "将下面的日文文本翻译成中文:" + input_text
155
+ prompt = "<|im_start|>system\n你是一个轻小说翻译模型,可以流畅通顺地以日本轻小说的风格将日文翻译成简体中文,并联系上下文正确使用人称代词,不擅自添加原文中没有的代词。<|im_end|>\n<|im_start|>user\n" + query + "<|im_end|>\n<|im_start|>assistant\n"
156
  ```
157
 
 
 
 
 
 
 
 
 
 
 
 
 
158
  - 推理与解码参数:
159
 
160
  | 参数 | 值 |
 
167
  | max new token | 512 |
168
  | min new token | 1 |
169
 
170
+ 如出现退化,可增加`frequency_penalty`参数,并设置为大于0的某值,一般设置0.05~0.2即可。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
171
 
172
  # 微调
173
 
174
+ 模型微调框架参考[BELLE](https://github.com/LianjiaTech/BELLE)或[LLaMA-Factory](https://github.com/hiyouga/LLaMA-Factory)prompt构造参考推理部分。
 
 
 
 
 
175
 
176
  # 致谢
177
 
 
193
 
194
  # Copyright Notice
195
 
196
+ v0.8版本模型的使用须遵守[Apache 2.0](https://github.com/baichuan-inc/Baichuan2/blob/main/LICENSE)和[《Baichuan 2 模型社区许可协议》](https://huggingface.co/baichuan-inc/Baichuan2-7B-Base/resolve/main/Baichuan%202%E6%A8%A1%E5%9E%8B%E7%A4%BE%E5%8C%BA%E8%AE%B8%E5%8F%AF%E5%8D%8F%E8%AE%AE.pdf)。