Update README.md
Browse files
README.md
CHANGED
@@ -21,16 +21,21 @@ pipeline_tag: text-generation
|
|
21 |
|
22 |
# 介绍
|
23 |
|
24 |
-
|
|
|
|
|
|
|
|
|
25 |
|
26 |
**如果使用模型翻译并发布,请在最显眼的位置标注机翻!!!!!开发者对于滥用本模型造成的一切后果不负任何责任。**
|
27 |
|
28 |
-
|
29 |
-
|
30 |
-
|
31 |
-
- [autodl租显卡部署教程](https://books.fishhawk.top/forum/65719bf16843e12bd3a4dc98)
|
32 |
|
33 |
-
|
|
|
|
|
34 |
|
35 |
1. 预览版v0.9.0pre2模型发布。该版本模型只是预览版本,目前可能仍存在问题。修复了上一预览版本短文本退化的问题。
|
36 |
|
@@ -42,15 +47,30 @@ pipeline_tag: text-generation
|
|
42 |
|
43 |
LunaTranslator是一个Galgame翻译工具,支持剪贴板、OCR、HOOK,支持40余种翻译引擎。
|
44 |
|
45 |
-
|
46 |
-
| 版本 | 全量模型 |
|
47 |
|:-------:|:-------:|:-------:|:-------:|:-------:|:-------:|:-------:|
|
48 |
| 20231026-v0.8 | 🤗 [Sakura-13B-LNovel-v0.8](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8) | 🤗 [Sakura-13B-LNovel-v0_8-8bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-8bit) | 🤗 [Sakura-13B-LNovel-v0_8-4bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-4bit) | 🤗 [Sakura-13B-LNovel-v0_8-3bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-3bit) | 🤗 [Sakura-13B-LNovel-v0_8-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8-GGUF) | 🤗 [Sakura-13B-LNovel-v0_8-AWQ](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-AWQ) |
|
49 |
-
| 20231125-v0.9.
|
50 |
-
| 20231125-v0.9.0pre2 | - | - | - | - | 🤗 [Sakura-13B-LNovel-v0.9.0pre2-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.9.0pre2-GGUF) | - |
|
51 |
|
52 |
目前仍为实验版本,翻译质量在文风与流畅度上强于GPT-3.5,但词汇量逊于GPT-3.5. 个人使用推荐GPT4.
|
53 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
54 |
# 显存需求
|
55 |
|
56 |
下面的表格显示了使用不同量化和不同格式的模型时显存占用的大小。如果你的显卡显存不满足上述需求,可以尝试同时使用CPU与GPU进行推理。
|
@@ -76,102 +96,19 @@ pipeline_tag: text-generation
|
|
76 |
| 4bit | 14.9G | 17.4G |
|
77 |
| 3bit | 13.7G | 15.5G |
|
78 |
|
79 |
-
# 使用
|
80 |
-
|
81 |
-
## Docker部署
|
82 |
-
|
83 |
-
详见Github仓库的分支`dev_server`中的[README.docker.md](https://github.com/SakuraLLM/Sakura-13B-Galgame/blob/dev_server/README.docker.md)
|
84 |
-
|
85 |
-
## 本地部署
|
86 |
-
|
87 |
-
首先将[SakuraLLM/Sakura-13B-Galgame](https://github.com/SakuraLLM/Sakura-13B-Galgame)仓库拉取到本地。
|
88 |
-
|
89 |
-
- 启动API服务
|
90 |
-
|
91 |
-
切换到`dev_server`分支,该分支提供了API接口(感谢[KurikoMoe](https://github.com/kurikomoe)),用以提供API服务,以接入其他程序。
|
92 |
-
|
93 |
-
```bash
|
94 |
-
# 参数说明:
|
95 |
-
# 模型相关
|
96 |
-
# --model_name_or_path:模型本地路径或者huggingface仓库id。
|
97 |
-
# --model_version:模型版本,本仓库README表格中即可查看。可选范围:['0.1', '0.4', '0.5', '0.7', '0.8']
|
98 |
-
# --use_gptq_model:如果模型为gptq量化模型,则需加此项;如是全量模型,则不需要添加。
|
99 |
-
# --trust_remote_code:是否允许执行外部命令(对于0.5,0.7,0.8版本模型需要加上这个参数,否则报错。
|
100 |
-
# --llama:如果你使用的模型是llama家族的模型(对于0.1,0.4版本),则需要加入此命令。
|
101 |
-
# API服务相关
|
102 |
-
# --listen:指定要监听的IP和端口,格式为<IP>:<Port>,如127.0.0.1:5000。默认为127.0.0.1:5000
|
103 |
-
# --auth:使用认证,访问API需要提供账户和密码。
|
104 |
-
# --no-auth:不使用认证,如果将API暴露在公网可能会降低安全性。
|
105 |
-
# --log:设置日志等级。
|
106 |
-
# 下面为一个使用v0.8-4bit模型,同时不使用认证,监听127.0.0.1:5000的命令示例。
|
107 |
-
# 这里模型默认从huggingface拉取,如果你已经将模型下载至本地,可以将--model_name_or_path参数的值指定为本地目录。
|
108 |
-
python server.py --model_name_or_path SakuraLLM/Sakura-13B-LNovel-v0_8-4bit --use_gptq_model --model_version 0.8 --trust_remote_code --no-auth
|
109 |
-
```
|
110 |
-
|
111 |
-
- 翻译Epub文件
|
112 |
-
|
113 |
-
仓库提供了脚本`translate_epub.py`(感谢[CjangCjengh](https://github.com/CjangCjengh)),用于翻译Epub格式的小说。使用示例如下:
|
114 |
-
|
115 |
-
```bash
|
116 |
-
# 参数说明:
|
117 |
-
# --model_name_or_path:模型本地路径或者huggingface仓库id。
|
118 |
-
# --model_version:模型版本,本仓库README表格中即可查看。可选范围:['0.1', '0.4', '0.5', '0.7', '0.8']
|
119 |
-
# --use_gptq_model:如果模型为gptq量化模型,则需加此项;如是全量模型,则不需要添加。
|
120 |
-
# --text_length:文本分块的最大单块文字数量。
|
121 |
-
# --data_path:日文原文Epub小说文件路径。
|
122 |
-
# --data_folder:批量翻译Epub小说时,小说所在的文件夹路径
|
123 |
-
# --output_folder:翻译后的Epub文件输出路径(注意是文件夹路径)。
|
124 |
-
# --trust_remote_code:是否允许执行外部命令(对于0.5,0.7,0.8版本模型需要加上这个参数,否则报错。
|
125 |
-
# --llama:如果你使用的模型是llama家族的模型(对于0.1,0.4版本),则需要加入此命令。
|
126 |
-
# 以下为一个例子
|
127 |
-
python translate_epub.py \
|
128 |
-
--model_name_or_path SakuraLLM/Sakura-13B-LNovel-v0_8-4bit \
|
129 |
-
--trust_remote_code \
|
130 |
-
--model_version 0.8 \
|
131 |
-
--use_gptq_model \
|
132 |
-
--text_length 512 \
|
133 |
-
--data_path novel.epub \
|
134 |
-
--output_folder output
|
135 |
-
```
|
136 |
-
|
137 |
-
- 翻译纯文本
|
138 |
-
|
139 |
-
仓库提供了脚本`translate_novel.py`,用于翻译轻小说等纯文本格式,支持输出中日对照文本。使用示例如下:
|
140 |
-
|
141 |
-
```bash
|
142 |
-
# 参数说明:
|
143 |
-
# --model_name_or_path:模型本地路径或者huggingface仓库id。
|
144 |
-
# --model_version:模型版本,本仓库README表格中即可查看。可选范围:['0.1', '0.4', '0.5', '0.7', '0.8']
|
145 |
-
# --use_gptq_model:如果模型为gptq量化模型,则需加此项;如是全量模型,则不需要添加。
|
146 |
-
# --text_length:文本分块的最大单块文字数量。每块文字量将在text_length/2至text_length内随机选择。
|
147 |
-
# --compare_text:是否需要输出中日对照文本,如需要,则需加此项;如不需要则不要添加。
|
148 |
-
# --data_path:日文原文文件路径
|
149 |
-
# --output_path:翻译(或对照)文本输出文件路径
|
150 |
-
# --trust_remote_code:是否允许执行外部命令(对于0.5,0.7,0.8版本模型需要加上这个参数,否则报错。
|
151 |
-
# --llama:如果你使用的模型是llama家族的模型(对于0.1,0.4版本),则需要加入此命令。
|
152 |
-
# 以下为一个例子
|
153 |
-
python translate_novel.py \
|
154 |
-
--model_name_or_path SakuraLLM/Sakura-13B-LNovel-v0_8-4bit \
|
155 |
-
--trust_remote_code \
|
156 |
-
--model_version 0.8 \
|
157 |
-
--use_gptq_model \
|
158 |
-
--text_length 512 \
|
159 |
-
--data_path data.txt \
|
160 |
-
--output_path data_translated.txt \
|
161 |
-
--compare_text
|
162 |
-
```
|
163 |
-
|
164 |
# 日志
|
165 |
|
166 |
`20231125`: 上传第六版模型预览,改善数据集质量与格式,使用Qwen-14B-Chat模型进行继续预训练+微调,增加数据集。
|
167 |
|
168 |
`20231026`:上传第五版模型`sakura-13b-2epoch-3.8M-1025-v0.8`,改善数据集质量与格式,修复之前版本模型无法正确解析\n的问题,使用Baichuan2-13B-Chat模型进行微调。
|
169 |
|
170 |
-
`20231011`:上传第四版模型`sakura-14b-2epoch-4.4M-1003-v0.7`,改用QWen-14B-Chat
|
|
|
|
|
171 |
|
172 |
`20230917`:上传第三版模型`sakura-13b-2epoch-2.6M-0917-v0.5`,改用Baichuan2-13B-Chat模型进行微调,翻译质量有所提高。
|
173 |
|
174 |
-
`20230908`:上传第二版模型`sakura-13b-1epoch-2.6M-0903-v0.4`,使用Galgame
|
175 |
|
176 |
`20230827`:上传第一版模型`sakura-13b-2epoch-260k-0826-v0.1`
|
177 |
|
@@ -179,144 +116,45 @@ python translate_novel.py \
|
|
179 |
|
180 |
## 描述
|
181 |
|
182 |
-
### v0.1-v0.4
|
183 |
-
|
184 |
-
- Finetuned by [SakuraUmi](https://github.com/pipixia244)
|
185 |
-
- Finetuned on [Openbuddy-LLaMA2-13B](https://huggingface.co/OpenBuddy/openbuddy-llama2-13b-v8.1-fp16)
|
186 |
-
- Base model: [LLaMA2-13B](https://huggingface.co/meta-llama/Llama-2-13b-chat-hf)
|
187 |
-
- Languages: Chinese/Japanese
|
188 |
-
|
189 |
-
### v0.5
|
190 |
-
|
191 |
- Finetuned by [SakuraUmi](https://github.com/pipixia244)
|
192 |
- Finetuned on [Baichuan2-13B-Chat](https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat)
|
193 |
-
- Base model: [Baichuan2-13B-Base](https://huggingface.co/baichuan-inc/Baichuan2-13B-Base)
|
194 |
-
- Languages: Chinese/Japanese
|
195 |
-
|
196 |
-
### v0.7
|
197 |
-
|
198 |
-
- Finetuned by [SakuraUmi](https://github.com/pipixia244)
|
199 |
- Finetuned on [Qwen-14B-Chat](https://huggingface.co/Qwen/Qwen-14B)
|
200 |
-
- Base model: [Qwen-14B](https://huggingface.co/Qwen/Qwen-14B)
|
201 |
- Languages: Chinese/Japanese
|
202 |
|
203 |
-
### v0.8
|
204 |
-
|
205 |
-
- Finetuned by [SakuraUmi](https://github.com/pipixia244)
|
206 |
-
- Finetuned on [Baichuan2-13B-Chat](https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat)
|
207 |
-
- Base model: [Baichuan2-13B-Base](https://huggingface.co/baichuan-inc/Baichuan2-13B-Base)
|
208 |
-
- Languages: Chinese/Japanese
|
209 |
-
|
210 |
-
## 版本
|
211 |
-
|
212 |
-
### v0.8
|
213 |
-
|
214 |
-
数据集:约0.25B字数的轻小说/Galgame中日平行语料
|
215 |
-
|
216 |
-
微调方式:全参数
|
217 |
-
|
218 |
-
微调epoch数:2
|
219 |
-
|
220 |
-
参数量:13.9B
|
221 |
-
|
222 |
-
### v0.7
|
223 |
-
|
224 |
-
数据集:约0.3B字数的轻小说/Galgame中日平行语料
|
225 |
-
|
226 |
-
微调方式:全参数
|
227 |
-
|
228 |
-
微调epoch数:2
|
229 |
-
|
230 |
-
参数量:14B
|
231 |
-
|
232 |
-
### v0.5
|
233 |
-
|
234 |
-
数据集:约0.17B字数的轻小说/Galgame中日平行语料
|
235 |
-
|
236 |
-
微调方式:全参数
|
237 |
-
|
238 |
-
微调epoch数:2
|
239 |
-
|
240 |
-
参数量:13B
|
241 |
-
|
242 |
-
### v0.4
|
243 |
-
|
244 |
-
数据集:约0.17B字数的轻小说/Galgame中日平行语料
|
245 |
-
|
246 |
-
微调方式:全参数
|
247 |
-
|
248 |
-
微调epoch数:1
|
249 |
-
|
250 |
-
参数量:13B
|
251 |
-
|
252 |
-
### v0.1
|
253 |
-
|
254 |
-
数据集:约10M字数的Galgame中日平行语料
|
255 |
-
|
256 |
-
微调方式:全参数
|
257 |
-
|
258 |
-
微调epoch数:2
|
259 |
-
|
260 |
-
参数量:13B
|
261 |
-
|
262 |
## 效果
|
263 |
|
264 |
- Galgame
|
265 |
|
266 |
-
|
267 |
-
|
268 |
-
|
269 |
-
| 「助けて、誰か助けてって思いながら、ただただ泣いてたんです……」 | 「我一边想着谁来救救我,一边不停地哭……」 |「我一边想着有没有人能救救我,一边哭哭啼啼……」 | 「我一边祈祷着,祈祷着有人能来救救我们,一边不停地哭泣……」| 「帮帮我,我一边想着有人帮助我,一边只是哭泣着……」 |
|
270 |
-
| 「そうだよ。これが太一の普通の顔だって。でも、ちょっと不気味だから、わたしみたいにニッコリ笑ってみて?」 | 「对啊。这就是太一平常的表情。不过,这样有点毛骨悚然,所以试着像我这样笑吧?」 |「对啊,这就是太一的普通表情。不过,感觉有点诡异,你像我一样笑咪咪地试试看?」 |「是啊。这就是太一的普通表情。但是,因为有点吓人,所以你也试着像我一样微笑一下吧?」 | “是的呢,这就是太一的平常表情哦。不过,有点怪异,所以像我这样放个甜甜的笑容试试看?” |
|
271 |
-
| 「そういうヒトの感情は、発情期を迎えてもいないネコには難しい」 | 「对于还没到发情期的猫来说,人类的这种感情实在是有点难以理解」| 「这种人类的感情,对还没进入发情期的猫来说太难懂了。」 |「这种人类的感情,对还没有迎来发情期的猫来说太难懂了」 | 这种人类的情感对于尚未进入发情期的猫来说是复杂的。 |
|
272 |
-
| 「朝になって、病院に行くまで。ずっと、ずーっとそばに居てくれて……」 | 「从早上到去医院的这段时间,一直、一直陪在我身边……」 | 「一直陪伴着我,直到早上去医院为止……」 |「一直陪我到早上去医院。一直,一直陪在我身边……」 | "直到早晨去医院为止。一直,一直都在我身旁……" |
|
273 |
-
| 「それ以外は、自由に過ごしているため、各自が好きにできる、とても平和な部活だった……。」 | 「除此之外,由于可以自由活动,大家都能随心所欲,所以是非常和平的社团活动……」 |「除此之外,我们都可以自由活动,每个人都能随心所欲,是个非常和平的社团……」 | 「除此之��,社团活动都是自由参加的,每个人都可以按自己的意愿去做自己想做的事情,所以社团活动也是非常和平的……」 | 「除此以外,因为大家都自由自在地度过时间,是个每个人都能按自己喜好随意参与的非常和平的社团活动......。」|
|
274 |
-
| 「そーだそーだ。せっかくお店休みにして遊びに来たのに」 | 「对呀对呀,难得我们关店跑出来玩耶。」 | 「没错没错,难得店里放假,我们才来玩的。」 |「是啊是啊,难得休息一天,我还想出来玩一下呢」| "是啊是啊。本来店铺难得休息,特地过来玩的呢。" |
|
275 |
-
| 伝えなければ、伝わらない。きっと、大事なことであるほど。 | 不表达就传达不了。越是重要的事情,越是如此。 | 不说出来就不会知道。越是重要的事情,就越是不能不说。 | -- | 如果不传达,就不会传达。毫无疑问,对于重要的事情来说是如此。 |
|
276 |
-
| が、ハチロクを手伝うことでそれが果たせるというのなら、仕事がどれほど増えようと、決して苦とは感じない。 | 不过,如果帮忙八六能让我实现这个愿望,无论工作增加多少,我也绝不会觉得痛苦。 | 不过,如果帮助八六就能实现这个愿望,不管工作多么繁重,我都不会觉得辛苦。 | -- | 如果通过帮助八六实现这一目标,无论工作增加多少,我绝不会感到苦恼。 |
|
277 |
-
|
278 |
-
- 轻小说(全龄)
|
279 |
-
|
280 |
-
使用[该仓库](https://github.com/FishHawk/sakura-test)的测试文本,仓库内提供了测试代码,测试文本以及v0.5版本的测试结果。使用该仓库代码在v0.7模型上对测试文本进行测试的结果已上传到[sakuraumi/Sakura-13B-Galgame-Archived](https://huggingface.co/sakuraumi/Sakura-13B-Galgame-Archived/blob/main/text.sa-packed)。
|
281 |
|
282 |
-
|
283 |
|
284 |
-
|
285 |
|
286 |
-
|
287 |
|
288 |
# 推理
|
289 |
|
290 |
-
-
|
291 |
|
292 |
-
- v0.
|
293 |
|
294 |
```python
|
295 |
-
input_text = "" #
|
296 |
query = "将下面的日文文本翻译成中文:" + input_text
|
297 |
-
prompt = "
|
298 |
```
|
299 |
|
300 |
-
- v0.
|
301 |
|
302 |
```python
|
303 |
-
input_text = "" #
|
304 |
query = "将下面的日文文本翻译成中文:" + input_text
|
305 |
-
prompt = "
|
306 |
```
|
307 |
|
308 |
-
- v0.5与v0.8
|
309 |
-
|
310 |
-
```python
|
311 |
-
input_text = "" # 用户输入
|
312 |
-
query = "将下面的日文文本翻译成中文:" + input_text
|
313 |
-
prompt = "<reserved_106>" + query + "<reserved_107>"
|
314 |
-
```
|
315 |
-
|
316 |
-
- v0.7
|
317 |
-
参考Qwen-14B-Chat的prompt构造方式:[这里](https://huggingface.co/Qwen/Qwen-14B-Chat/blob/5188dfeb4ff175705aa3a84ef9d616c70dea029b/qwen_generation_utils.py#L119)和[这里](https://github.com/hiyouga/LLaMA-Efficient-Tuning/blob/5310e4d1829f36619c8f224d09ec15eeaf7a4877/src/llmtuner/extras/template.py#L546)
|
318 |
-
|
319 |
-
|
320 |
- 推理与解码参数:
|
321 |
|
322 |
| 参数 | 值 |
|
@@ -329,37 +167,11 @@ python translate_novel.py \
|
|
329 |
| max new token | 512 |
|
330 |
| min new token | 1 |
|
331 |
|
332 |
-
|
333 |
-
|
334 |
-
- 量化:
|
335 |
-
|
336 |
-
根据transformers文档中给出的AutoGPTQ量化教程自行量化,或使用我们已经量化好的模型。
|
337 |
-
|
338 |
-
使用量化模型推理的示例代码(v0.8与v0.5版本):
|
339 |
-
|
340 |
-
```python
|
341 |
-
from transformers import AutoTokenizer, GenerationConfig
|
342 |
-
from auto_gptq import AutoGPTQForCausalLM
|
343 |
-
|
344 |
-
path = "path/to/your/model"
|
345 |
-
text = "" #要翻译的文本
|
346 |
-
|
347 |
-
generation_config = GenerationConfig.from_pretrained(path)
|
348 |
-
tokenizer = AutoTokenizer.from_pretrained(path, use_fast=False, trust_remote_code=True)
|
349 |
-
model = AutoGPTQForCausalLM.from_quantized(path, device="cuda:0", trust_remote_code=True)
|
350 |
-
|
351 |
-
response = tokenizer.decode(model.generate(**tokenizer(f"<reserved_106>将下面的日文文本翻译成中文:{text}<reserved_107>", return_tensors="pt").to(model.device), generation_config=generation_config)[0]).replace("</s>", "").split("<reserved_107>")[1]
|
352 |
-
print(response)
|
353 |
-
```
|
354 |
|
355 |
# 微调
|
356 |
|
357 |
-
|
358 |
-
|
359 |
-
# 后续工作
|
360 |
-
|
361 |
-
1. 优化SFT数据集,构建PT数据集
|
362 |
-
2. 在Base model基础上进行继续预训练(正在进行)
|
363 |
|
364 |
# 致谢
|
365 |
|
@@ -381,8 +193,4 @@ print(response)
|
|
381 |
|
382 |
# Copyright Notice
|
383 |
|
384 |
-
|
385 |
-
|
386 |
-
This model is intended for use only by individuals who have obtained approval from Meta and are eligible to download LLaMA.
|
387 |
-
|
388 |
-
If you have not obtained approval from Meta, you must visit the https://ai.meta.com/llama/ page, read and agree to the model's licensing agreement, submit an application, and wait for approval from Meta before downloading the model from this page.
|
|
|
21 |
|
22 |
# 介绍
|
23 |
|
24 |
+
- 基于一系列开源大模型构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调,旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型。
|
25 |
+
|
26 |
+
- 同时提供了运行模型的API后端,适配OpenAI API格式。
|
27 |
+
|
28 |
+
- 新建了[TG交流群](https://t.me/+QMDKZyO9GV1kNDA1),欢迎交流讨论。
|
29 |
|
30 |
**如果使用模型翻译并发布,请在最显眼的位置标注机翻!!!!!开发者对于滥用本模型造成的一切后果不负任何责任。**
|
31 |
|
32 |
+
**对于模型翻译的人称代词问题(错用,乱加,主宾混淆,男女不分等)和上下文理解问题,如果有好的想法或建议,欢迎提issue!**
|
33 |
+
|
34 |
+
## 快速开始
|
|
|
35 |
|
36 |
+
详见[Github仓库Wiki](https://github.com/SakuraLLM/Sakura-13B-Galgame/wiki).
|
37 |
+
|
38 |
+
## News
|
39 |
|
40 |
1. 预览版v0.9.0pre2模型发布。该版本模型只是预览版本,目前可能仍存在问题。修复了上一预览版本短文本退化的问题。
|
41 |
|
|
|
47 |
|
48 |
LunaTranslator是一个Galgame翻译工具,支持剪贴板、OCR、HOOK,支持40余种翻译引擎。
|
49 |
|
50 |
+
## 模型下载:
|
51 |
+
| 版本 | 全量模型 | GPTQ 8bit量化 | GPTQ 4bit量化 | GPTQ 3bit量化 | GGUF与量化 | AWQ量化
|
52 |
|:-------:|:-------:|:-------:|:-------:|:-------:|:-------:|:-------:|
|
53 |
| 20231026-v0.8 | 🤗 [Sakura-13B-LNovel-v0.8](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8) | 🤗 [Sakura-13B-LNovel-v0_8-8bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-8bit) | 🤗 [Sakura-13B-LNovel-v0_8-4bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-4bit) | 🤗 [Sakura-13B-LNovel-v0_8-3bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-3bit) | 🤗 [Sakura-13B-LNovel-v0_8-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8-GGUF) | 🤗 [Sakura-13B-LNovel-v0_8-AWQ](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-AWQ) |
|
54 |
+
| 20231125-v0.9.0pre2 | 🤗 [Sakura-13B-LNovel-v0.9.0pre2](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.9.0pre2) | - | - | - | 🤗 [Sakura-13B-LNovel-v0.9.0pre2-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.9.0pre2-GGUF) | - |
|
|
|
55 |
|
56 |
目前仍为实验版本,翻译质量在文风与流畅度上强于GPT-3.5,但词汇量逊于GPT-3.5. 个人使用推荐GPT4.
|
57 |
|
58 |
+
## TODO
|
59 |
+
- [x] 将`dev_server`分支合并到主分支,并将api格式改为openai like api格式。
|
60 |
+
- [ ] 支持多种后端至v0.9
|
61 |
+
- [ ] `llama.cpp server`
|
62 |
+
- [x] `llama-cpp-python`
|
63 |
+
- [x] `autogptq`
|
64 |
+
- [ ] `llm-sharp`
|
65 |
+
- [ ] 适配翻译工具
|
66 |
+
- [ ] LunaTranslator
|
67 |
+
- [ ] GalTransl
|
68 |
+
- [ ] BallonsTranslator
|
69 |
+
- [ ] 提供Python部署一键包
|
70 |
+
- [ ] 发布v0.9模型
|
71 |
+
- [ ] ~7B模型测试
|
72 |
+
- [ ] ~30B模型测试
|
73 |
+
|
74 |
# 显存需求
|
75 |
|
76 |
下面的表格显示了使用不同量化和不同格式的模型时显存占用的大小。如果你的显卡显存不满足上述需求,可以尝试同时使用CPU与GPU进行推理。
|
|
|
96 |
| 4bit | 14.9G | 17.4G |
|
97 |
| 3bit | 13.7G | 15.5G |
|
98 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
99 |
# 日志
|
100 |
|
101 |
`20231125`: 上传第六版模型预览,改善数据集质量与格式,使用Qwen-14B-Chat模型进行继续预训练+微调,增加数据集。
|
102 |
|
103 |
`20231026`:上传第五版模型`sakura-13b-2epoch-3.8M-1025-v0.8`,改善数据集质量与格式,修复之前版本模型无法正确解析\n的问题,使用Baichuan2-13B-Chat模型进行微调。
|
104 |
|
105 |
+
`20231011`:上传第四版模型`sakura-14b-2epoch-4.4M-1003-v0.7`,改用QWen-14B-Chat模型进行微调,针对较长文本进行优化,增加数据集。
|
106 |
+
|
107 |
+
`20230918`:上传第三版模型的8bits量化版`sakura-13b-2epoch-2.6M-0917-v0.5-8bits`。
|
108 |
|
109 |
`20230917`:上传第三版模型`sakura-13b-2epoch-2.6M-0917-v0.5`,改用Baichuan2-13B-Chat模型进行微调,翻译质量有所提高。
|
110 |
|
111 |
+
`20230908`:上传第二版模型`sakura-13b-1epoch-2.6M-0903-v0.4`,使用Galgame和轻小说数据集进行微调,语法能力有所提高。感谢[CjangCjengh](https://github.com/CjangCjengh)大佬提供轻小说数据集。
|
112 |
|
113 |
`20230827`:上传第一版模型`sakura-13b-2epoch-260k-0826-v0.1`
|
114 |
|
|
|
116 |
|
117 |
## 描述
|
118 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
119 |
- Finetuned by [SakuraUmi](https://github.com/pipixia244)
|
120 |
- Finetuned on [Baichuan2-13B-Chat](https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat)
|
|
|
|
|
|
|
|
|
|
|
|
|
121 |
- Finetuned on [Qwen-14B-Chat](https://huggingface.co/Qwen/Qwen-14B)
|
|
|
122 |
- Languages: Chinese/Japanese
|
123 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
124 |
## 效果
|
125 |
|
126 |
- Galgame
|
127 |
|
128 |
+
TBD
|
129 |
+
|
130 |
+
- 轻小说
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
131 |
|
132 |
+
网站:[轻小说机翻机器人](https://books.fishhawk.top/)已接入Sakura模型(v0.8-4bit),站内有大量模型翻译的轻小说可供参考。
|
133 |
|
134 |
+
- PPL/BLEU/Human
|
135 |
|
136 |
+
TBD
|
137 |
|
138 |
# 推理
|
139 |
|
140 |
+
- prompt构建:
|
141 |
|
142 |
+
- v0.8
|
143 |
|
144 |
```python
|
145 |
+
input_text = "" # 要翻译的日文
|
146 |
query = "将下面的日文文本翻译成中文:" + input_text
|
147 |
+
prompt = "<reserved_106>" + query + "<reserved_107>"
|
148 |
```
|
149 |
|
150 |
+
- v0.9
|
151 |
|
152 |
```python
|
153 |
+
input_text = "" # 要翻译的日文
|
154 |
query = "将下面的日文文本翻译成中文:" + input_text
|
155 |
+
prompt = "<|im_start|>system\n你是一个轻小说翻译模型,可以流畅通顺地以日本轻小说的风格将日文翻译成简体中文,并联系上下文正确使用人称代词,不擅自添加原文中没有的代词。<|im_end|>\n<|im_start|>user\n" + query + "<|im_end|>\n<|im_start|>assistant\n"
|
156 |
```
|
157 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
158 |
- 推理与解码参数:
|
159 |
|
160 |
| 参数 | 值 |
|
|
|
167 |
| max new token | 512 |
|
168 |
| min new token | 1 |
|
169 |
|
170 |
+
如出现退化,可增加`frequency_penalty`参数,并设置为大于0的某值,一般设置0.05~0.2即可。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
171 |
|
172 |
# 微调
|
173 |
|
174 |
+
模型微调框架参考[BELLE](https://github.com/LianjiaTech/BELLE)或[LLaMA-Factory](https://github.com/hiyouga/LLaMA-Factory),prompt构造参考推理部分。
|
|
|
|
|
|
|
|
|
|
|
175 |
|
176 |
# 致谢
|
177 |
|
|
|
193 |
|
194 |
# Copyright Notice
|
195 |
|
196 |
+
v0.8版本模型的使用须遵守[Apache 2.0](https://github.com/baichuan-inc/Baichuan2/blob/main/LICENSE)和[《Baichuan 2 模型社区许可协议》](https://huggingface.co/baichuan-inc/Baichuan2-7B-Base/resolve/main/Baichuan%202%E6%A8%A1%E5%9E%8B%E7%A4%BE%E5%8C%BA%E8%AE%B8%E5%8F%AF%E5%8D%8F%E8%AE%AE.pdf)。
|
|
|
|
|
|
|
|