Update README.md
Browse files
README.md
CHANGED
@@ -14,6 +14,12 @@ pipeline_tag: text-generation
|
|
14 |
|
15 |
目前仍为实验版本,翻译质量较差.
|
16 |
|
|
|
|
|
|
|
|
|
|
|
|
|
17 |
# 模型详情
|
18 |
|
19 |
## 描述
|
@@ -23,17 +29,31 @@ pipeline_tag: text-generation
|
|
23 |
- Base model: [Llama2-13B](https://huggingface.co/meta-llama/Llama-2-13b-chat-hf)
|
24 |
- Languages: Chinese/Japanese
|
25 |
|
26 |
-
##
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
27 |
|
28 |
数据集:约260k Galgame中日文本
|
29 |
|
|
|
|
|
30 |
微调epoch数:2
|
31 |
|
32 |
参数量:13B
|
33 |
|
34 |
## 效果
|
35 |
|
36 |
-
| 原文 | Ours | ChatGPT(GPT-3.5) |
|
37 |
| ---- | ---- | ---- |
|
38 |
| 「女の子の一人暮らしって、やっぱ一階は防范的に危ないのかな~? お父さんには、一階はやめとけ~って言われててね?」 | 「一个女孩子住在一楼,还是有点不太安全吧?爸爸说让我不要住在一楼」 | "一个女孩子独自一人住,大概一楼会不安全吧~?爸爸对我说过,一楼最好不要住~" |
|
39 |
| 「助けて、誰か助けてって思いながら、ただただ泣いてたんです……」 | 「我一边祈祷着,祈祷着有人能来救救我们,一边不停地哭泣……」| 「帮帮我,我一边想着有人帮助我,一边只是哭泣着……」 |
|
@@ -48,11 +68,21 @@ pipeline_tag: text-generation
|
|
48 |
|
49 |
- Galgame翻译的prompt构建:
|
50 |
|
51 |
-
|
52 |
-
|
53 |
-
|
54 |
-
|
55 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
56 |
|
57 |
- 推理参数:
|
58 |
|
@@ -75,10 +105,16 @@ prompt = "Human: \n" + query + "\n\nAssistant: \n"
|
|
75 |
|
76 |
# 后续工作
|
77 |
|
78 |
-
1.
|
79 |
2. 支持上下文理解
|
80 |
3. 支持指定专有名词
|
81 |
|
|
|
|
|
|
|
|
|
|
|
|
|
82 |
# Copyright Notice
|
83 |
|
84 |
This model is built upon Meta's LLaMA series of models and is subject to Meta's licensing agreement.
|
|
|
14 |
|
15 |
目前仍为实验版本,翻译质量较差.
|
16 |
|
17 |
+
# 日志
|
18 |
+
|
19 |
+
`20230908`:上传第二版模型`sakura-13b-1epoch-2.6M-0903-v0.4.bin`,使用Galgame和轻小说数据集进行微调,语法能力有所提高。轻小说数据集感谢[CjangCjengh](https://github.com/CjangCjengh)大佬提供。
|
20 |
+
|
21 |
+
`20230827`:上传第一版模型`sakura-13b-2epoch-260k-0826-v0.1.bin`
|
22 |
+
|
23 |
# 模型详情
|
24 |
|
25 |
## 描述
|
|
|
29 |
- Base model: [Llama2-13B](https://huggingface.co/meta-llama/Llama-2-13b-chat-hf)
|
30 |
- Languages: Chinese/Japanese
|
31 |
|
32 |
+
## 版本
|
33 |
+
|
34 |
+
### v0.4
|
35 |
+
|
36 |
+
数据集:约260k Galgame中日文本 + 约2.3M 轻小说中日文本
|
37 |
+
|
38 |
+
微调方式:全参数
|
39 |
+
|
40 |
+
微调epoch数:1
|
41 |
+
|
42 |
+
参数量:13B
|
43 |
+
|
44 |
+
### v0.1
|
45 |
|
46 |
数据集:约260k Galgame中日文本
|
47 |
|
48 |
+
微调方式:全参数
|
49 |
+
|
50 |
微调epoch数:2
|
51 |
|
52 |
参数量:13B
|
53 |
|
54 |
## 效果
|
55 |
|
56 |
+
| 原文 | Ours(v0.1) | ChatGPT(GPT-3.5) |
|
57 |
| ---- | ---- | ---- |
|
58 |
| 「女の子の一人暮らしって、やっぱ一階は防范的に危ないのかな~? お父さんには、一階はやめとけ~って言われててね?」 | 「一个女孩子住在一楼,还是有点不太安全吧?爸爸说让我不要住在一楼」 | "一个女孩子独自一人住,大概一楼会不安全吧~?爸爸对我说过,一楼最好不要住~" |
|
59 |
| 「助けて、誰か助けてって思いながら、ただただ泣いてたんです……」 | 「我一边祈祷着,祈祷着有人能来救救我们,一边不停地哭泣……」| 「帮帮我,我一边想着有人帮助我,一边只是哭泣着……」 |
|
|
|
68 |
|
69 |
- Galgame翻译的prompt构建:
|
70 |
|
71 |
+
- v0.1
|
72 |
+
|
73 |
+
```python
|
74 |
+
input_text = "" # 用户输入
|
75 |
+
query = "将下面的日文文本翻译成中文:" + input_text
|
76 |
+
prompt = "Human: \n" + query + "\n\nAssistant: \n"
|
77 |
+
```
|
78 |
+
|
79 |
+
- v0.4
|
80 |
+
|
81 |
+
```python
|
82 |
+
input_text = "" # 用户输入
|
83 |
+
query = "将下面的日文文本翻译成中文:" + input_text
|
84 |
+
prompt = "User: " + query + "\nAssistant: "
|
85 |
+
```
|
86 |
|
87 |
- 推理参数:
|
88 |
|
|
|
105 |
|
106 |
# 后续工作
|
107 |
|
108 |
+
1. 优化数据集,主要优化数据集质量
|
109 |
2. 支持上下文理解
|
110 |
3. 支持指定专有名词
|
111 |
|
112 |
+
# 致谢
|
113 |
+
|
114 |
+
- [CjangCjengh](https://github.com/CjangCjengh)提供的2.3M轻小说数据集
|
115 |
+
|
116 |
+
- [minaduki-sora](https://github.com/minaduki-sora),[Kimagure7](https://github.com/Kimagure7)和[YYF233333](https://github.com/YYF233333)帮忙收集处理数据
|
117 |
+
|
118 |
# Copyright Notice
|
119 |
|
120 |
This model is built upon Meta's LLaMA series of models and is subject to Meta's licensing agreement.
|