sakuraumi commited on
Commit
990f428
·
1 Parent(s): 582d847

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +44 -8
README.md CHANGED
@@ -14,6 +14,12 @@ pipeline_tag: text-generation
14
 
15
  目前仍为实验版本,翻译质量较差.
16
 
 
 
 
 
 
 
17
  # 模型详情
18
 
19
  ## 描述
@@ -23,17 +29,31 @@ pipeline_tag: text-generation
23
  - Base model: [Llama2-13B](https://huggingface.co/meta-llama/Llama-2-13b-chat-hf)
24
  - Languages: Chinese/Japanese
25
 
26
- ## 基本参数
 
 
 
 
 
 
 
 
 
 
 
 
27
 
28
  数据集:约260k Galgame中日文本
29
 
 
 
30
  微调epoch数:2
31
 
32
  参数量:13B
33
 
34
  ## 效果
35
 
36
- | 原文 | Ours | ChatGPT(GPT-3.5) |
37
  | ---- | ---- | ---- |
38
  | 「女の子の一人暮らしって、やっぱ一階は防范的に危ないのかな~? お父さんには、一階はやめとけ~って言われててね?」 | 「一个女孩子住在一楼,还是有点不太安全吧?爸爸说让我不要住在一楼」 | "一个女孩子独自一人住,大概一楼会不安全吧~?爸爸对我说过,一楼最好不要住~" |
39
  | 「助けて、誰か助けてって思いながら、ただただ泣いてたんです……」 | 「我一边祈祷着,祈祷着有人能来救救我们,一边不停地哭泣……」| 「帮帮我,我一边想着有人帮助我,一边只是哭泣着……」 |
@@ -48,11 +68,21 @@ pipeline_tag: text-generation
48
 
49
  - Galgame翻译的prompt构建:
50
 
51
- ```python
52
- input_text = "" # 用户输入
53
- query = "将下面的日文文本翻译成中文:" + input_text
54
- prompt = "Human: \n" + query + "\n\nAssistant: \n"
55
- ```
 
 
 
 
 
 
 
 
 
 
56
 
57
  - 推理参数:
58
 
@@ -75,10 +105,16 @@ prompt = "Human: \n" + query + "\n\nAssistant: \n"
75
 
76
  # 后续工作
77
 
78
- 1. 优化数据集,包括提高数据集质量和增加数据数量
79
  2. 支持上下文理解
80
  3. 支持指定专有名词
81
 
 
 
 
 
 
 
82
  # Copyright Notice
83
 
84
  This model is built upon Meta's LLaMA series of models and is subject to Meta's licensing agreement.
 
14
 
15
  目前仍为实验版本,翻译质量较差.
16
 
17
+ # 日志
18
+
19
+ `20230908`:上传第二版模型`sakura-13b-1epoch-2.6M-0903-v0.4.bin`,使用Galgame和轻小说数据集进行微调,语法能力有所提高。轻小说数据集感谢[CjangCjengh](https://github.com/CjangCjengh)大佬提供。
20
+
21
+ `20230827`:上传第一版模型`sakura-13b-2epoch-260k-0826-v0.1.bin`
22
+
23
  # 模型详情
24
 
25
  ## 描述
 
29
  - Base model: [Llama2-13B](https://huggingface.co/meta-llama/Llama-2-13b-chat-hf)
30
  - Languages: Chinese/Japanese
31
 
32
+ ## 版本
33
+
34
+ ### v0.4
35
+
36
+ 数据集:约260k Galgame中日文本 + 约2.3M 轻小说中日文本
37
+
38
+ 微调方式:全参数
39
+
40
+ 微调epoch数:1
41
+
42
+ 参数量:13B
43
+
44
+ ### v0.1
45
 
46
  数据集:约260k Galgame中日文本
47
 
48
+ 微调方式:全参数
49
+
50
  微调epoch数:2
51
 
52
  参数量:13B
53
 
54
  ## 效果
55
 
56
+ | 原文 | Ours(v0.1) | ChatGPT(GPT-3.5) |
57
  | ---- | ---- | ---- |
58
  | 「女の子の一人暮らしって、やっぱ一階は防范的に危ないのかな~? お父さんには、一階はやめとけ~って言われててね?」 | 「一个女孩子住在一楼,还是有点不太安全吧?爸爸说让我不要住在一楼」 | "一个女孩子独自一人住,大概一楼会不安全吧~?爸爸对我说过,一楼最好不要住~" |
59
  | 「助けて、誰か助けてって思いながら、ただただ泣いてたんです……」 | 「我一边祈祷着,祈祷着有人能来救救我们,一边不停地哭泣……」| 「帮帮我,我一边想着有人帮助我,一边只是哭泣着……」 |
 
68
 
69
  - Galgame翻译的prompt构建:
70
 
71
+ - v0.1
72
+
73
+ ```python
74
+ input_text = "" # 用户输入
75
+ query = "将下面的日文文本翻译成中文:" + input_text
76
+ prompt = "Human: \n" + query + "\n\nAssistant: \n"
77
+ ```
78
+
79
+ - v0.4
80
+
81
+ ```python
82
+ input_text = "" # 用户输入
83
+ query = "将下面的日文文本翻译成中文:" + input_text
84
+ prompt = "User: " + query + "\nAssistant: "
85
+ ```
86
 
87
  - 推理参数:
88
 
 
105
 
106
  # 后续工作
107
 
108
+ 1. 优化数据集,主要优化数据集质量
109
  2. 支持上下文理解
110
  3. 支持指定专有名词
111
 
112
+ # 致谢
113
+
114
+ - [CjangCjengh](https://github.com/CjangCjengh)提供的2.3M轻小说数据集
115
+
116
+ - [minaduki-sora](https://github.com/minaduki-sora),[Kimagure7](https://github.com/Kimagure7)和[YYF233333](https://github.com/YYF233333)帮忙收集处理数据
117
+
118
  # Copyright Notice
119
 
120
  This model is built upon Meta's LLaMA series of models and is subject to Meta's licensing agreement.