|
--- |
|
license: apache-2.0 |
|
language: |
|
- zh |
|
- ja |
|
pipeline_tag: text-generation |
|
--- |
|
|
|
# Sakura-13B-Galgame |
|
|
|
# 介绍 |
|
|
|
基于LLaMA2-13B和OpenBuddy构建，在Galgame中日文本数据上进行微调，旨在提供离线的Galgame文本翻译大模型. |
|
|
|
目前仍为实验版本，翻译质量较差. |
|
|
|
# 模型详情 |
|
|
|
## 描述 |
|
|
|
- Finetuned by [SakuraUmi](https://github.com/pipixia244) |
|
- Finetuned on [openbuddy-llama2-13b](https://huggingface.co/OpenBuddy/openbuddy-llama2-13b-v8.1-fp16) |
|
- Base model: [Llama2-13B](https://huggingface.co/meta-llama/Llama-2-13b-chat-hf) |
|
- Languages: Chinese/Japanese |
|
|
|
## 基本参数 |
|
|
|
数据集：约260k Galgame中日文本 |
|
|
|
微调epoch数：2 |
|
|
|
参数量：13B |
|
|
|
## 效果 |
|
|
|
| 原文 | Ours | ChatGPT(GPT-3.5) | |
|
| ---- | ---- | ---- | |
|
| 「女の子の一人暮らしって、やっぱ一階は防范的に危ないのかな～？ お父さんには、一階はやめとけ～って言われててね？」 | 「一个女孩子住在一楼，还是有点不太安全吧？爸爸说让我不要住在一楼」 | "一个女孩子独自一人住，大概一楼会不安全吧～？爸爸对我说过，一楼最好不要住～" | |
|
| 「助けて、誰か助けてって思いながら、ただただ泣いてたんです……」 | 「我一边祈祷着，祈祷着有人能来救救我们，一边不停地哭泣……」| 「帮帮我，我一边想着有人帮助我，一边只是哭泣着……」 | |
|
| 「そうだよ。これが太一の普通の顔だって。でも、ちょっと不気味だから、わたしみたいにニッコリ笑ってみて？」 | 「是啊。这就是太一的普通表情。但是，因为有点吓人，所以你也试着像我一样微笑一下吧？」 | “是的呢，这就是太一的平常表情哦。不过，有点怪异，所以像我这样放个甜甜的笑容试试看？” | |
|
| 「そういうヒトの感情は、発情期を迎えてもいないネコには難しい」 | 「这种人类的感情，对还没有迎来发情期的猫来说太难懂了」 | 这种人类的情感对于尚未进入发情期的猫来说是复杂的。 | |
|
| 「朝になって、病院に行くまで。ずっと、ずーっとそばに居てくれて……」 | 「一直陪我到早上去医院。一直，一直陪在我身边……」 | "直到早晨去医院为止。一直，一直都在我身旁……" | |
|
| 「それ以外は、自由に過ごしているため、各自が好きにできる、とても平和な部活だった……。」 | 「除此之外，社团活动都是自由参加的，每个人都可以按自己的意愿去做自己想做的事情，所以社团活动也是非常和平的……」 | 「除此以外，因为大家都自由自在地度过时间，是个每个人都能按自己喜好随意参与的非常和平的社团活动......。」| |
|
| 「そーだそーだ。せっかくお店休みにして遊びに来たのに」 | 「是啊是啊，难得休息一天，我还想出来玩一下呢」| "是啊是啊。本来店铺难得休息，特地过来玩的呢。" | |
|
| この世界に生まれた存在という束縛からさえ解放された | 甚至从生于这个世界这个束缚中得到了解放 | 从被称为在这个世界诞生的存在所带来的束缚中解脱出来 | |
|
|
|
# 推理 |
|
|
|
- Galgame翻译的prompt构建： |
|
|
|
```python |
|
input_text = "" # 用户输入 |
|
query = "将下面的日文文本翻译成中文：" + input_text |
|
prompt = "Human: \n" + query + "\n\nAssistant: \n" |
|
``` |
|
|
|
- 推理参数： |
|
|
|
| 参数 | 值 | |
|
| ---- | ---- | |
|
| beams number | 2 | |
|
| repetition penalty | 1 | |
|
| max new token | 512 | |
|
| min new token | 1 | |
|
|
|
- 量化： |
|
|
|
在`model.generate()`中添加参数`load_in_8bit=True`或`load_in_4bit=True` |
|
|
|
其余推理流程与LLaMA2一致 |
|
|
|
# 微调 |
|
|
|
流程与LLaMA2一致，prompt构造参考推理部分 |
|
|
|
# 后续工作 |
|
|
|
1. 优化数据集，包括提高数据集质量和增加数据数量 |
|
2. 支持上下文理解 |
|
3. 支持指定专有名词 |
|
|
|
# Copyright Notice |
|
|
|
This model is built upon Meta's LLaMA series of models and is subject to Meta's licensing agreement. |
|
|
|
This model is intended for use only by individuals who have obtained approval from Meta and are eligible to download LLaMA. |
|
|
|
If you have not obtained approval from Meta, you must visit the https://ai.meta.com/llama/ page, read and agree to the model's licensing agreement, submit an application, and wait for approval from Meta before downloading the model from this page. |
