sakuraumi commited on
Commit
750a2c9
·
verified ·
1 Parent(s): 546b4d7

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +34 -56
README.md CHANGED
@@ -11,89 +11,67 @@ pinned: false
11
  <!-- markdownlint-disable html -->
12
  <div align="center">
13
  <h1>
14
- Sakura-13B-Galgame
15
  </h1>
16
- </div>
17
 
18
  <p align="center">
19
- 🦉 <a href="https://github.com/pipixia244/Sakura-13B-Galgame" target="_blank">GitHub</a> | 🤖 <a href="https://www.modelscope.cn/models/sakuraumi/Sakura-13B-Galgame" target="_blank">ModelScope</a>
20
  </p>
21
 
22
- # 介绍
23
 
24
- - 基于一系列开源大模型构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调,旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型。
25
-
26
- - 目前仍为实验版本,v0.9版本模型在文风、流畅度与准确性上均强于GPT-3.5,但词汇量略逊于GPT-3.5(主观评价).
27
 
28
- - 同时提供了运行模型的API后端,适配OpenAI API格式。
29
 
30
  - 新建了[TG交流群](https://t.me/+QMDKZyO9GV1kNDA1),欢迎交流讨论。
31
 
 
 
32
  **如果使用模型翻译并发布,请在最显眼的位置标注机翻!!!!!开发者对于滥用本模型造成的一切后果不负任何责任。**
 
33
 
34
  **对于模型翻译的人称代词问题(错用,乱加,主宾混淆,男女不分等)和上下文理解问题,如果有好的想法或建议,欢迎提issue!**
35
 
 
 
36
  ## 快速开始
37
 
38
  ### 教程:
39
 
40
  详见[本仓库Wiki](https://github.com/SakuraLLM/Sakura-13B-Galgame/wiki).
41
 
42
- ### 模型下载:
43
-
44
- | 版本 | Transformers模型 | GGUF量化模型 | GPTQ 8bit量化 | GPTQ 4bit量化 | GPTQ 3bit量化 | AWQ量化
45
- |:-------:|:-------:|:-------:|:-------:|:-------:|:-------:|:-------:|
46
- | 20231026-v0.8 | 🤗 [Sakura-13B-LNovel-v0.8](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8) | 🤗 [Sakura-13B-LNovel-v0_8-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8-GGUF) | 🤗 [Sakura-13B-LNovel-v0_8-8bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-8bit) | 🤗 [Sakura-13B-LNovel-v0_8-4bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-4bit) | 🤗 [Sakura-13B-LNovel-v0_8-3bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-3bit) | 🤗 [Sakura-13B-LNovel-v0_8-AWQ](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0_8-AWQ) |
47
- | 20240111-v0.9 | 🤗 [Sakura-13B-LNovel-v0.9](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.9) | 🤗 [Sakura-13B-LNovel-v0.9-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.9-GGUF) | - | - | - | - |
48
-
49
- ## News
50
-
51
- 1. **更新了0.9的第一个正式版模型`v0.9`。修复若干bug,清洗并增加了预训练与微调的数据量。更推荐使用正式版模型,它会比之前的pre版本更加稳定,质量更高。**
52
 
53
- 1. 感谢[Isotr0py](https://github.com/Isotr0py)提供运行模型的NoteBook仓库[SakuraLLM-Notebooks](https://github.com/Isotr0py/SakuraLLM-Notebooks),可在[Colab](https://colab.research.google.com/)(免费T4\*1)与[Kaggle](https://www.kaggle.com/)(免费P100\*1或T4\*2)平台使用。**已经更新Kaggle平台的[使用教程](https://github.com/SakuraLLM/Sakura-13B-Galgame/wiki/%E7%99%BD%E5%AB%96Kaggle%E5%B9%B3%E5%8F%B0%E9%83%A8%E7%BD%B2%E6%95%99%E7%A8%8B),可以白嫖一定时间的T4\*2。**
54
 
55
- 1. **Sakura API已经支持OpenAI格式,现在可以通过OpenAI库或者OpenAI API Reference上的请求形式与Server交互。**
56
- 一个使用OpenAI库与Sakura模型交互的例子详见[openai_example.py](https://github.com/SakuraLLM/Sakura-13B-Galgame/blob/main/tests/example_openai.py)。
57
-
58
- ## 已经接入模型的工具
59
-
60
- 1. 网站:[轻小说机翻机器人](https://books.fishhawk.top/)已接入Sakura模型(v0.8-4bit),站内有大量模型翻译结果可供参考。你也可以自行部署模型并使用该网站生成机翻,目前已经支持v0.8与v0.9模型,且提供了llama.cpp一键包。
61
-
62
- 轻小说机翻机器人网站是一个自动生成轻小说机翻并分享的网站。你可以浏览日文网络小说,或者上传Epub/Txt文件,并生成机翻。
63
-
64
- 1. [LunaTranslator](https://github.com/HIllya51/LunaTranslator)已经支持Sakura API,可以通过本地部署API后端,并在LunaTranslator中配置Sakura API来使用Sakura模型进行Galgame实时翻译。
65
-
66
- LunaTranslator是一个Galgame翻译工具,支持剪贴板、OCR、HOOK,支持40余种翻译引擎。
67
-
68
- 1. [GalTransl](https://github.com/XD2333/GalTransl)已经支持Sakura API,可以通过本地部署API后端,在GalTransl中配置使用Sakura模型来翻译Galgame,制作内嵌式翻译补丁。
69
-
70
- GalTransl是一个galgame自动化翻译工具,用于制作内嵌式翻译补丁。一个使用GalTransl和Sakura模型翻译的[示例](https://www.ai2moe.org/files/file/2271-%E6%88%AF%E7%94%BBgaltranslsakuragpt35%E7%88%B1%E4%B9%8B%E5%90%BB3-sexy-gpt%E7%BF%BB%E8%AF%91%E8%A1%A5%E4%B8%81uploadee5-mb/)
71
-
72
- # 显存需求
73
 
74
- 下面的表格显示了使用不同量化和不同格式的模型时显存占用的大小。如果你的显卡显存不满足上述需求,可以尝试同时使用CPU与GPU进行推理。
 
 
 
 
 
 
 
 
 
 
 
75
 
76
- - llama.cpp GGUF模型(使用v0.9.0pre1模型进行测试,v0.8模型与其类似)
77
 
78
- | 模型量化类型 | 模型大小 | 推荐显存大小 |
79
- |:-------:|:-------:|:-------:|
80
- | fp16 | 26.3G | 超出游戏显卡显存范围 |
81
- | Q8_0 | 14G | 24G |
82
- | Q6_K | 11.4G | 20G |
83
- | Q5_K_M | 10.1G | 16G |
84
- | Q4_K_M | 8.8G | 16G |
85
- | Q3_K_M | 7.2G | 16G |
86
- | Q2_K | 6.1G | 12G |
87
 
88
- - transformers autogptq模型(使用v0.8版本进行测试)
89
 
90
- | 模型量化类型 | 推理显存(ctx约600) | 推理显存(ctx约1800) |
91
- |:-------:|:-------:|:-------:|
92
- | 全量 | 超出游戏显卡显存范围 | 超出游戏显卡显存范围 |
93
- | 8bit | 21.1G | 23.4G |
94
- | 4bit | 14.9G | 17.4G |
95
- | 3bit | 13.7G | 15.5G |
96
 
97
  # 更多信息
98
 
99
- 详情请查看[此页面](https://github.com/SakuraLLM/Sakura-13B-Galgame)
 
11
  <!-- markdownlint-disable html -->
12
  <div align="center">
13
  <h1>
14
+ SakuraLLM
15
  </h1>
16
+ <center>
17
 
18
  <p align="center">
19
+ 🦉 <a href="https://github.com/SakuraLLM/SakuraLLM" target="_blank">GitHub</a> | 🤖 <a href="https://www.modelscope.cn/models/sakuraumi/Sakura-13B-Galgame" target="_blank">ModelScope</a>
20
  </p>
21
 
22
+ # 目前Sakura发布的所有模型均采用[CC BY-NC-SA 4.0协议](https://creativecommons.org/licenses/by-nc-sa/4.0/deed.zh-hans),Sakura所有模型与其衍生模型均禁止任何形式的商用!Sakura系列所有模型皆仅供学习交流使用,开发者对使用Sakura模型造成的问题不负任何责任。
23
 
24
+ # 介绍
 
 
25
 
26
+ - 基于一系列开源大模型构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调,旨在提供开源可控可离线自部署的、ACGN风格的日中翻译模型。
27
 
28
  - 新建了[TG交流群](https://t.me/+QMDKZyO9GV1kNDA1),欢迎交流讨论。
29
 
30
+ **对于其他适配本模型的项目如使用非本项目提供的prompt格式进行翻译,不保证会获得与README中的说明一致的质量!**
31
+
32
  **如果使用模型翻译并发布,请在最显眼的位置标注机翻!!!!!开发者对于滥用本模型造成的一切后果不负任何责任。**
33
+ > 由于模型一直在更新,请同时注明使用的模型版本等信息,方便进行质量评估和更新翻译。
34
 
35
  **对于模型翻译的人称代词问题(错用,乱加,主宾混淆,男女不分等)和上下文理解问题,如果有好的想法或建议,欢迎提issue!**
36
 
37
+ ### TODO:见https://github.com/SakuraLLM/Sakura-13B-Galgame/issues/42
38
+
39
  ## 快速开始
40
 
41
  ### 教程:
42
 
43
  详见[本仓库Wiki](https://github.com/SakuraLLM/Sakura-13B-Galgame/wiki).
44
 
45
+ 部分使用方法:[usage.md](https://github.com/SakuraLLM/SakuraLLM/blob/main/usage.md)
 
 
 
 
 
 
 
 
 
46
 
47
+ > **请注意,如果给轻小说机翻站使用,请参见[机翻站站内教程](https://books.fishhawk.top/forum?category=Guide&page=1),本 repo 不适用。**
48
 
49
+ ### 模型下载:
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
50
 
51
+ | 参数量 | 发布时间-底模-版本 | 模型 |
52
+ |:-------:|:-------|:-------|
53
+ | 32B | 20240508-Qwen1.5-32B-v0.9 | 🤗 [Sakura-32B-Qwen2beta-v0.9-GGUF](https://huggingface.co/SakuraLLM/Sakura-32B-Qwen2beta-v0.9-GGUF) |
54
+ | | 20240508-Qwen1.5-32B-v0.10pre1 | 🤗 [Sakura-32B-Qwen2beta-v0.10pre1-GGUF](https://huggingface.co/SakuraLLM/Sakura-32B-Qwen2beta-v0.10pre1-GGUF) |
55
+ | 14B | 20240111-Qwen-14B-v0.9 | 🤗 [Sakura-13B-LNovel-v0.9b-GGUF](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.9b-GGUF) |
56
+ | | 20240213-Qwen1.5-14B-v0.9 | 🤗 [Sakura-14B-Qwen2beta-v0.9-GGUF](https://huggingface.co/SakuraLLM/Sakura-14B-Qwen2beta-v0.9-GGUF) |
57
+ | | 20240516-Qwen1.5-14B-v0.9.2 | 🤗 [Sakura-14B-Qwen2beta-v0.9.2-GGUF](https://huggingface.co/SakuraLLM/Sakura-14B-Qwen2beta-v0.9.2-GGUF)
58
+ |(最新)| **20241008-Qwen2.5-14B-v1.0** | 🤗 [Sakura-14B-Qwen2.5-v1.0-GGUF](https://huggingface.co/SakuraLLM/Sakura-14B-Qwen2.5-v1.0-GGUF)
59
+ | 7B | 20240116-Qwen-7B-v0.9 | 🤗 [Sakura-7B-LNovel-v0.9-GGUF](https://huggingface.co/SakuraLLM/Sakura-7B-LNovel-v0.9-GGUF) |
60
+ | | 20240531-Qwen1.5-7B-Galtransl-v2.6 | 🤗 [Galtransl-v2.6](https://huggingface.co/SakuraLLM/GalTransl-7B-v2.6) |
61
+ | ~2B | 20240214-Qwen1.5-1.8B-v0.9.1 | 🤗 [Sakura-1B8-Qwen2beta-v0.9.1-GGUF](https://huggingface.co/SakuraLLM/Sakura-1B8-Qwen2beta-v0.9.1-GGUF) |
62
+ |(最新)| **20241012-Qwen2.5-1.5B-v1.0** | 🤗 [Sakura-1.5B-Qwen2.5-v1.0-GGUF](https://huggingface.co/SakuraLLM/Sakura-1.5B-Qwen2.5-v1.0-GGUF) |
63
 
 
64
 
65
+ p.s. 如果无法连接到HuggingFace服务器,可将链接中的`huggingface.co`改成`hf-mirror.com`,使用hf镜像站下载。
 
 
 
 
 
 
 
 
66
 
67
+ ## News
68
 
69
+ 1. **更新了基于Qwen2.5-14B的v1.0正式版模型[Sakura-14B-Qwen2.5-v1.0](https://huggingface.co/SakuraLLM/Sakura-14B-Qwen2.5-v1.0-GGUF)和基于Qwen2.5-1.5B的v1.0正式版模型[Qwen2.5-1.5B-v1.0](https://huggingface.co/SakuraLLM/Sakura-1.5B-Qwen2.5-v1.0-GGUF),prompt格式参见[下方说明](https://github.com/SakuraLLM/SakuraLLM#%E6%8E%A8%E7%90%86)。主要改进:**
70
+ - 改善翻译质量,提高翻译准确率,尤其是人称的准确率。
71
+ - 支持术语表(GPT字典),以保持专有名词和人称的一致性。
72
+ - 提高部分简单控制符的保留能力,尤其是单行内存在`\n`的情况下保留`\n`的能力。降低行数与原文不一致的概率。
73
+ - 由于底模使用GQA,推理速度和显存占用显著改善,可实现更快的多线程推理。关于多线程推理,可参考[Sakura启动器GUI使用教程](https://books.fishhawk.top/forum/656d60530286f15e3384fcf8)或[SakuraLLMServer](https://github.com/neavo/SakuraLLMServer)。
 
74
 
75
  # 更多信息
76
 
77
+ 详情请查看[此页面](https://github.com/SakuraLLM/SakuraLLM)