Update README.md
Browse files
README.md
CHANGED
@@ -53,11 +53,39 @@ pipeline_tag: text-generation
|
|
53 |
|
54 |
# 快速开始
|
55 |
|
56 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
57 |
|
58 |
- 翻译Epub文件
|
59 |
|
60 |
-
|
61 |
|
62 |
```bash
|
63 |
# 参数说明:
|
@@ -83,7 +111,7 @@ python translate_epub.py \
|
|
83 |
|
84 |
- 翻译纯文本
|
85 |
|
86 |
-
|
87 |
|
88 |
```bash
|
89 |
# 参数说明:
|
|
|
53 |
|
54 |
# 快速开始
|
55 |
|
56 |
+
## Docker部署
|
57 |
+
|
58 |
+
详见Github仓库的分支`dev_server`中的[README.docker.md](https://github.com/SakuraLLM/Sakura-13B-Galgame/blob/dev_server/README.docker.md)
|
59 |
+
|
60 |
+
## 本地部署
|
61 |
+
|
62 |
+
- 启动API服务
|
63 |
+
|
64 |
+
切换到`dev_server`分支,该分支提供了API接口(感谢[KurikoMoe](https://github.com/kurikomoe)),用以提供API服务,以接入其他程序。
|
65 |
+
|
66 |
+
```bash
|
67 |
+
# 参数说明:
|
68 |
+
# 模型相关
|
69 |
+
# --model_name_or_path:模型本地路径或者huggingface仓库id。
|
70 |
+
# --model_version:模型版本,本仓库README表格中即可查看。可选范围:['0.1', '0.4', '0.5', '0.7', '0.8']
|
71 |
+
# --use_gptq_model:如果模型为gptq量化模型,则需加此项;如是全量模型,则不需要添加。
|
72 |
+
# --trust_remote_code:是否允许执行外部命令(对于0.5,0.7,0.8版本模型需要加上这个参数,否则报错。
|
73 |
+
# --llama:如果你使用的模型是llama家族的模型(对于0.1,0.4版本),则需要加入此命令。
|
74 |
+
# API服务相关
|
75 |
+
# --listen:指定要监听的IP和端口,格式为<IP>:<Port>,如127.0.0.1:5000。默认为127.0.0.1:5000
|
76 |
+
# --auth:使用认证,访问API需要提供账户和密码。
|
77 |
+
# --no-auth:不使用认证,如果将API暴露在公网可能会降低安全性。
|
78 |
+
# --log:设置日志等级。
|
79 |
+
# 下面为一个使用v0.8-4bit模型,同时不使用认证,监听127.0.0.1:5000的命令示例。
|
80 |
+
# 这里模型默认从huggingface拉取,如果你已经将模型下载至本地,可以将--model_name_or_path参数的值指定为本地目录。
|
81 |
+
python server.py --model_name_or_path SakuraLLM/Sakura-13B-LNovel-v0_8-4bit --use_gptq_model --model_version 0.8 --trust_remote_code --no-auth
|
82 |
+
```
|
83 |
+
|
84 |
+
首先将[SakuraLLM/Sakura-13B-Galgame](https://github.com/SakuraLLM/Sakura-13B-Galgame)仓库拉取到本地。
|
85 |
|
86 |
- 翻译Epub文件
|
87 |
|
88 |
+
仓库提供了脚本`translate_epub.py`(感谢[CjangCjengh](https://github.com/CjangCjengh)),用于翻译Epub格式的小说。使用示例如下:
|
89 |
|
90 |
```bash
|
91 |
# 参数说明:
|
|
|
111 |
|
112 |
- 翻译纯文本
|
113 |
|
114 |
+
仓库提供了脚本`translate_novel.py`,用于翻译轻小说等纯文本格式,支持输出中日对照文本。使用示例如下:
|
115 |
|
116 |
```bash
|
117 |
# 参数说明:
|