Update app.py
Browse files
app.py
CHANGED
@@ -4,11 +4,11 @@ from volcengine.maas import MaasException, ChatRole
|
|
4 |
import json
|
5 |
import os
|
6 |
|
7 |
-
def maas_chat(input):
|
8 |
query = input.split('\n')
|
9 |
query = [item for item in query if item]
|
10 |
query = json.dumps(query, ensure_ascii=False)
|
11 |
-
maas = MaasService('maas-api.ml-platform-cn-beijing.volces.com', 'cn-beijing')
|
12 |
|
13 |
|
14 |
# 使用 os 模块来访问变量和秘密值
|
@@ -16,21 +16,23 @@ def maas_chat(input):
|
|
16 |
sk = os.getenv('SK')
|
17 |
maas.set_ak(ak)
|
18 |
maas.set_sk(sk)
|
19 |
-
|
|
|
|
|
20 |
# chat
|
21 |
req = {
|
22 |
"parameters": {
|
23 |
-
"max_new_tokens": 1000, # 输出文本的最大tokens限制
|
24 |
-
"min_new_tokens": 1, # 输出文本的最小tokens限制
|
25 |
-
"temperature": 0, # 用于控制生成文本的随机性和创造性,Temperature值越大随机性越大,取值范围0~1
|
26 |
-
"top_p": 0, # 用于控制输出tokens的多样性,TopP值越大输出的tokens类型越丰富,取值范围0~1
|
27 |
-
"top_k": 0, # 选择预测值最大的k个token进行采样,取值范围0-1000,0表示不生效
|
28 |
"max_prompt_tokens": 4096, # 最大输入 token 数,如果给出的 prompt 的 token 长度超过此限制,取最后 max_prompt_tokens 个 token 输入模型。
|
29 |
},
|
30 |
"messages": [
|
31 |
{
|
32 |
"role": ChatRole.SYSTEM,
|
33 |
-
"content":
|
34 |
}, {
|
35 |
"role": ChatRole.USER,
|
36 |
"content": query
|
@@ -39,21 +41,26 @@ def maas_chat(input):
|
|
39 |
}
|
40 |
|
41 |
ID = os.getenv('ID')
|
42 |
-
|
|
|
|
|
43 |
resp = maas.chat(endpoint_id, req)
|
44 |
output = resp.choices[0].message['content']
|
45 |
-
#去除output'符号
|
46 |
|
47 |
list = json.loads(output)
|
48 |
return '\n'.join(list)
|
49 |
|
50 |
|
|
|
|
|
51 |
demo = gr.Interface(
|
52 |
fn=maas_chat,
|
53 |
-
inputs=gr.Textbox(lines=6, placeholder="输入小说片段(JSON格式)"),
|
54 |
-
|
55 |
-
|
56 |
-
|
|
|
57 |
)
|
58 |
|
59 |
-
demo.launch(share=True)
|
|
|
4 |
import json
|
5 |
import os
|
6 |
|
7 |
+
def maas_chat(input, novel_type): # 添加小说类型参数
|
8 |
query = input.split('\n')
|
9 |
query = [item for item in query if item]
|
10 |
query = json.dumps(query, ensure_ascii=False)
|
11 |
+
maas = MaasService('maas-api.ml-platform-cn-beijing.volces.com', 'cn-beijing',connection_timeout=15)
|
12 |
|
13 |
|
14 |
# 使用 os 模块来访问变量和秘密值
|
|
|
16 |
sk = os.getenv('SK')
|
17 |
maas.set_ak(ak)
|
18 |
maas.set_sk(sk)
|
19 |
+
prompt = "我将提供一份小说片段并且是使用 JSON 数组进行格式化,JSON 数组内的每个对象的内容就是一个故事的场景,你根据我提供的场景原文生成用来 AI 绘画的提示词,注意提示词应该和小说片段具有强相关性,当小说内容没有场景时,结合 JSON 中其他内容输出提示词,并同样使用 JSON 输出并且数组大小和输入的数组大小一样,下面给出 JSON 格式化后的文字:"
|
20 |
+
if novel_type == "古文":
|
21 |
+
prompt = '我将提供一份古风小说片段并且是使用JSON数组进行格式化,JSON数组内的每个对象的内容就是一个小说内容的一个片段,你根据我提供的小说片段生成中国古代风格的AI绘画的提示词,注意提示词应该和小说片段具有强相关性,当小说内容没有场景时,结合JSON中其他内容输出提示词,并同样使用JSON输出并且数组大小和输入的数组大小一样,下面给出JSON格式化后的文字:';
|
22 |
# chat
|
23 |
req = {
|
24 |
"parameters": {
|
25 |
+
"max_new_tokens": 1000, # 输出文本的最大 tokens 限制
|
26 |
+
"min_new_tokens": 1, # 输出文本的最小 tokens 限制
|
27 |
+
"temperature": 0, # 用于控制生成文本的随机性和创造性,Temperature 值越大随机性越大,取值范围 0~1
|
28 |
+
"top_p": 0, # 用于控制输出 tokens 的多样性,TopP 值越大输出的 tokens 类型越丰富,取值范围 0~1
|
29 |
+
"top_k": 0, # 选择预测值最大的 k 个 token 进行采样,取值范围 0-1000,0 表示不生效
|
30 |
"max_prompt_tokens": 4096, # 最大输入 token 数,如果给出的 prompt 的 token 长度超过此限制,取最后 max_prompt_tokens 个 token 输入模型。
|
31 |
},
|
32 |
"messages": [
|
33 |
{
|
34 |
"role": ChatRole.SYSTEM,
|
35 |
+
"content": prompt
|
36 |
}, {
|
37 |
"role": ChatRole.USER,
|
38 |
"content": query
|
|
|
41 |
}
|
42 |
|
43 |
ID = os.getenv('ID')
|
44 |
+
GUID = os.getenv('GUID')
|
45 |
+
# endpoint_id = novel_types =='现代'?ID: GUID
|
46 |
+
endpoint_id = ID if novel_type == "现代" else GUID
|
47 |
resp = maas.chat(endpoint_id, req)
|
48 |
output = resp.choices[0].message['content']
|
49 |
+
#去除 output'符号
|
50 |
|
51 |
list = json.loads(output)
|
52 |
return '\n'.join(list)
|
53 |
|
54 |
|
55 |
+
novel_types = ["现代", "古文"] # 定义小说类型列表
|
56 |
+
|
57 |
demo = gr.Interface(
|
58 |
fn=maas_chat,
|
59 |
+
inputs=[gr.Textbox(lines=6, placeholder="输入小说片段(JSON 格式)"), gr.Dropdown(novel_types)], # 添加下拉输入框默认现代
|
60 |
+
|
61 |
+
outputs=gr.Textbox(lines=6, placeholder="输出提示词(JSON 格式)"),
|
62 |
+
title="小说片段转 AI 绘画提示词",
|
63 |
+
description="输入小说片段(JSON 格式),输出用来 AI 绘画的提示词(JSON 格式)。",
|
64 |
)
|
65 |
|
66 |
+
demo.launch(share=True)
|