Update app.py

app.py

@@ -1,14 +1,19 @@
-# Adapted from https://github.com/THUDM/ChatGLM-6B/blob/main/web_demo.py
+import os
+import argparse
+from pathlib import Path
+
+import chatglm_cpp
+import gradio as gr
 
 init_history = [
-    '你讀過《故事課》嗎？',
-    '''作為一個 AI 模型，我沒有「讀」過任何書籍，但我對《故事課》這本書有一定的了解。《故事課》是一本關於故事創作和 storytelling 的書籍，作者是美国作家 John D. Walsh。
+    chatglm_cpp.ChatMessage(role="user", content='你讀過《故事課》嗎？'),
+    chatglm_cpp.ChatMessage(role="assistant", content='''作為一個 AI 模型，我沒有「讀」過任何書籍，但我對《故事課》這本書有一定的了解。《故事課》是一本關於故事創作和 storytelling 的書籍，作者是美国作家 John D. Walsh。
 
 這本書提供了一些有用的建議和技巧，幫助讀者如何創作出引人入勝的故事。它涵蓋了故事創作的各個方面，包括故事結構、角色塑造、情節設計和語言表達等。此外，這本書還提供了一些實用的例子和案例分析，讓讀者可以更好地理解故事創作的過程和技巧。
 
-總的來說，《故事課》是一本對故事創作很有幫助的書籍，尤其對於那些想寫故事或想提高自己故事創作能力的人來說，這本書會是一本很有價值的參考資料。''',
-    '《故事課》提到哪些故事公式？',
-    '''《故事課》這本書提到了一些故事公式或故事結構，這些結構可以幫助創作故事。以下是其中一些常見的故事公式：
+總的來說，《故事課》是一本對故事創作很有幫助的書籍，尤其對於那些想寫故事或想提高自己故事創作能力的人來說，這本書會是一本很有價值的參考資料。'''),
+    chatglm_cpp.ChatMessage(role="user", content='《故事課》提到哪些故事公式？'),
+    chatglm_cpp.ChatMessage(role="assistant", content='''《故事課》這本書提到了一些故事公式或故事結構，這些結構可以幫助創作故事。以下是其中一些常見的故事公式：
 
 1. 起承轉合：這是最基礎的故事結構，也稱為三幕結構。故事開始，然後有了一個轉折，接著是高潮，最後有了一個結局。
 2. 英雄之旅：這是一個很常見的故事結構，也被稱為綠傳或 gray area。它描述了一個英雄從平凡無奇的生活中開始，經歷了一系列挑戰和冒險，最終達成目標的故事。
@@ -16,15 +21,16 @@ init_history = [
 4. 反轉结局：這是一個比較特別的结局，它通常在故事的最後出現，並且會對讀者產生一種意外的冲击和影響。
 5. 寓言故事：這是一種用故事來說明一個道理或概念的故事，通常包含一個寓意或象徵性的元素。
 
-這些故事公式只是故事創作中的一部分，不同的故事可能会有不同的結構和情節，但這些公式可以作為一個起點，幫助你開始創作出一個引人入勝的故事。''',
-]
+這些故事公式只是故事創作中的一部分，不同的故事可能会有不同的結構和情節，但這些公式可以作為一個起點，幫助你開始創作出一個引人入勝的故事。'''),
+    chatglm_cpp.ChatMessage(role="user", content='''請為『發生在香港的現代版本《聖誕頌歌》電影，背景從西方的聖誕節換成中式的團年飯。
 
-import os
-import argparse
-from pathlib import Path
+原版《聖誕頌歌》講述了一位名叫厄尼斯特·斯克魯奇（Ebenezer Scrooge）的富有商人的故事。
+斯克魯奇是一個極度吝嗇和自私的人，在三個幽靈的拜訪下，斯克魯奇被帶回他的童年和青少年時期，看到了他曾經擁有的喜悅和幸福，也看到了他的貪婪和自私對他人造成的傷害。
+他還看到了自己的墳墓，意識到他的小氣將使他成為一個被遺忘和不受人愛戴的人。
+這些經歷改變了斯克魯奇的心態。最終，斯克魯奇成為一個讓人尊敬和受人愛戴的人，並體會到了聖誕節的真正意義。
 
-import chatglm_cpp
-import gradio as gr
+』提議五個適合的公式。'''),
+]
 
 os.system("wget https://huggingface.co/npc0/chatglm3-6b-int4/resolve/main/chatglm3-ggml-q4_0.bin")
 
@@ -60,7 +66,7 @@ def predict(input, max_length, top_p, temperature, history):
     else:
         input = '請為『%s』選取5個公式' %input
     response = ""
-    history.append(input)
+    history.append(chatglm_cpp.ChatMessage(role="user", content=input))
 
     generation_kwargs = dict(
         max_length=max_length,
@@ -79,12 +85,12 @@ def predict(input, max_length, top_p, temperature, history):
         else pipeline.generate(input, **generation_kwargs)
     )
     for response_piece in generator:
-        response += response_piece
+        response += response_piece.content
 
         yield postprocess(response), history
 
     history.append(response)
-    yield response, history
+    yield response.content, history
 
 
 def reset_user_input():