Update app.py

app.py

@@ -1,26 +1,29 @@
-import gradio as gr
-from transformers import pipeline
 import os
+import gradio as gr
+from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
+
+# CUDAを無効にする
+os.environ["CUDA_VISIBLE_DEVICES"] = ""
 
-# Hugging Faceのアクセストークンを環境変数から取得
-access_token = os.getenv("HUGGING_FACE_HUB_TOKEN")
+# 日本語モデルを指定
+model_name = "sakanaai/evolllm-jp"  # Sakana AIのモデル名を指定
 
-# SakanaAIのテキスト生成モデルの初期化
-text_generator = pipeline("text-generation", model="SakanaAI/your-model-name", use_auth_token=access_token)
+# トークナイザーとパイプラインの設定
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
+generator = pipeline('text-generation', model=model, tokenizer=tokenizer, device=-1)  # device=-1はCPUを使用する設定
 
-# GPUを使用する関数の定義
-def generate_text(prompt):
-    result = text_generator(prompt, max_length=50)[0]
-    return result['generated_text']
+def generate_text(prompt, max_length):
+    result = generator(prompt, max_length=max_length, num_return_sequences=1)
+    return result[0]['generated_text']
 
-# Gradioインターフェースの設定
 iface = gr.Interface(
     fn=generate_text,
-    inputs="text",
-    outputs="text",
-    title="SakanaAI テキスト生成",
-    description="プロンプトを入力して、テキストを生成します。"
+    inputs=[
+        gr.Textbox(label="プロンプト", placeholder="ここに日本語のプロンプトを入力してください"),
+        gr.Slider(minimum=10, maximum=200, value=50, step=1, label="最大長")
+    ],
+    outputs=gr.Textbox(label="生成されたテキスト")
 )
 
-if __name__ == "__main__":
-    iface.launch()
+iface.launch()