app.py

import os
import json
import base64
import re
import time
import datetime
from zoneinfo import ZoneInfo
from PIL import Image
from io import BytesIO
import shutil
import gradio as gr
from openai import (
    OpenAI, AuthenticationError, NotFoundError, BadRequestError
)


# GPT用設定
SYS_PROMPT_DEFAULT = "あなたは優秀なアシスタントです。回答は日本語でお願いします。"
DUMMY = "********************"
file_format = {".png", ".jpeg", ".jpg", ".webp", ".gif", ".PNG", ".JPEG", ".JPG", ".WEBP", ".GIF"}

# 各種出力フォルダ
IMG_FOLDER = "sample_data"   #"images"

# 各種メッセージ
PLACEHOLDER = ""
# IMG_MSG = "(画像ファイルを追加しました。リセットボタンの上に表示されています。)"
ANT_MSG = "（下部の[出力ファイル]にファイルを追加しました。）"

# 各種設定値
MAX_TRIAL = int(os.environ["MAX_TRIAL"])  # メッセージ取得最大試行数
INTER_SEC = int(os.environ["INTER_SEC"])   # 試行間隔（秒）
MAX_TOKENS = int(os.environ["MAX_TOKENS"])  # Vison最大トークン

# 正規表現用パターン
pt = r".*!\[(.*)\]\((.*)\)"

# サンプル用情報
examples = ["1980s anime girl with straight bob-cut in school uniform, roughly drawn drawing"
          , "a minimalisit logo for a sporting goods company"]


# 各関数定義
def set_state(openai_key, size, quality, detail, state):
    """ 設定タブの情報をセッションに保存する関数 """

    state["openai_key"] = openai_key
    state["size"] = size
    state["quality"] = quality
    state["detail"] = detail

    return state


def init(state, text, image):
    """ 入力チェックを行う関数 """
    """ ※ここで例外を起こすと入力できなくなるので次の関数でエラーにする """

    err_msg = ""

    print(state)

    # if state["openai_key"] == "" or state["openai_key"] is None:

    #     # OpenAI API Key未入力
    #     err_msg = "OpenAI API Keyを入力してください。（設定タブ）"

    if not text:

        # テキスト未入力
        err_msg = "テキストを入力して下さい。"

        return state, err_msg

    elif image:

        # 入力画像のファイル形式チェック
        root, ext = os.path.splitext(image)

        print(ext, file_format)

        if ext not in file_format:

            # ファイル形式チェック
            err_msg = "指定した形式のファイルをアップしてください。（注意事項タブに記載）"

            return state, err_msg

    try:

        if state["client"] is None:

            # 初回起動時は初期処理をする
            os.environ["OPENAI_API_KEY"] = os.environ["TEST_OPENAI_KEY"]   # テスト時
            # os.environ["OPENAI_API_KEY"] = state["openai_key"]

            # クライアント新規作成
            client = OpenAI()

            # client作成後は消す
            os.environ["OPENAI_API_KEY"] = ""

            # セッションにセット
            state["client"] = client

        else:

            # 既存のクライアントをセット
            client = state["client"]


        if state["thread_id"] == "":

            # スレッド作成
            thread = client.beta.threads.create()

            state["thread_id"] = thread.id


        if state["assistant_id"] == "":

            # アシスタント作成
            # assistant = client.beta.assistants.create(
            #   name="codeinter_test",
            #   instructions=state["system_prompt"],
            #   # model="gpt-4-1106-preview",
            #   model="gpt-3.5-turbo-1106",
            #   tools=[{"type": "code_interpreter"}]
            # )
            # state["assistant_id"] = assistant.id

            state["assistant_id"] = os.environ["ASSIST_ID"]   # テスト中アシスタントは固定

        else:

            # アシスタント確認（IDが存在しないならエラーとなる）
            assistant = client.beta.assistants.retrieve(state["assistant_id"])

    except NotFoundError as e:
        err_msg = "アシスタントIDが間違っています。新しく作成する場合はアシスタントIDを空欄にして下さい。"
    except AuthenticationError as e:
        err_msg = "認証エラーとなりました。OpenAPIKeyが正しいか、支払い方法などが設定されているか確認して下さい。"
    except Exception as e:
        err_msg = "その他のエラーが発生しました。"
        print(e)
    finally:
        return state, err_msg


def raise_exception(err_msg):
    """ エラーの場合例外を起こす関数 """

    if err_msg != "":
        raise Exception("これは入力チェックでの例外です。")

    return


def add_history(history, text, image):
    """ Chat履歴"history"に追加を行う関数 """

    err_msg = ""

    if image is None or image == "":

        # テキストだけの場合そのまま追加
        history = history + [(text, None)]

    elif image is not None:

        # 画像があれば画像とテキストを追加
        history = history + [((image,), DUMMY)]
        history = history + [(text, None)]

    # テキストは利用不可・初期化し、画像は利用不可に
    update_text = gr.update(value="", placeholder = "",interactive=False)
    update_file = gr.update(interactive=False)

    return history, update_text, update_file, err_msg


def bot(state, history, image_path):

    err_msg = ""
    out_image_path = None
    image_preview = False

    ant_file = None

    # セッション情報取得
    client = state["client"]
    assistant_id = state["assistant_id"]
    thread_id = state["thread_id"]
    last_msg_id = state["last_msg_id"]
    history_outputs = state["tool_outputs"]

    # メッセージ設定
    message = client.beta.threads.messages.create(
    thread_id=thread_id,
    role="user",
    content=history[-1][0],
    )

    # RUNスタート
    run = client.beta.threads.runs.create(
      thread_id=thread_id,
      assistant_id=assistant_id,
      # instructions=system_prompt
    )

    # "completed"となるまで繰り返す（指定秒おき）
    for i in range(0, MAX_TRIAL, 1):

        if i > 0:
          time.sleep(INTER_SEC)

        # 変数初期化
        tool_outputs = []

        # メッセージ受け取り
        run = client.beta.threads.runs.retrieve(
          thread_id=thread_id,
          run_id=run.id
        )

        print(run.status)

        if run.status == "requires_action":   # 関数の結果の待ちの場合

            print(run.required_action)

            # tool_callsの各項目取得
            tool_calls = run.required_action.submit_tool_outputs.tool_calls

            print(len(tool_calls))
            print(tool_calls)

            # 一つ目だけ取得
            tool_id = tool_calls[0].id
            func_name = tool_calls[0].function.name
            func_args = json.loads(tool_calls[0].function.arguments)

            if func_name == "request_DallE3":

                # ファイル名は現在時刻に
                dt = datetime.datetime.now(ZoneInfo("Asia/Tokyo"))
                image_name = dt.strftime("%Y%m%d%H%M%S") + ".png"

                # ファイルパスは手動設定（誤りがないように）
                out_image_path = IMG_FOLDER + "/" + image_name

                # dall-e3のとき"image_path"は出力ファイルパス
                func_args["image_path"] = out_image_path

            elif func_name == "request_Vision":

                if image_path is None:

                    # 画像がない場合エラーとなるようにする
                    func_args["image_path"] = ""

                else:

                    # ファイルパスは手動設定
                    func_args["image_path"] = image_path

            else:

                # 関数名がないなら次へ
                continue

            # 関数を実行
            func_output = func_action(state, func_name, func_args)

            print(func_output)

            # tool_outputリストに追加
            tool_outputs.append({"tool_call_id": tool_id, "output": func_output})

            # 複数の関数が必要な場合
            if len(tool_calls) > 1:

                # for i in range(len(tool_calls) - 1):
                for i, tool_call in enumerate(tool_calls):

                    if i > 0:
                        # print(history_outputs[-(i+1)])
                        # # 最新のものからセット
                        # tool_outputs.append({"tool_call_id": history_outputs[-(i+1)]["tool_call_id"], "output": history_outputs[-(i+1)]["output"]})

                        # ダミー をセットする
                        tool_outputs.append({"tool_call_id": tool_calls.id, "output": {"answer" : ""}})

            print(tool_outputs)

            # 関数の出力を提出
            run = client.beta.threads.runs.submit_tool_outputs(
                thread_id=thread_id,
                run_id=run.id,
                tool_outputs=tool_outputs
            )

            if func_name == "request_DallE3":

                  # 画像の表示をする
                  image_preview = True

            # セッション更新
            history_outputs += tool_outputs
            state["tool_outputs"] = history_outputs

        else:

            # 前回のメッセージより後を昇順で取り出す
            messages = client.beta.threads.messages.list(
              thread_id=thread_id,
              after=last_msg_id,
              order="asc"
            )

            print(messages)

            # messageを取り出す
            for msg in messages:

                if msg.role == "assistant":

                    for content in msg.content:

                        res_text = ""
                        file_id = ""

                        cont_dict = content.model_dump()  # 辞書型に変換

                        # 返答テキスト取得
                        res_text = cont_dict["text"].get("value")

                        if res_text != "":

                            # テキストを変換（"sandbox:"などを」消す）
                            result = re.search(pt, res_text)

                            if result:

                                # パターン一致の場合はプロンプトだけ抜き出す
                                res_text = result.group(1)

                            # Chat画面更新
                            if history[-1][1] is not None:

                                # 新しい行を追加
                                history = history + [[None, res_text]]

                            else:

                                history[-1][1] = res_text

                            if image_preview:

                                print(out_image_path)

                                # Functionで画像を取得していた場合表示
                                history = history + [(None, (out_image_path,))]

                                image_preview = False

                            # 最終メッセージID更新
                            last_msg_id = msg.id

                    # Chatbotを返す（labelとhistoryを更新）
                    yield gr.Chatbot(label=run.status ,value=history), out_image_path, ant_file, err_msg

            # セッションのメッセージID更新
            state["last_msg_id"] = last_msg_id

            # 完了なら終了
            if run.status == "completed":

                yield gr.Chatbot(label=run.status ,value=history), out_image_path, ant_file, err_msg
                break


            elif run.status == "failed":

                # エラーとして終了
                err_msg = "※メッセージ取得に失敗しました。"
                yield gr.Chatbot(label=run.status ,value=history), out_image_path, ant_file, err_msg
                break

            elif i == MAX_TRIAL:

                # エラーとして終了
                err_msg = "※メッセージ取得の際にタイムアウトしました。"
                yield gr.Chatbot(label=run.status ,value=history), out_image_path, ant_file, err_msg
                break

            else:
                if i > 3:

                    # 作業中とわかるようにする
                    yield gr.Chatbot(label=run.status + " (Request:" + str(i) + ")" ,value=history), out_image_path, ant_file, err_msg


def func_action(state, func_name, func_args):

    # セッションから情報取得
    client = state["client"]
    size = state["size"]
    quality = state["quality"]
    detail = state["detail"]

    print("name:", func_name)
    print("arguments:", func_args)

    if func_name == "request_DallE3":

        func_output = request_DallE3(
            client,
            func_args["prompt"],
            size,
            quality,
            func_args["image_path"]   # 出力パス
        )

    elif func_name == "request_Vision":

        func_output = request_Vision(
            client,
            func_args["prompt"],
            func_args["image_path"],
            detail,
            MAX_TOKENS
        )

    return func_output

def finally_proc():
    """ 最終処理用関数 """

    # テキストを使えるように
    new_text = gr.update(interactive = True)

    # 画像はリセット
    new_image = gr.update(value=None, interactive = True)

    return new_text, new_image


def clear_click(state):
    """ クリアボタンクリック時 """

    # セッションの一部をリセット
    state["thread_id"] = ""
    state["last_msg_id"] = ""
    state["tool_outputs"] = []

    # 順番的にgr.ClearButtonで消せないImageなども初期化
    return state, None, None

def make_archive():

    shutil.make_archive("output_image", format='zip', root_dir=IMG_FOLDER)

    return "output_image.zip", "下部の出力ファイルからダウンロードして下さい。"

def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

def make_prompt(prompt):

    return "次のプロンプトで画像を作ってください「" + prompt + "」。"

# 画面構成
with gr.Blocks() as demo:

    title = "<h2>GPT画像入出力対応チャット</h2>"
    message = "<h3>・DallE3の画像生成とGPT-4 with Visionの画像解析が利用できます。<br>"
    message += "・DallE3を利用する場合はプロンプト、GPT-4 Visionを利用する場合は画像とプロンプトを入力して下さい。<br>"
    # message += "・テスト中でAPIKEY無しで動きます。<br>"
    # message += "※現在画像から画像を作るimg2imgはできません。<br>"
    # message += "・動画での紹介はこちら→https://www.youtube.com/watch?v=<br></h3>"
    message += "</h3>"

    gr.Markdown(title + message)

    # セッションの宣言
    state = gr.State({
        # "system_prompt": SYS_PROMPT_DEFAULT,
        "openai_key" : "",
        "size" : "1024x1024",
        "quality" : "standard",
        "detail" : "low",
        "client" : None,
        "assistant_id" : "",
        "thread_id" : "",
        "last_msg_id" : "",
        "tool_outputs" : []
    })

    with gr.Tab("Chat画面") as chat:

      # 各コンポーネント定義
      chatbot = gr.Chatbot(label="チャット画面")
      text_msg = gr.Textbox(label="プロンプト", placeholder = PLACEHOLDER)
      text_dummy = gr.Textbox(visible=False)
      gr.Examples(label="サンプルプロンプト", examples=examples, inputs=text_dummy, outputs=text_msg, fn=make_prompt,  cache_examples=True)

      with gr.Row():
        image = gr.Image(label="ファイルアップロード", type="filepath",interactive = True)
        out_image = gr.Image(label="出力画像", type="filepath", interactive = False)
      with gr.Row():
        btn = gr.Button(value="送信")
        btn_dl = gr.Button(value="画像の一括ダウンロード")  # 保留中
        btn_clear = gr.ClearButton(value="リセット", components=[chatbot, text_msg])

      sys_msg = gr.Textbox(label="システムメッセージ", interactive = False)
      # out_text = gr.Textbox(label="出力テキスト", lines = 5, interactive = False)
      out_file = gr.File(label="出力ファイル", type="filepath",interactive = False)

      # 送信ボタンクリック時の処理
      bc = btn.click(init, [state, text_msg, image], [state, sys_msg], queue=False).success(
          raise_exception, sys_msg, None).success(
          add_history, [chatbot, text_msg, image], [chatbot, text_msg, image, sys_msg], queue=False).success(
          bot, [state, chatbot, image],[chatbot, out_image, out_file, sys_msg]).then(
          finally_proc, None, [text_msg, image], queue=False
      )
      btn_dl.click(make_archive, None, [out_file, sys_msg])
      # クリア時でもセッションの一部は残す（OpenAIKeyなど）
      btn_clear.click(clear_click, state, [state, image ,out_image])

      # テキスト入力Enter時の処理
      # txt_msg = text_msg.submit(respond, inputs=[text_msg, image, chatbot], outputs=[text_msg, image, chatbot])

    with gr.Tab("設定") as set:

      gr.Markdown("<h4>OpenAI設定</h4>")
      with gr.Row():
        openai_key = gr.Textbox(label="OpenAI API Key", visible=True)   # テスト中は表示せず
      # system_prompt = gr.Textbox(value = SYS_PROMPT_DEFAULT,lines = 5, label="Custom instructions", interactive = True)
      gr.Markdown("<h4>DaLL-E3用設定</h4>")
      with gr.Row():
        size = gr.Dropdown(label="サイズ", choices=["1024x1024"], value = "1024x1024", interactive = True)
        quality = gr.Dropdown(label="クオリティ", choices=["standard"], value = "standard", interactive = True)
      gr.Markdown("<h4>Vison用設定</h4>")
      with gr.Row():
        detail = gr.Dropdown(label="コード出力", choices=["low", "high" , "auto"], value = "low", interactive = True)

      # 設定タブからChatタブに戻った時の処理
      chat.select(set_state, [openai_key, size, quality, detail, state], state)

    with gr.Tab("注意事項") as notes:
            caution = "現在Assistant APIはβ版でのリリースとなっています。<br>"
            caution += "そのためか一部のファイルのアップロードが上手くいかないため、制限をかけています。<br>"
            caution += "（現在アップできるファイル形式は.txtと.csvのみ）<br>"
            caution += "本来はPDFなども利用できるはずなので、今後更新したいと思います。また日本語文字化けも調査中です。"

            gr.Markdown("<h3>" + caution + "</h3>")


demo.queue()
demo.launch(debug=True)


def request_DallE3(client, prompt, size, quality, out_image_path):

    err_msg = ""

    try:

        response = client.images.generate(
        model="dall-e-3",
        prompt=prompt,
        size=size,
        quality=quality,
        n=1,
        response_format="b64_json"
        )

        print(response.data[0])

        # データを受け取りデコード
        image_data_json = response.data[0].b64_json
        image_data = base64.b64decode(image_data_json)

        # 画像として扱えるように保存
        image_stream = BytesIO(image_data)
        image = Image.open(image_stream)
        image.save(out_image_path)

    except BadRequestError as e:
        print(e)
        out_image_path = ""
        err_msg = "リクエストエラーです。著作権侵害などプロンプトを確認して下さい。"
    except Exception as e:
        print(e)
        out_image_path = ""
        err_msg = "その他のエラーが発生しました。"

    finally:

        # 結果をJSONで返す
        dalle3_result = {
            "image_path" : out_image_path,
            "error_message" : err_msg
        }
        return json.dumps(dalle3_result)


def request_Vision(client, prompt, image_path, detail, max_tokens):

    response_text = ""
    err_msg = ""

    if image_path == "":

        # 画像がない時はエラーとして返す
        vision_result = {"answer" : "", "error_message" : "画像をセットして下さい。"}
        return json.dumps(vision_result)

    try:

        # 画像をbase64に変換
        image = encode_image(image_path)

        # メッセージの作成
        messages = [
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": prompt},
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": f"data:image/jpeg;base64,{image}",
                            "detail": detail,
                        }
                    },
                ],
            }
        ]

        # gpt-4-visionに問い合わせて回答を表示
        response = client.chat.completions.create(
            model="gpt-4-vision-preview",   # Visionはこのモデル指定
            messages=messages,
            max_tokens=max_tokens,
        )

        response_text = response.choices[0].message.content

        print(response_text)

    except BadRequestError as e:
        print(e)
        err_msg = "リクエストエラーです。画像がポリシー違反でないか確認して下さい。"
    except Exception as e:
        print(e)
        err_msg = "その他のエラーが発生しました。"

    finally:

        # 結果をJSONで返す
        vision_result = {
            "answer" : response_text,
            "error_message" : err_msg
        }
        return json.dumps(vision_result)