Initial commit

app.py

@@ -0,0 +1,57 @@
+import clip
+import gradio as gr
+import numpy as np
+import simple_chalk as chalk
+import torch
+from googletrans import Translator
+from PIL import Image
+
+TOP_N = 5
+
+
+def match_texts(in_img: Image) -> list:
+
+    """モデル準備"""
+    device = "cuda" if torch.cuda.is_available() else "cpu"
+    model, preprocess = clip.load("ViT-B/32", device=device)
+
+    """ テキスト前処理 """
+    translator = Translator()
+    trans_dict = {}
+    with open("./sentences_ja.txt") as f:
+        for ja_sentence in f:
+            en_sentence = translator.translate(ja_sentence, dest="en", src="ja").text
+            trans_dict[en_sentence] = ja_sentence
+    en_sentences = list(trans_dict.keys())
+    texts = clip.tokenize(en_sentences).to(device)
+
+    """ 画像前処理 """
+    # image: Tensor (3, 224, 224) -> (1, 3, 224, 224)
+    image = preprocess(in_img).unsqueeze(0).to(device)
+
+    """ CLIP モデルで処理 """
+    with torch.no_grad():
+        logits_per_image, logits_per_text = model(image, texts)
+        probs = logits_per_image.softmax(dim=-1).cpu().numpy()
+    probs_per_image = probs.reshape(-1)
+    sort_index = np.argsort(probs_per_image)[::-1]
+
+    """ 処理結果（テキスト）出力 """
+    idxs = sort_index.tolist()
+    # 英語出力
+    # confidences = {en_sentences[i]: float(probs_per_image[i]) for i in idxs}
+    # 日本語変換出力
+    confidences = {trans_dict[en_sentences[i]]: float(probs_per_image[i]) for i in idxs}
+    return confidences
+
+
+if __name__ == "__main__":
+    inputs = gr.Image(type="pil", label="画像を入力")
+    outputs = gr.Label(num_top_classes=TOP_N, label=f"一致したテキスト Top-{TOP_N}")
+    gr.Interface(
+        fn=match_texts,
+        inputs=inputs,
+        outputs=outputs,
+        examples=["examples-01.jpg", "examples-02.jpg", "examples-03.jpg"],
+        allow_flagging="never",
+    ).launch(share=False)

requirements.txt

@@ -0,0 +1,7 @@
+clip-by-openai==1.1.0
+googletrans==4.0.0rc1
+gradio==3.0.13
+numpy==1.22.3
+pillow==9.1.0
+simple-chalk==0.1.0
+torch

sentences_ja.txt

@@ -0,0 +1,50 @@
+悩んでいる
+電話をかけている
+話しながら笑っている
+怒っている
+資料を読んでいる
+接客している
+問い合わせ対応している
+語りかけている
+契約書を説明している
+商品を勧めている
+パーティーへ招待している
+後ろから声をかけている
+お客様にあいさつしている
+笑顔で微笑んでいる
+涙を流している
+悲しんでいる
+大声を出して笑っている
+取引の手続きを行なっている
+手続きについてご案内している
+道を聞かれている
+パソコンでデータを入力している
+カメラで撮影している
+杖をついて歩いている
+車を運転している
+自転車に乗っている
+メガネをかけている
+サングラスをかけている
+音楽を聞いている
+汗を流して走っている
+辺りを見回している
+腕を上げている
+画面を覗き込んでいる
+イスに座っている
+肩に手を回している
+握手している
+目をつぶっている
+腕を組んで考え込んでいる
+頭を抱えている
+腕立て伏せをしている
+腕を回している
+文章を書いている
+書類を作成している
+仕事に追われている
+お詫びをしている
+頭を下げている
+嬉しそうに笑っている
+何かを探している
+機械を操作している
+手を振っている
+結果を見て落ち込んでいる