import pandas as pd
from PIL import Image
import streamlit as st
from streamlit_drawable_canvas import st_canvas
import numpy as np
from keras.models import load_model
from keras.preprocessing import image
import keras.utils as image
import cv2
from data import Getdetail
st.title('JLPTN5 handwriting Kanji recognition.')
labels = ['一', '七', '万', '三', '上', '下', '中', '九', '二', '五', '人', '今', '休', '何', '先', '入', '八', '六', '円', '出', '分', '前', '北', '十', '千', '午', '半', '南', '友', '右', '名', '四', '国', '土', '外', '大', '天', '女', '子', '学', '小', '山', '川', '左', '年', '後', '日', '明', '時', '書', '月', '木', '本', '来', '東', '校', '母', '毎', '気', '水', '火', '父', '生', '男', '白', '百', '聞', '行', '西', '見', '話', '語', '読', '車', '金', '長', '間', '雨', '電', '食', '高']
model = load_model("./Lenet5_Dropout2.h5")
st.sidebar.title("NihonGO !")
st.sidebar.caption("Handwriting kanji recognition system.")
options = ("Sketchpad input", "Image input", "about JLPTN5", "about NihonGO !")
choice = st.sidebar.selectbox("Select input options",options)
st.sidebar.caption("Dev by : Tanaanan Chalermpan")
st.sidebar.caption("Computer Science Kasetsart U. Thailand")
def predict_img_sketch(img_path):
st.write("Predicted result.")
if img_path is not None:
img = Image.fromarray(img_path) # use pillow to load a image
img = img.convert('L')
img = np.array(img) # convert img to an array
ret, thresh1 = cv2.threshold(img, 110, 255, cv2.THRESH_BINARY) # Apply binary threshold
thresh1 = cv2.cvtColor(thresh1, cv2.COLOR_GRAY2RGB) # Convert back to RGB
img_array = cv2.resize(thresh1, (120, 120)) # Resize the image
img_array = np.expand_dims(img_array, axis=0)
preds = model.predict(img_array)
return preds
def image_display(img_path):
st.write("Predicted image.")
if img_path is not None:
img = Image.open(img_path)
img = img.resize((120,120)).convert('L')
st.image(img, caption='Uploaded Image', use_column_width=True)
def predict_img_input(img_path):
st.write("Predicted result.")
if img_path is not None:
img = Image.open(img_path) # use pillow to load a image
img = img.convert('L')
img = np.array(img) # convert img to an array
ret, thresh1 = cv2.threshold(img, 110, 255, cv2.THRESH_BINARY) # Apply binary threshold
thresh1 = cv2.cvtColor(thresh1, cv2.COLOR_GRAY2RGB) # Convert back to RGB
img_array = cv2.resize(thresh1, (120, 120)) # Resize the image
img_array = np.expand_dims(img_array, axis=0)
preds = model.predict(img_array)
return preds
if choice == "Sketchpad input":
col1,col2 = st.columns(2)
with col2:
stroke_width = st.slider("Stroke width: ", 8, 25, 8)
with col1:
# ref : https://github.com/andfanilo/streamlit-drawable-canvas
canvas_result = st_canvas(
fill_color="rgba(255, 165, 0, 0.3)", # Fixed fill color with some opacity
stroke_width=stroke_width,
stroke_color="#000000", # stroke to black
background_color="#FFFFFF", # background to write
background_image= None,
update_streamlit=False,
height=300,
width=300,
drawing_mode="freedraw",
point_display_radius=0,
key="canvas",
)
# Do something interesting with the image data and paths
if canvas_result.image_data is not None:
st.image(canvas_result.image_data, caption='display_show')
with col2:
# check if sketchinput is empty from len json_data
is_empty = 0
if canvas_result.image_data is not None: # beware of slow loading
is_empty = canvas_result.json_data["objects"] # need to convert obj to str because PyArrow
if is_empty:
# display prediction
pred_raw = predict_img_sketch(canvas_result.image_data)
if pred_raw is not None:
pred_class, accuracy = labels[np.argmax(pred_raw)], np.max(pred_raw)*100
st.write(f"Class : {labels[np.argmax(pred_raw)]}")
st.write(f"with probability : {accuracy:.2f} %")
st.divider()
strokes = Getdetail()[pred_class]['Strokes']
meaning = Getdetail()[pred_class]['Meaning']
onyoumi = Getdetail()[pred_class]['Onyoumi']
kunyomi = Getdetail()[pred_class]['Kunyoumi']
link_ref = Getdetail()[pred_class]['Reference']
st.write(f"Strokes : {strokes}")
st.write(f"Meaning : {meaning.capitalize()}")
st.write(f"Onyoumi : {onyoumi}")
st.write(f"Kunyoumi : {kunyomi}")
st.write(f"for more detail : [Shirabe jisho]({link_ref})")
elif choice == "Image input":
upload_img = st.file_uploader("Choose a kanji image", type=['.jpg', '.png', '.jpeg'])
col1,col2 = st.columns(2)
with col1:
image_display(upload_img)
with col2:
# display prediction
pred_raw = predict_img_input(upload_img)
if pred_raw is not None:
pred_class, accuracy = labels[np.argmax(pred_raw)], np.max(pred_raw)*100
st.write(f"Class : {labels[np.argmax(pred_raw)]}")
st.write(f"with probability : {accuracy:.2f} %")
st.write('---------------------------------------')
strokes = Getdetail()[pred_class]['Strokes']
meaning = Getdetail()[pred_class]['Meaning']
onyoumi = Getdetail()[pred_class]['Onyoumi']
kunyomi = Getdetail()[pred_class]['Kunyoumi']
link_ref = Getdetail()[pred_class]['Reference']
st.write(f"Strokes : {strokes}")
st.write(f"Meaning : {meaning.capitalize()}")
st.write(f"Onyoumi : {onyoumi}")
st.write(f"Kunyoumi : {kunyomi}")
st.write(f"for more detail : [Shirabe jisho]({link_ref})")
elif choice == "about JLPTN5":
df = pd.read_csv('./passjapanesetest.com_N5_Kanji.csv', encoding='cp932')
st.subheader("JLPT คืออะไร")
detail_1 = '''ย่อมาจาก Japanese Language Proficiency Test การสอบวัดระดับภาษาญี่ปุ่น คือ การสอบที่จัดขึ้นเพื่อวัดความสามารถทางภาษาญี่ปุ่น ของชาวต่างชาติผู้เรียนภาษาญี่ปุ่น
การสอบวัดระดับภาษาญี่ปุ่นครั้งแรก จัดขึ้นในปี ค.ศ. 1984 มีผู้สมัครสอบ 7,998 คน และมีผู้สมัครสอบเพิ่มขึ้นมากทุกปี สถิติในปี ค.ศ. 2019 มีผู้สมัครสอบถึง 1,362,167 คนทั่วโลก'''
st.markdown(detail_1)
st.markdown('''- โดยระดับ N5 ถือเป็นระดับที่ง่ายที่สุดในการสอบ แต่พาร์ทที่หินที่สุดส่วนหนึ่งก็คือ พาร์ท คันจิ N5 ***ผู้พัฒนาจึงสร้างระบบที่วิเคราะห์ตัวอักษรคันจิได้จากลายมือเขียน
เพื่อที่จะเป็นตัวช่วยหนึ่งในการให้ผู้ใช้งานได้ใช้ในการฝึกฝนได้***''')
st.caption("List of JLPTN5 Kanji")
st.write(df)
st.caption('ref : [jeducation](https://jeducation.com/main/education/jlpt/) , [passjapanesetest](http://www.passjapanesetest.com/jlpt-n5-kanji-list/)')
elif choice == "about NihonGO !":
st.subheader("NihonGO ! คืออะไร")
detail_2 = """NihonGO ! : เป็นระบบที่ใช้ในการวิเคราะห์ตัวอักษรคันจิจากลายมือเขียนโดยอัติโนมัติ โดยใช้หลักการของ Deep learning (Convolutional Neural Network) ในการแยกแยะตัวอักษรคันจิ
เพื่อใช้เป็นตัวช่วยในการฝึกฝนการเขียนคันจิ และเป็นตัวช่วยในการฝึกฝนในการเตรียมสอบวัดระดับ JLPT"""
st.markdown(detail_2)
st.caption("Development.")
st.markdown("- JLPTN5 : ระบบสามารถแยกแยะคันจิจำนวน 80 ตัวพื้นฐานตามเนื้อหาคันจิจากการสอบวัดระดับ JLPTN5")
st.image('total_kanji.png', caption='JLPTN5 Kanji detail')
st.subheader("Feature")
st.markdown(""" 1. บอกคันจิที่ระบบตรวจจับได้พร้อมกับค่าความเชื่อมั่น (probability score.)
2. จำนวนเส้น stroke ที่ใช้ในการเขียนคันจิ
3. เสียงอ่านแบบ Onyoumi กับ Kunyoumi พร้อมกับตัวอักษร Romanji
4. Link เนื้อหาเพิ่มเติมโดยระเอียดกับ website Shirabe jisho""")
st.subheader("Guideline")
st.markdown(""" - เพื่อความแม่นยำของระบบ ตอนนำข้อมูลรูปภาพเข้า หรือเขียนในระบบแนะนำให้ผู้ใช้งานเขียนตัวคันจิให้อยู่ตรงกลาง และมีขนาดที่ใหญ่พอดีกับขนาดของกรอบ""")
st.caption("ref : [kanshudo](https://www.kanshudo.com/collections/jlpt_kanji)")