Spaces:
Sleeping
Sleeping
| import pandas as pd | |
| from PIL import Image | |
| import streamlit as st | |
| from streamlit_drawable_canvas import st_canvas | |
| import numpy as np | |
| from keras.models import load_model | |
| from keras.preprocessing import image | |
| import keras.utils as image | |
| import cv2 | |
| from data import Getdetail | |
| st.title('JLPTN5 handwriting Kanji recognition.') | |
| labels = ['一', '七', '万', '三', '上', '下', '中', '九', '二', '五', '人', '今', '休', '何', '先', '入', '八', '六', '円', '出', '分', '前', '北', '十', '千', '午', '半', '南', '友', '右', '名', '四', '国', '土', '外', '大', '天', '女', '子', '学', '小', '山', '川', '左', '年', '後', '日', '明', '時', '書', '月', '木', '本', '来', '東', '校', '母', '毎', '気', '水', '火', '父', '生', '男', '白', '百', '聞', '行', '西', '見', '話', '語', '読', '車', '金', '長', '間', '雨', '電', '食', '高'] | |
| model = load_model("./vgg16_unfreeze3.h5") | |
| st.sidebar.title("NihonGO !") | |
| st.sidebar.caption("Handwriting kanji recognition system.") | |
| options = ("Sketchpad input", "Image input", "about JLPTN5", "about NihonGO !") | |
| choice = st.sidebar.selectbox("Select input options",options) | |
| st.sidebar.caption("Dev by : Tanaanan Chalermpan") | |
| st.sidebar.caption("Computer Science Kasetsart U. Thailand") | |
| def predict_img_sketch(img_path): | |
| st.write("Predicted result.") | |
| if img_path is not None: | |
| img = Image.fromarray(img_path) # use pillow to load a image | |
| img = img.convert('L') | |
| img = np.array(img) # convert img to an array | |
| ret, thresh1 = cv2.threshold(img, 110, 255, cv2.THRESH_BINARY) # Apply binary threshold | |
| thresh1 = cv2.cvtColor(thresh1, cv2.COLOR_GRAY2RGB) # Convert back to RGB | |
| img_array = cv2.resize(thresh1, (120, 120)) # Resize the image | |
| img_array = np.expand_dims(img_array, axis=0) | |
| preds = model.predict(img_array) | |
| return preds | |
| def image_display(img_path): | |
| st.write("Predicted image.") | |
| if img_path is not None: | |
| img = Image.open(img_path) | |
| img = img.resize((120,120)).convert('L') | |
| st.image(img, caption='Uploaded Image', use_column_width=True) | |
| def predict_img_input(img_path): | |
| st.write("Predicted result.") | |
| if img_path is not None: | |
| img = Image.open(img_path) # use pillow to load a image | |
| img = img.convert('L') | |
| img = np.array(img) # convert img to an array | |
| ret, thresh1 = cv2.threshold(img, 110, 255, cv2.THRESH_BINARY) # Apply binary threshold | |
| thresh1 = cv2.cvtColor(thresh1, cv2.COLOR_GRAY2RGB) # Convert back to RGB | |
| img_array = cv2.resize(thresh1, (120, 120)) # Resize the image | |
| img_array = np.expand_dims(img_array, axis=0) | |
| preds = model.predict(img_array) | |
| return preds | |
| if choice == "Sketchpad input": | |
| col1,col2 = st.columns(2) | |
| with col2: | |
| stroke_width = st.slider("Stroke width: ", 8, 25, 8) | |
| with col1: | |
| # ref : https://github.com/andfanilo/streamlit-drawable-canvas | |
| canvas_result = st_canvas( | |
| fill_color="rgba(255, 165, 0, 0.3)", # Fixed fill color with some opacity | |
| stroke_width=stroke_width, | |
| stroke_color="#000000", # stroke to black | |
| background_color="#FFFFFF", # background to write | |
| background_image= None, | |
| update_streamlit=False, | |
| height=300, | |
| width=300, | |
| drawing_mode="freedraw", | |
| point_display_radius=0, | |
| key="canvas", | |
| ) | |
| # Do something interesting with the image data and paths | |
| if canvas_result.image_data is not None: | |
| st.image(canvas_result.image_data, caption='display_show') | |
| with col2: | |
| # check if sketchinput is empty from len json_data | |
| is_empty = 0 | |
| if canvas_result.image_data is not None: # beware of slow loading | |
| is_empty = canvas_result.json_data["objects"] # need to convert obj to str because PyArrow | |
| if is_empty: | |
| # display prediction | |
| pred_raw = predict_img_sketch(canvas_result.image_data) | |
| if pred_raw is not None: | |
| pred_class, accuracy = labels[np.argmax(pred_raw)], np.max(pred_raw)*100 | |
| st.write(f"Class : {labels[np.argmax(pred_raw)]}") | |
| st.write(f"with probability : {accuracy:.2f} %") | |
| st.divider() | |
| strokes = Getdetail()[pred_class]['Strokes'] | |
| meaning = Getdetail()[pred_class]['Meaning'] | |
| onyoumi = Getdetail()[pred_class]['Onyoumi'] | |
| kunyomi = Getdetail()[pred_class]['Kunyoumi'] | |
| link_ref = Getdetail()[pred_class]['Reference'] | |
| st.write(f"Strokes : {strokes}") | |
| st.write(f"Meaning : {meaning.capitalize()}") | |
| st.write(f"Onyoumi : {onyoumi}") | |
| st.write(f"Kunyoumi : {kunyomi}") | |
| st.write(f"for more detail : [Shirabe jisho]({link_ref})") | |
| elif choice == "Image input": | |
| upload_img = st.file_uploader("Choose a kanji image", type=['.jpg', '.png', '.jpeg']) | |
| col1,col2 = st.columns(2) | |
| with col1: | |
| image_display(upload_img) | |
| with col2: | |
| # display prediction | |
| pred_raw = predict_img_input(upload_img) | |
| if pred_raw is not None: | |
| pred_class, accuracy = labels[np.argmax(pred_raw)], np.max(pred_raw)*100 | |
| st.write(f"Class : {labels[np.argmax(pred_raw)]}") | |
| st.write(f"with probability : {accuracy:.2f} %") | |
| st.write('---------------------------------------') | |
| strokes = Getdetail()[pred_class]['Strokes'] | |
| meaning = Getdetail()[pred_class]['Meaning'] | |
| onyoumi = Getdetail()[pred_class]['Onyoumi'] | |
| kunyomi = Getdetail()[pred_class]['Kunyoumi'] | |
| link_ref = Getdetail()[pred_class]['Reference'] | |
| st.write(f"Strokes : {strokes}") | |
| st.write(f"Meaning : {meaning.capitalize()}") | |
| st.write(f"Onyoumi : {onyoumi}") | |
| st.write(f"Kunyoumi : {kunyomi}") | |
| st.write(f"for more detail : [Shirabe jisho]({link_ref})") | |
| elif choice == "about JLPTN5": | |
| df = pd.read_csv('./passjapanesetest.com_N5_Kanji.csv', encoding='cp932') | |
| st.subheader("JLPT คืออะไร") | |
| detail_1 = '''ย่อมาจาก Japanese Language Proficiency Test การสอบวัดระดับภาษาญี่ปุ่น คือ การสอบที่จัดขึ้นเพื่อวัดความสามารถทางภาษาญี่ปุ่น ของชาวต่างชาติผู้เรียนภาษาญี่ปุ่น | |
| การสอบวัดระดับภาษาญี่ปุ่นครั้งแรก จัดขึ้นในปี ค.ศ. 1984 มีผู้สมัครสอบ 7,998 คน และมีผู้สมัครสอบเพิ่มขึ้นมากทุกปี สถิติในปี ค.ศ. 2019 มีผู้สมัครสอบถึง 1,362,167 คนทั่วโลก''' | |
| st.markdown(detail_1) | |
| st.markdown('''- โดยระดับ N5 ถือเป็นระดับที่ง่ายที่สุดในการสอบ แต่พาร์ทที่หินที่สุดส่วนหนึ่งก็คือ พาร์ท คันจิ N5 ***ผู้พัฒนาจึงสร้างระบบที่วิเคราะห์ตัวอักษรคันจิได้จากลายมือเขียน | |
| เพื่อที่จะเป็นตัวช่วยหนึ่งในการให้ผู้ใช้งานได้ใช้ในการฝึกฝนได้***''') | |
| st.caption("List of JLPTN5 Kanji") | |
| st.write(df) | |
| st.caption('ref : [jeducation](https://jeducation.com/main/education/jlpt/) , [passjapanesetest](http://www.passjapanesetest.com/jlpt-n5-kanji-list/)') | |
| elif choice == "about NihonGO !": | |
| st.subheader("NihonGO ! คืออะไร") | |
| detail_2 = """NihonGO ! : เป็นระบบที่ใช้ในการวิเคราะห์ตัวอักษรคันจิจากลายมือเขียนโดยอัติโนมัติ โดยใช้หลักการของ Deep learning (Convolutional Neural Network) ในการแยกแยะตัวอักษรคันจิ | |
| เพื่อใช้เป็นตัวช่วยในการฝึกฝนการเขียนคันจิ และเป็นตัวช่วยในการฝึกฝนในการเตรียมสอบวัดระดับ JLPT""" | |
| st.markdown(detail_2) | |
| st.caption("Development.") | |
| st.markdown("- JLPTN5 : ระบบสามารถแยกแยะคันจิจำนวน 80 ตัวพื้นฐานตามเนื้อหาคันจิจากการสอบวัดระดับ JLPTN5") | |
| st.image('total_kanji.png', caption='JLPTN5 Kanji detail') | |
| st.subheader("Feature") | |
| st.markdown(""" 1. บอกคันจิที่ระบบตรวจจับได้พร้อมกับค่าความเชื่อมั่น (probability score.) | |
| 2. จำนวนเส้น stroke ที่ใช้ในการเขียนคันจิ | |
| 3. เสียงอ่านแบบ Onyoumi กับ Kunyoumi พร้อมกับตัวอักษร Romanji | |
| 4. Link เนื้อหาเพิ่มเติมโดยระเอียดกับ website Shirabe jisho""") | |
| st.subheader("Guideline") | |
| st.markdown(""" - เพื่อความแม่นยำของระบบ ตอนนำข้อมูลรูปภาพเข้า หรือเขียนในระบบแนะนำให้ผู้ใช้งานเขียนตัวคันจิให้อยู่ตรงกลาง และมีขนาดที่ใหญ่พอดีกับขนาดของกรอบ""") | |
| st.caption("ref : [kanshudo](https://www.kanshudo.com/collections/jlpt_kanji)") | |