Add ONNX and ORT models with quantization

.gitattributes

@@ -33,3 +33,7 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+ort_models/model.ort filter=lfs diff=lfs merge=lfs -text
+ort_models/model_fp16.ort filter=lfs diff=lfs merge=lfs -text
+ort_models/model_int8.ort filter=lfs diff=lfs merge=lfs -text
+ort_models/model_uint8.ort filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,85 @@
+---
+license: mit
+tags:
+- onnx
+- ort
+---
+
+# ONNX and ORT models with quantization of [google-bert/bert-base-german-dbmdz-cased](https://huggingface.co/google-bert/bert-base-german-dbmdz-cased)
+
+[日本語READMEはこちら](README_ja.md)
+
+This repository contains the ONNX and ORT formats of the model [google-bert/bert-base-german-dbmdz-cased](https://huggingface.co/google-bert/bert-base-german-dbmdz-cased), along with quantized versions.
+
+## License
+The license for this model is "mit". For details, please refer to the original model page: [google-bert/bert-base-german-dbmdz-cased](https://huggingface.co/google-bert/bert-base-german-dbmdz-cased).
+
+## Usage
+To use this model, install ONNX Runtime and perform inference as shown below.
+```python
+# Example code
+import onnxruntime as ort
+import numpy as np
+from transformers import AutoTokenizer
+import os
+
+# Load the tokenizer
+tokenizer = AutoTokenizer.from_pretrained('google-bert/bert-base-german-dbmdz-cased')
+
+# Prepare inputs
+text = 'Replace this text with your input.'
+inputs = tokenizer(text, return_tensors='np')
+
+# Specify the model paths
+# Test both the ONNX model and the ORT model
+model_paths = [
+    'onnx_models/model_opt.onnx',    # ONNX model
+    'ort_models/model.ort'  # ORT format model
+]
+
+# Run inference with each model
+for model_path in model_paths:
+    print(f'\n===== Using model: {model_path} =====')
+    # Get the model extension
+    model_extension = os.path.splitext(model_path)[1]
+
+    # Load the model
+    if model_extension == '.ort':
+        # Load the ORT format model
+        session = ort.InferenceSession(model_path, providers=['CPUExecutionProvider'])
+    else:
+        # Load the ONNX model
+        session = ort.InferenceSession(model_path)
+
+    # Run inference
+    outputs = session.run(None, dict(inputs))
+
+    # Display the output shapes
+    for idx, output in enumerate(outputs):
+        print(f'Output {idx} shape: {output.shape}')
+
+    # Display the results (add further processing if needed)
+    print(outputs)
+```
+
+## Contents of the Model
+This repository includes the following models:
+
+### ONNX Models
+- `onnx_models/model.onnx`: Original ONNX model converted from [google-bert/bert-base-german-dbmdz-cased](https://huggingface.co/google-bert/bert-base-german-dbmdz-cased)
+- `onnx_models/model_opt.onnx`: Optimized ONNX model
+- `onnx_models/model_fp16.onnx`: FP16 quantized model
+- `onnx_models/model_int8.onnx`: INT8 quantized model
+- `onnx_models/model_uint8.onnx`: UINT8 quantized model
+
+### ORT Models
+- `ort_models/model.ort`: ORT model using the optimized ONNX model
+- `ort_models/model_fp16.ort`: ORT model using the FP16 quantized model
+- `ort_models/model_int8.ort`: ORT model using the INT8 quantized model
+- `ort_models/model_uint8.ort`: ORT model using the UINT8 quantized model
+
+## Notes
+Please adhere to the license and usage conditions of the original model [google-bert/bert-base-german-dbmdz-cased](https://huggingface.co/google-bert/bert-base-german-dbmdz-cased).
+
+## Contribution
+If you find any issues or have improvements, please create an issue or submit a pull request.

README_ja.md

@@ -0,0 +1,85 @@
+---
+license: mit
+tags:
+- onnx
+- ort
+---
+
+# [google-bert/bert-base-german-dbmdz-cased](https://huggingface.co/google-bert/bert-base-german-dbmdz-cased) のONNXおよびORTモデルと量子化モデル
+
+[Click here for the English README](README.md)
+
+このリポジトリは、元のモデル [google-bert/bert-base-german-dbmdz-cased](https://huggingface.co/google-bert/bert-base-german-dbmdz-cased) をONNXおよびORT形式に変換し、さらに量子化したものです。
+
+## ライセンス
+このモデルのライセンスは「mit」です。詳細は元のモデルページ（[google-bert/bert-base-german-dbmdz-cased](https://huggingface.co/google-bert/bert-base-german-dbmdz-cased)）を参照してください。
+
+## 使い方
+このモデルを使用するには、ONNX Runtimeをインストールし、以下のように推論を行います。
+```python
+# サンプルコード
+import onnxruntime as ort
+import numpy as np
+from transformers import AutoTokenizer
+import os
+
+# トークナイザーの読み込み
+tokenizer = AutoTokenizer.from_pretrained('google-bert/bert-base-german-dbmdz-cased')
+
+# 入力の準備
+text = 'ここに入力テキストを置き換えてください。'
+inputs = tokenizer(text, return_tensors='np')
+
+# 使用するモデルのパスを指定
+# ONNXモデルとORTモデルの両方をテストする
+model_paths = [
+    'onnx_models/model_opt.onnx',    # ONNXモデル
+    'ort_models/model.ort'  # ORTフォーマットのモデル
+]
+
+# モデルごとに推論を実行
+for model_path in model_paths:
+    print(f'\n===== Using model: {model_path} =====')
+    # モデルの拡張子を取得
+    model_extension = os.path.splitext(model_path)[1]
+
+    # モデルの読み込み
+    if model_extension == '.ort':
+        # ORTフォーマットのモデルをロード
+        session = ort.InferenceSession(model_path, providers=['CPUExecutionProvider'])
+    else:
+        # ONNXモデルをロード
+        session = ort.InferenceSession(model_path)
+
+    # 推論の実行
+    outputs = session.run(None, dict(inputs))
+
+    # 出力の形状を表示
+    for idx, output in enumerate(outputs):
+        print(f'Output {idx} shape: {output.shape}')
+
+    # 結果の表示（必要に応じて処理を追加）
+    print(outputs)
+```
+
+## モデルの内容
+このリポジトリには、以下のモデルが含まれています。
+
+### ONNXモデル
+- `onnx_models/model.onnx`: [google-bert/bert-base-german-dbmdz-cased](https://huggingface.co/google-bert/bert-base-german-dbmdz-cased) から変換された元のONNXモデル
+- `onnx_models/model_opt.onnx`: 最適化されたONNXモデル
+- `onnx_models/model_fp16.onnx`: FP16による量子化モデル
+- `onnx_models/model_int8.onnx`: INT8による量子化モデル
+- `onnx_models/model_uint8.onnx`: UINT8による量子化モデル
+
+### ORTモデル
+- `ort_models/model.ort`: 最適化されたONNXモデルを使用したORTモデル
+- `ort_models/model_fp16.ort`: FP16量子化モデルを使用したORTモデル
+- `ort_models/model_int8.ort`: INT8量子化モデルを使用したORTモデル
+- `ort_models/model_uint8.ort`: UINT8量子化モデルを使用したORTモデル
+
+## 注意事項
+元のモデル [google-bert/bert-base-german-dbmdz-cased](https://huggingface.co/google-bert/bert-base-german-dbmdz-cased) のライセンスおよび使用条件を遵守してください。
+
+## 貢献
+問題や改善点があれば、Issueを作成するかプルリクエストを送ってください。

onnx_models/model.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:01a9c5bb806ec2fc94b763a99e04ddaed5a30d6385e39dc5feef4a5be869c34c
+size 439928004

onnx_models/model_fp16.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1677c6add9c8844ad388a659e0580e7327e97938a8c4c6e391ec05fe664dd15f
+size 220108543

onnx_models/model_int8.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:663299fb9350702872dd811f11fa029b662834b8e82a607959477a11205c929d
+size 110639304

onnx_models/model_opt.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:32e88e4f31d14a1f636c73478a3679b7412795508d94e417a9c4edb337c270b2
+size 439902121

onnx_models/model_uint8.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b17b232f38ede7c4582f0e12bcdb3477622324c255d7581ff70e307a36511761
+size 110639337

ort_models/model.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6649635fb6f8319148b8c20c5a2b215988ef0cee0218350cd749b549b22047b9
+size 440096728

ort_models/model_fp16.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1b30586b3cbc6745b9d6f898926bfb9e0a97697b74856b3f82377337b8cbd5ff
+size 220657088

ort_models/model_int8.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:42e5278a396adcc630f4990667acbd64601fee6828eecb79f8a95173f73b7260
+size 110804192

ort_models/model_uint8.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4ec631a211f4b15fc9c40a37262ae200609425d90c47ad4802a5412e831d416a
+size 110804192