Update README.md
Browse files
README.md
CHANGED
@@ -16,28 +16,35 @@
|
|
16 |
|
17 |
# モデルの読み込みと使用
|
18 |
以下のコードを使用してモデルをロードできます。
|
19 |
-
|
20 |
from unsloth import FastLanguageModel
|
21 |
import torch
|
|
|
22 |
|
23 |
# モデル設定
|
|
|
24 |
model_id = "llm-jp-3-13b-it" # Fine-TunedモデルID
|
25 |
load_in_4bit = True # 4-bit量子化
|
26 |
max_seq_length = 512
|
|
|
27 |
|
28 |
# モデルとトークナイザーのロード
|
|
|
29 |
model, tokenizer = FastLanguageModel.from_pretrained(
|
30 |
model_name=model_id,
|
31 |
dtype=None,
|
32 |
load_in_4bit=load_in_4bit,
|
33 |
trust_remote_code=True,
|
34 |
)
|
|
|
35 |
|
36 |
# テキスト生成例
|
|
|
37 |
input_text = "生成AIの可能性について説明してください。"
|
38 |
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
|
39 |
outputs = model.generate(**inputs, max_new_tokens=256)
|
40 |
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
|
|
|
41 |
|
42 |
# トレーニング詳細
|
43 |
フレームワーク: Hugging Face Transformers
|
@@ -52,9 +59,10 @@ LoRAパラメータ: r=32, alpha=32, dropout=0.05
|
|
52 |
|
53 |
# 必要なライブラリ
|
54 |
以下をインストールしてください。
|
55 |
-
|
56 |
pip install unsloth
|
57 |
pip install torch xformers
|
|
|
58 |
|
59 |
# パフォーマンス
|
60 |
本モデルは以下のタスクで高い性能を発揮します。
|
|
|
16 |
|
17 |
# モデルの読み込みと使用
|
18 |
以下のコードを使用してモデルをロードできます。
|
19 |
+
```
|
20 |
from unsloth import FastLanguageModel
|
21 |
import torch
|
22 |
+
```
|
23 |
|
24 |
# モデル設定
|
25 |
+
```
|
26 |
model_id = "llm-jp-3-13b-it" # Fine-TunedモデルID
|
27 |
load_in_4bit = True # 4-bit量子化
|
28 |
max_seq_length = 512
|
29 |
+
```
|
30 |
|
31 |
# モデルとトークナイザーのロード
|
32 |
+
```
|
33 |
model, tokenizer = FastLanguageModel.from_pretrained(
|
34 |
model_name=model_id,
|
35 |
dtype=None,
|
36 |
load_in_4bit=load_in_4bit,
|
37 |
trust_remote_code=True,
|
38 |
)
|
39 |
+
```
|
40 |
|
41 |
# テキスト生成例
|
42 |
+
```
|
43 |
input_text = "生成AIの可能性について説明してください。"
|
44 |
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
|
45 |
outputs = model.generate(**inputs, max_new_tokens=256)
|
46 |
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
|
47 |
+
```
|
48 |
|
49 |
# トレーニング詳細
|
50 |
フレームワーク: Hugging Face Transformers
|
|
|
59 |
|
60 |
# 必要なライブラリ
|
61 |
以下をインストールしてください。
|
62 |
+
```
|
63 |
pip install unsloth
|
64 |
pip install torch xformers
|
65 |
+
```
|
66 |
|
67 |
# パフォーマンス
|
68 |
本モデルは以下のタスクで高い性能を発揮します。
|