Masajoe commited on
Commit
6cb25e5
·
verified ·
1 Parent(s): 2fff078

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +36 -11
README.md CHANGED
@@ -1,14 +1,39 @@
1
- ---
2
- base_model: llm-jp/llm-jp-3-13b
3
- tags:
4
- - text-generation-inference
5
- - transformers
6
- - unsloth
7
- - llama
8
- - trl
9
- license: apache-2.0
10
- language:
11
- - en
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
12
  ---
13
 
14
  # Uploaded model
 
1
+ # llm-jp-3-13b-it_lora
2
+
3
+ このモデルは llm-jp/llm-jp-3-13b をベースに、教師あり学習(SFT)で事後学習を行ったモデルです。
4
+
5
+ ## モデルの詳細
6
+
7
+ - ベースモデル: llm-jp/llm-jp-3-13b
8
+ - 学習手法: LoRA (Low-Rank Adaptation)
9
+ - 量子化: 4bit量子化
10
+
11
+ ## 使用方法
12
+
13
+ 以下のコードで推論が可能です:
14
+
15
+ ```python
16
+ from transformers import AutoModelForCausalLM, AutoTokenizer
17
+
18
+ # モデルとトークナイザーのロード
19
+ model_name = "Masajoe/llm-jp-3-13b-it_lora"
20
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
21
+ model = AutoModelForCausalLM.from_pretrained(model_name)
22
+
23
+ # 推論
24
+ prompt = """### 指示
25
+ 仕事の熱意を取り戻すためのアイデアを教えてください。
26
+ ### 回答
27
+ """
28
+
29
+ inputs = tokenizer([prompt], return_tensors="pt").to(model.device)
30
+ outputs = model.generate(
31
+ **inputs,
32
+ max_new_tokens=512,
33
+ do_sample=False,
34
+ repetition_penalty=1.2
35
+ )
36
+ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
37
  ---
38
 
39
  # Uploaded model