waylandzhang commited on
Commit
d1d7821
1 Parent(s): 4718934

Update README.md

Browse files

update model card

Files changed (1) hide show
  1. README.md +156 -1
README.md CHANGED
@@ -5,18 +5,173 @@ license: apache-2.0
5
  tags:
6
  - text-generation-inference
7
  - transformers
 
8
  - unsloth
9
  - llama
10
  - trl
11
  base_model: unsloth/llama-3-8b-Instruct-bnb-4bit
12
  ---
13
 
 
 
 
 
 
 
 
14
  # Uploaded model
15
 
16
- - **Developed by:** Evolany-AI
17
  - **License:** apache-2.0
18
  - **Finetuned from model :** unsloth/llama-3-8b-Instruct-bnb-4bit
19
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
20
  This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
21
 
22
  [<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
 
5
  tags:
6
  - text-generation-inference
7
  - transformers
8
+ - Japanese
9
  - unsloth
10
  - llama
11
  - trl
12
  base_model: unsloth/llama-3-8b-Instruct-bnb-4bit
13
  ---
14
 
15
+
16
+
17
+ **This model is trained for the solely purpose of extracting title, name, keywords, short descriptions from any Japanese articles and returning them in a unified JSON format.**
18
+
19
+ **このモデルは、日本語の記事を抽出し、統一されたJSON形式で返すために訓練されています。**
20
+
21
+
22
  # Uploaded model
23
 
24
+ - **Developed by:** Evolany AI
25
  - **License:** apache-2.0
26
  - **Finetuned from model :** unsloth/llama-3-8b-Instruct-bnb-4bit
27
 
28
+
29
+ We trained on 1 x A100 GPU.
30
+
31
+
32
+ User prompt:
33
+
34
+ Any news article in Japanese (max length up to 4096 tokens). Eg:
35
+
36
+ ```text
37
+ 株式会社ジャレコ(本社:東京都新宿区市谷八幡町)は、NTTドコモ FOMA903iシリーズの大容量iアプリゲーム“メガゲーム”対応第一弾として、 2007年4月27日よりiモード公式サイト“ジャレコiギャレッソ”にて美少女対戦麻雀「アイドル雀士スーチーパイⅡ」の配信を開始いたします。
38
+ 本作は、「スーチーパイ」シリーズの2作目としてアーケードで発売され、1996年にプレイステーションおよびセガサターン用ソフトとしてCD-ROMの特性を生かした豪華な出演声優陣による歌やお喋りなどがご好評をいただいた2人打ち麻雀ゲームの移植作です。携帯電話用ソフトでありながら、かないみか・松本梨香など声優陣のおしゃべりとムービーシーンがふんだんに使われ、「必殺技」や「パネルマッチ」、そして勝利した際の「ごほうびシーン」も再現し、家庭用ゲーム機版に匹敵する作品となっております。
39
+ かつてアーケード版や家庭用版で楽しまれた方はもちろん、なかなか勝てずに悔しい思いをした方、また今までプレイをしたことがない方にもオススメです。携帯電話でより身近になった「アイドル雀士スーチーパイⅡ」をぜひお楽しみください。
40
+ 【アイドル雀士 スーチーパイⅡ(メガゲーム)概要】
41
+ タイトル : 「アイドル雀士スーチーパイⅡ」
42
+ (あいどるじゃんし すーちーぱいつー)
43
+ ジャンル : 美少女対戦麻雀
44
+ 配信日 : 2007年4月27日
45
+ 対応機種 : NTTドコモ FOMA 903iシリーズ
46
+ 料金 : 315円(税込、月額)
47
+ 【スーチーパイとは】
48
+ 1993年に家庭用ゲーム機の対戦麻雀ゲームとして発売された「スーチーパイ」は、イラストレーターの園田健一氏の描く魅力的なキャラクターや「必殺技」などの独自のゲーム性から人気を博し、いままでにシリーズ作および関連作が家庭用ゲーム機、アーケード版、PC版など様々な機種で発売されております。
49
+ 現在、シリーズとして「Ⅲ」までがラインナップされており、2007年7月28日にPSPおよびニンテンドーDS用ソフトとして「アイドル雀士スーチーパイⅢ Remix」の発売を予定しております。 そして本年、タイトル名の由来となる数字の中国語読み”4”(スー)と”7”(チー)から、4月7日が「スーチーパイの日」として日本記念日協会に認定されております。
50
+ 今後も「スーチーパイ」はさまざまな展開をお見せできる予定ですのでご期待ください!
51
+ ```
52
+
53
+ Model response:
54
+
55
+ ```json
56
+ {"category": "製品・サービス", "company_name": "株式会社ジャレコ", "product_name": "アイドル雀士スーチーパイⅡ", "product_description": "美少女対戦麻雀ゲーム「アイドル雀士スーチーパイⅡ」が、NTTドコモ FOMA903iシリーズの大容量iアプリゲーム“メガゲーム”対応第一弾として、2007年4月27日よりiモード公式サイト“ジャレコiギャレッソ”にて配信を開始いたします。", "keywords": ["美少女", "対戦麻雀", "スーチーパイ", "アイドル雀士", "メガゲーム", "ジャレコ", "iモード", "iアプリ", "ドコモ", "FOMA"]}<|end_of_text|>
57
+ ```
58
+
59
+
60
+ **QLoRA (4bit)**
61
+
62
+ Params to replicate training
63
+
64
+ Peft Config
65
+ ```
66
+ r=8,
67
+ target_modules=[
68
+ "q_proj",
69
+ "k_proj",
70
+ "v_proj",
71
+ "o_proj",
72
+ "gate_proj",
73
+ "up_proj",
74
+ "down_proj",
75
+ ],
76
+ lora_alpha=16,
77
+ lora_dropout=0,
78
+ bias="none",
79
+ random_state=3407,
80
+ use_rslora=False, # Rank stabilized LoRA
81
+ loftq_config=None, # LoftQ
82
+ ```
83
+
84
+
85
+ Training args
86
+ ```
87
+ per_device_train_batch_size=2,
88
+ per_device_eval_batch_size=2,
89
+ gradient_accumulation_steps=4, # set to 4 to avoid issues with GPTQ Quantization
90
+ warmup_steps=5,
91
+ max_steps=300, # Fine-tune iterations
92
+ learning_rate=2e-4,
93
+ fp16=not torch.cuda.is_bf16_supported(),
94
+ bf16=torch.cuda.is_bf16_supported(),
95
+ evaluation_strategy="steps",
96
+ prediction_loss_only=True,
97
+ eval_accumulation_steps=1,
98
+ eval_steps=10,
99
+ logging_steps=1,
100
+ optim="adamw_8bit",
101
+ weight_decay=0.01,
102
+ lr_scheduler_type="cosine", # instead of "linear"
103
+ seed=1337,
104
+ output_dir="wayland-files/models",
105
+ report_to="wandb", # Log report to W&B
106
+ ```
107
+ Loss
108
+ `1.22`
109
+
110
+ Training Results
111
+ [<img src="https://huggingface.co/Evolany-AI/Llama-3-8b-JP-Article-Summarization-4bit-v0.2/blob/main/loss.png" width="600"/>](https://huggingface.co/Evolany-AI/Llama-3-8b-JP-Article-Summarization-4bit-v0.2/blob/main/loss.png)
112
+
113
+
114
+
115
+ **Interernce Code**
116
+
117
+
118
+ ```python
119
+ from unsloth import FastLanguageModel
120
+ import os
121
+ import torch
122
+
123
+ max_seq_length = 4096 # 2048
124
+ dtype = None
125
+ load_in_4bit = True
126
+
127
+ model, tokenizer = FastLanguageModel.from_pretrained(
128
+ model_name="Evolany-AI/Llama-3-8b-JP-Article-Summarization-4bit-v0.2",
129
+ max_seq_length=max_seq_length,
130
+ dtype=dtype,
131
+ load_in_4bit=load_in_4bit,
132
+ device_map="cuda",
133
+ attn_implementation="flash_attention_2"
134
+ )
135
+
136
+ FastLanguageModel.for_inference(model)
137
+
138
+ alpaca_prompt = """Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.
139
+
140
+ ### Instruction:
141
+ {}
142
+
143
+ ### Input:
144
+ {}
145
+
146
+ ### Response:
147
+ {}"""
148
+
149
+ instruction = """
150
+ 製品、会社、および主要な関連用語について簡潔な説明を提供してください。
151
+ """
152
+
153
+ input = """
154
+ """
155
+
156
+ inputs = tokenizer(
157
+ [
158
+ alpaca_prompt.format(
159
+ instruction,
160
+ input,
161
+ "",
162
+ )
163
+ ], return_tensors="pt").to("cuda")
164
+
165
+ from transformers import TextStreamer
166
+
167
+ text_streamer = TextStreamer(tokenizer, skip_prompt=True)
168
+ _ = model.generate(**inputs, streamer=text_streamer, max_new_tokens=512)
169
+
170
+ ```
171
+
172
+
173
+
174
+
175
  This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
176
 
177
  [<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)