Update README.md
Browse files
README.md
CHANGED
@@ -6,7 +6,7 @@ tags:
|
|
6 |
- unsloth
|
7 |
- llama
|
8 |
- trl
|
9 |
-
license:
|
10 |
language:
|
11 |
- en
|
12 |
- ja
|
@@ -18,7 +18,7 @@ language:
|
|
18 |
- **License:** apache-2.0
|
19 |
- **Finetuned from model :** llm-jp/llm-jp-3-13b
|
20 |
- **使用したデータセット :** ichikara-instruction-003-001-1.json
|
21 |
-
- **ライセンス :** CC-BY-NC-SA
|
22 |
- **実行環境 :** Google Colab(L4)
|
23 |
|
24 |
This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
|
@@ -27,12 +27,19 @@ This llama model was trained 2x faster with [Unsloth](https://github.com/unsloth
|
|
27 |
|
28 |
# コードの説明
|
29 |
|
30 |
-
|
|
|
|
|
|
|
31 |
|
|
|
32 |
# 必要なライブラリをインストール
|
33 |
!pip uninstall unsloth -y
|
34 |
!pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
|
35 |
-
|
|
|
|
|
|
|
36 |
!pip install --upgrade xformers
|
37 |
|
38 |
# Install Flash Attention 2 for softcapping support
|
@@ -40,7 +47,7 @@ import torch
|
|
40 |
if torch.cuda.get_device_capability()[0] >= 8:
|
41 |
!pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"
|
42 |
|
43 |
-
# Hugging Face Token
|
44 |
HF_TOKEN = "your-token" #@param {type:"string"}
|
45 |
|
46 |
# llm-jp/llm-jp-3-13bを4bit量子化のqLoRA設定でロード。
|
@@ -198,4 +205,4 @@ model.push_to_hub_merged(
|
|
198 |
private=True
|
199 |
)
|
200 |
|
201 |
-
```
|
|
|
6 |
- unsloth
|
7 |
- llama
|
8 |
- trl
|
9 |
+
license: cc-by-nc-sa-4.0
|
10 |
language:
|
11 |
- en
|
12 |
- ja
|
|
|
18 |
- **License:** apache-2.0
|
19 |
- **Finetuned from model :** llm-jp/llm-jp-3-13b
|
20 |
- **使用したデータセット :** ichikara-instruction-003-001-1.json
|
21 |
+
- **ライセンス :** CC-BY-NC-SA(ichikara-instruction使用のため)
|
22 |
- **実行環境 :** Google Colab(L4)
|
23 |
|
24 |
This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
|
|
|
27 |
|
28 |
# コードの説明
|
29 |
|
30 |
+
下記のコードを動かす前に
|
31 |
+
ichikara-instruction-003-001-1.json
|
32 |
+
elyza-tasks-100-TV_0.jsonl
|
33 |
+
の2つのファイルをGoogle Colabにアップロードしてください。
|
34 |
|
35 |
+
```python
|
36 |
# 必要なライブラリをインストール
|
37 |
!pip uninstall unsloth -y
|
38 |
!pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
|
39 |
+
```
|
40 |
+
※ここで一旦リスタートする必要があります。
|
41 |
+
|
42 |
+
```python
|
43 |
!pip install --upgrade xformers
|
44 |
|
45 |
# Install Flash Attention 2 for softcapping support
|
|
|
47 |
if torch.cuda.get_device_capability()[0] >= 8:
|
48 |
!pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"
|
49 |
|
50 |
+
# Hugging Face Token を指定の
|
51 |
HF_TOKEN = "your-token" #@param {type:"string"}
|
52 |
|
53 |
# llm-jp/llm-jp-3-13bを4bit量子化のqLoRA設定でロード。
|
|
|
205 |
private=True
|
206 |
)
|
207 |
|
208 |
+
```
|