Update README.md
Browse files
README.md
CHANGED
@@ -50,11 +50,15 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
|
|
50 |
|
51 |
使用方法は,[「Google Colab で Llama-2-7B のQLoRA ファインチューニングを試す」](https://note.com/npaka/n/na7c631175111#f2af0e53-4ef3-4288-b152-6524f1b940a7)を参照しました.
|
52 |
|
|
|
|
|
|
|
|
|
|
|
|
|
53 |
# トレーニング方法
|
54 |
|
55 |
- ファインチューニング:インストラクションチューニング + QLoRA(4bitLoRA)
|
56 |
-
|
57 |
-
- トークナイザー:[meta-llama/Llama-2-7b-hf](https://huggingface.co/meta-llama/Llama-2-7b-hf)のトークナイザーをそのまま使用
|
58 |
|
59 |
トレーニング方法は,[「MetaのLlama 2をDatabricksでQLoRAを使ってファインチューニングしてみる」](https://qiita.com/taka_yayoi/items/a973fa2d08062224d422)を参照しました.
|
60 |
|
|
|
50 |
|
51 |
使用方法は,[「Google Colab で Llama-2-7B のQLoRA ファインチューニングを試す」](https://note.com/npaka/n/na7c631175111#f2af0e53-4ef3-4288-b152-6524f1b940a7)を参照しました.
|
52 |
|
53 |
+
# トークナイザーの日本語拡張
|
54 |
+
|
55 |
+
トークナイザーは,
|
56 |
+
:[meta-llama/Llama-2-7b-hf](https://huggingface.co/meta-llama/Llama-2-7b-hf)のトークナイザーをそのまま使用
|
57 |
+
|
58 |
+
|
59 |
# トレーニング方法
|
60 |
|
61 |
- ファインチューニング:インストラクションチューニング + QLoRA(4bitLoRA)
|
|
|
|
|
62 |
|
63 |
トレーニング方法は,[「MetaのLlama 2をDatabricksでQLoRAを使ってファインチューニングしてみる」](https://qiita.com/taka_yayoi/items/a973fa2d08062224d422)を参照しました.
|
64 |
|