fuwafuwa012
commited on
Commit
•
3b7204c
1
Parent(s):
fbdf535
Update README.md
Browse files
README.md
CHANGED
@@ -22,8 +22,13 @@ This llama model was trained 2x faster with [Unsloth](https://github.com/unsloth
|
|
22 |
[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
|
23 |
|
24 |
|
25 |
-
code version
|
26 |
本コードは,elyza-tasks-100-TV_0.jsonlの回答のための推論用コードです。
|
27 |
-
unsloth
|
|
|
|
|
|
|
|
|
|
|
28 |
|
29 |
|
|
|
22 |
[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
|
23 |
|
24 |
|
25 |
+
code version 2
|
26 |
本コードは,elyza-tasks-100-TV_0.jsonlの回答のための推論用コードです。
|
27 |
+
unslothのサンプルコードのハイパーパラメーターの値を変更して学習させたモデルになっています。
|
28 |
+
変更点としては,以下の通りです。
|
29 |
+
lora_alphaの値を64として正規化項を増やす。
|
30 |
+
lora_dropoutを0.10としてdropoutを上昇させる。
|
31 |
+
学習率を1e-5と上昇。
|
32 |
+
出力に対して,do_sample=True と temperature や top_p を加えることで出力の多様性を向上。
|
33 |
|
34 |
|