Commit
•
d9c2bf9
1
Parent(s):
aa61acb
Update README.md
Browse files
README.md
CHANGED
|
@@ -8,4 +8,4 @@ license: apache-2.0
|
|
| 8 |
> [mistralai/Mixtral-8x7B-Instruct-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1) - [mistralai/Mixtral-8x7B-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1)
|
| 9 |
>
|
| 10 |
|
| 11 |
-
継続事前学習や、事後学習で、元モデルのInstruction
|
|
|
|
| 8 |
> [mistralai/Mixtral-8x7B-Instruct-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1) - [mistralai/Mixtral-8x7B-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1)
|
| 9 |
>
|
| 10 |
|
| 11 |
+
継続事前学習や、事後学習で、元モデルのInstructionの一部のタスクに健忘が発生するという仮説に基づき、ベクトルを加算して戻し入れ思い出させるというアプローチをとっています
|