|
--- |
|
language: |
|
- ja |
|
tags: |
|
- merge |
|
base_model: |
|
- aaditya/Llama3-OpenBioLLM-8B |
|
- aixsatoshi/Llama-3-youko-8b-instruct-chatvector |
|
- NousResearch/Meta-Llama-3-8B |
|
license: llama3 |
|
--- |
|
# kurogane/Llama3-BioYouri-8B-mergetest |
|
|
|
このモデルは生物学・医学に精通したOpenBioLLM-8Bをベースに、日本語対応を向上させるためにLlama-3-youko-8b-instruct-chatvectorとマージさせたモデルです。 |
|
|
|
初めての試みだったのでうまくできているかはわかりませんが、体感として、日本語での医学知識の説明は少し詳しめにこたえてくれます。生物系の知識について、若干ハルシネーションしているように感じますので、要注意です。 |
|
|
|
また、生物学・医学系の知識が入ったせいか、若干、性的な部分の規制が弱くなっているように感じますので、運用時は気を付けてください。 |
|
|
|
|
|
|
|
## Method |
|
|
|
### マージ方法について |
|
|
|
以下のNoteBookを参考にマージしました。 |
|
|
|
[merge.ipynb · p1atdev/nekoqarasu-14b-chat at main (huggingface.co)](https://huggingface.co/p1atdev/nekoqarasu-14b-chat/blob/main/merge.ipynb) |
|
|
|
こちらのコードを参考に、モデルネームを入力するだけでマージできるコードを作成しました。 |
|
**[LLMModelMerger.py](https://gist.github.com/kuroganegames/c9c78685d1004976cd8db737f51a8a8f)** |
|
RAMが64GBあれば問題なくマージできると思います。 |
|
|
|
|
|
|
|
### 以下のモデルを線形マージしました |
|
|
|
[aaditya/Llama3-OpenBioLLM-8B](https://huggingface.co/aaditya/Llama3-OpenBioLLM-8B) |
|
|
|
[aixsatoshi/Llama-3-youko-8b-instruct-chatvector](https://huggingface.co/aixsatoshi/Llama-3-youko-8b-instruct-chatvector) |
|
|
|
[NousResearch/Meta-Llama-3-8B](https://huggingface.co/datasets/kunishou/hh-rlhf-49k-ja) |
|
|
|
BioYouri = "Llama3-OpenBioLLM-8B" + "Llama-3-youko-8b-instruct-chatvector" - "Meta-Llama-3-8B" |
|
|
|
|
|
|
|
### アップロード時のsafetensorsの分割について |
|
|
|
また、アップロードにあたり、以下のコードで分割しました。 |
|
[**safetensors_splitter.py**](https://gist.github.com/kuroganegames/54e413a073cf59faf5652b38de8c7af6#file-safetensors_splitter-py) |
|
"model-00001-of-00004.safetensors"のような形で、指定した「model.safetensors.index.json」の順番でレイヤーが分割されます。ベースにしたモデルなどのmodel.safetensors.index.jsonのディレクトリをdir_jsonに入れてあげれば正常に分割されると思います。ただし、指定したmodel.safetensors.index.jsonの中身に合わせてl_dict_safetensorsの内容は書き換えてあげてください。 |
|
|
|
|
|
## License |
|
|
|
このモデルはMETA LLAMA 3 COMMUNITY LICENSEに従って提供されます。 https://llama.meta.com/llama3/license |
|
|
|
## 謝辞 |
|
|
|
今回、[Plat 🖼️（@p1atdev_art）さん / X (twitter.com)](https://twitter.com/p1atdev_art)様に生成したモデルの動作検証の仕方を教えてもらいました。この場を借りて感謝申し上げます。ありがとうございます。 |
